Головна / Посібники / Безкоштовний LLM API для AI-агентів

Безкоштовний LLM API для AI-агентів

AI-агент надсилає багато запитів до моделі для одного завдання. Кожен крок потребує виклику інструментів і великого контексту. Один безкоштовний тариф швидко зупиняє агента. FreeLLMAPI об'єднує 45 безкоштовних тарифів провайдерів за одним ключем, сумісним з OpenAI. Він переходить до наступного провайдера, коли ліміт зупиняє запит, тому агент може продовжувати роботу. Цей посібник описує виклик інструментів, маршрутизацію для кожного кроку, довгі сесії та MCP-сервер маршрутизатора.

Код, назви моделей і мітки живого каталогу показано англійською.

Чого потребує агент від безкоштовного API

ПотребаПричинаЩо робить FreeLLMAPI
Виклик інструментівАгент вибирає інструменти і запускає їхПередає tools у форматі OpenAI до кожного провайдера. Перетворює текстові виклики інструментів на справжні tool_calls.
Багато запитівОдне завдання може містити від 20 до 100 кроківВраховує квоту кожного ключа і переходить до наступного ключа або провайдера при 429
Великий контекстРезультати інструментів і історія зростають з кожним крокомМаршрутизує до моделей з вашого ланцюжка. Можна створити профіль для довгого контексту.
Стабільна поведінкаЗміна моделі посеред завдання може збентежити агентаТримає сесію на одній моделі 30 хвилин. Необов'язкова передача контексту при зміні моделі.
ВидимістьПотрібно знати, яка модель дала збійЗаголовки X-Routed-Via і X-Fallback-Trail у кожній відповіді

Безкоштовні тарифи мають ліміти. Резервне перемикання розподіляє навантаження між вашими ключами, але загальний обсяг залишається сумою безкоштовних лімітів. Для роботи агента додайте ключі від чотирьох або більше провайдерів.

Безкоштовні моделі з викликом інструментів і контекстом 128K+
МодельБезкоштовно наКонтекстБезкоштовні ліміти (найкращі)ІнструментиЗображення
GLM 5.3UnoRouter1M1 запитів/хв
1 req/min per model
ТакНі
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 запитів/хв
40 RPM
ТакТак
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaТакТак
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceТакНі
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditТакТак
Gemini 3.7 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditТакТак
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 запитів/хв
50 запитів/добу
50 req/day account-wide (1,000 after a $10 purchase)
ТакТак
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 запитів/хв
50 запитів/добу
Shared rate limit
ТакНі
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 запитів/хв
250 запитів/добу
70,000 токенів/хв
~6M
ТакТак
Gemini 3.6 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayТакТак

Показано 12 із 109 відповідних безкоштовних моделей. Переглянути всі моделі.

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

Повний цикл агента на Python

Цикл нижче використовує офіційний SDK OpenAI. Він надсилає інструменти, виконує кожен виклик інструмента, повертає результат моделі та зупиняється, коли модель дає фінальну відповідь. Він також зупиняється після максимальної кількості кроків.

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: тримає всі кроки одного завдання на одній моделі, поки в цієї моделі є квота.
  • Retry-After: коли всі ключі досягли ліміту, шлюз повертає 429 з цим заголовком. Цикл чекає і повторює спробу.
  • Помилки інструментів: цикл надсилає помилки назад моделі як результати інструментів. Тоді модель може виправити свій виклик.

Направте кожен крок до потрібної моделі

Кроки агента не однакові. Крок планування потребує сильної моделі. Крок, який витягує одне поле, потребує швидкої моделі. Використовуйте різний рядок моделі для кожного типу кроку. Панель керування змінювати не потрібно.

Рядок моделіРанжує моделі заВикористання агентом
auto:smartІнтелектомПлануванням, вибором інструментів, фінальними відповідями
auto:fastВиміряною швидкістю і часом до першого байтаВитягуванням, класифікацією, короткими підсумками результатів інструментів
auto:reliableНещодавнім відсотком успішних запитівЗапланованими агентами, які мають завершитися
auto:balancedСпочатку надійністю, потім швидкістю та інтелектомЗагальним типовим значенням
auto:<profile>Ваш іменований ланцюжок резервних моделейЛанцюжок лише з моделями, які вміють викликати інструменти

Стратегії auto:* ранжують кожну увімкнену модель і ігнорують порядок вашого ланцюжка. Запит з інструментами все одно потребує моделі з викликом інструментів. Якщо деякі увімкнені моделі погано підтримують інструменти, створіть профіль лише з моделями, які їх підтримують. Потім використовуйте auto:<profile> для кроків з інструментами. Невідома назва профілю повертає помилку 400.

Заголовок X-FreeLLM-Task-Type: code переносить вагу маршрутизації зі швидкості на інтелект для одного запиту. Це м'яке переважання. Воно не змінює перевірки можливостей або ланцюжок резервних моделей.

Довгі сесії агента і зміна моделі

Під час довгого завдання модель може досягти свого добового ліміту. Тоді маршрутизатор переходить на іншу модель. Нова модель отримує повну історію повідомлень, але не знає, що попередні кроки виконала інша модель.

Увімкніть передачу контексту, щоб додавати одне коротке системне повідомлення при зміні моделі. Повідомлення наказує новій моделі продовжити завдання і зберегти попередні результати інструментів.

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • Повідомлення для передачі додається лише тоді, коли для сесії змінюється вибрана модель.
  • Сесії зберігаються в пам'яті протягом 3 годин. Нічого не записується на диск.
  • Ключ сесії це заголовок X-Session-Id. Без цього заголовка це хеш першого повідомлення користувача.

Використовуйте маршрутизатор як MCP-сервер

FreeLLMAPI також є MCP-сервером на /mcp. Агент, який працює через MCP, може надіслати текстове завдання до моделі FreeLLMAPI. Він також може читати стан шлюзу під час сесії: доступні моделі та їхні параметри, стан провайдерів, статистику використання і кешу, а також стратегію маршрутизації.

Поверхня MCP вимкнена у нових встановленнях. Увімкніть її на панелі керування, на сторінці Keys, у розділі Agent compatibility. Поки вона вимкнена, /mcp повертає 403.

Додайте MCP-сервер до Claude Code

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Будь-який MCP-клієнт з Streamable HTTP працює так само. Вкажіть йому /mcp і надсилайте єдиний ключ як Bearer-токен. Корисні інструменти: healthcheck, list_models та ask_freellmapi. Інструмент ask_freellmapi виконує завдання через той самий маршрут чату, що й API, з маршрутизацією і резервним перемиканням.

Для агентів для написання коду FreeLLMAPI має команди налаштування, які записують конфігурацію клієнта за вас. Приклади: npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw і setup-hermes. Кожна команда підтримує --dry-run і спочатку створює резервну копію.

Усунення несправностей

ПроблемаПричинаРішення
Модель відповідає текстом і не викликає інструментМодель погано підтримує виклик інструментівВикористовуйте auto:<profile> лише з моделями, які викликають інструменти
Агент починає завдання знову посеред роботиЛіміт змусив змінити модельНадішліть X-Session-Id і увімкніть передачу контексту
Помилка 429 після багатьох кроківУсі ключі в ланцюжку досягли лімітуДодайте провайдерів, використовуйте auto:fast для малих кроків і чекайте на Retry-After
Помилка 400 з auto:nameПрофіль не існуєПеревірте назву профілю на панелі керування
/mcp повертає 403Поверхня MCP вимкненаУвімкніть її в розділі Agent compatibility на сторінці Keys
Помилки довжини контексту наприкінці завданняІсторія більша за вікно моделіПідсумуйте старі результати інструментів або використовуйте профіль для довгого контексту
Використовуйте кожну з цих моделей через один ключ. FreeLLMAPI це маршрутизатор з відкритим кодом, який ви розгортаєте самі. Він об'єднує всі ці безкоштовні тарифи за однією кінцевою точкою, сумісною з OpenAI, і переходить до наступного, коли один з них досягає ліміту. Переглянути каталог або або почніть роботу.

Часті запитання

Чи є безкоштовний LLM API для AI-агентів?

Так. Кілька провайдерів мають безкоштовні тарифи з викликом інструментів. FreeLLMAPI об'єднує їх за одним ключем, сумісним з OpenAI, і переходить до наступного провайдера, коли ліміт зупиняє запит.

Яка безкоштовна LLM найкраща для виклику інструментів?

Використовуйте модель з викликом інструментів і вікном контексту 128K токенів або більше. Таблиця на цій сторінці показує найсильніші безкоштовні моделі, які сьогодні відповідають обом правилам.

Чи можна використовувати FreeLLMAPI як MCP-сервер?

Так. Увімкніть поверхню MCP на сторінці Keys у розділі Agent compatibility. Потім підключіть свій MCP-клієнт до /mcp з єдиним ключем як Bearer-токеном.

Як не дати агенту падати через ліміти запитів?

Додайте ключі від більшої кількості провайдерів, надсилайте малі кроки на auto:fast, повторюйте запит при 429 з заголовком Retry-After і встановіть максимальну кількість кроків.

Що відбувається, коли модель змінюється посеред завдання агента?

Нова модель отримує повну історію повідомлень. Якщо передача контексту увімкнена, вона також отримує коротку примітку з вказівкою продовжити завдання.

Схожі посібники

Джерела

Усі посібники · Переглянути всі безкоштовні моделі