Безкоштовний LLM API для AI-агентів
AI-агент надсилає багато запитів до моделі для одного завдання. Кожен крок потребує виклику інструментів і великого контексту. Один безкоштовний тариф швидко зупиняє агента. FreeLLMAPI об'єднує 45 безкоштовних тарифів провайдерів за одним ключем, сумісним з OpenAI. Він переходить до наступного провайдера, коли ліміт зупиняє запит, тому агент може продовжувати роботу. Цей посібник описує виклик інструментів, маршрутизацію для кожного кроку, довгі сесії та MCP-сервер маршрутизатора.
Код, назви моделей і мітки живого каталогу показано англійською.
Чого потребує агент від безкоштовного API
| Потреба | Причина | Що робить FreeLLMAPI |
|---|---|---|
| Виклик інструментів | Агент вибирає інструменти і запускає їх | Передає tools у форматі OpenAI до кожного провайдера. Перетворює текстові виклики інструментів на справжні tool_calls. |
| Багато запитів | Одне завдання може містити від 20 до 100 кроків | Враховує квоту кожного ключа і переходить до наступного ключа або провайдера при 429 |
| Великий контекст | Результати інструментів і історія зростають з кожним кроком | Маршрутизує до моделей з вашого ланцюжка. Можна створити профіль для довгого контексту. |
| Стабільна поведінка | Зміна моделі посеред завдання може збентежити агента | Тримає сесію на одній моделі 30 хвилин. Необов'язкова передача контексту при зміні моделі. |
| Видимість | Потрібно знати, яка модель дала збій | Заголовки X-Routed-Via і X-Fallback-Trail у кожній відповіді |
Безкоштовні тарифи мають ліміти. Резервне перемикання розподіляє навантаження між вашими ключами, але загальний обсяг залишається сумою безкоштовних лімітів. Для роботи агента додайте ключі від чотирьох або більше провайдерів.
| Модель | Безкоштовно на | Контекст | Безкоштовні ліміти (найкращі) | Інструменти | Зображення |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 запитів/хв 1 req/min per model | Так | Ні |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 запитів/хв 40 RPM | Так | Так |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Так | Так |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Так | Ні |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Так | Так |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Так | Так |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 запитів/хв 50 запитів/добу 50 req/day account-wide (1,000 after a $10 purchase) | Так | Так |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 запитів/хв 50 запитів/добу Shared rate limit | Так | Ні |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 запитів/хв 250 запитів/добу 70,000 токенів/хв ~6M | Так | Так |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | Так | Так |
Показано 12 із 109 відповідних безкоштовних моделей. Переглянути всі моделі.
Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.
Повний цикл агента на Python
Цикл нижче використовує офіційний SDK OpenAI. Він надсилає інструменти, виконує кожен виклик інструмента, повертає результат моделі та зупиняється, коли модель дає фінальну відповідь. Він також зупиняється після максимальної кількості кроків.
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: тримає всі кроки одного завдання на одній моделі, поки в цієї моделі є квота.
- Retry-After: коли всі ключі досягли ліміту, шлюз повертає 429 з цим заголовком. Цикл чекає і повторює спробу.
- Помилки інструментів: цикл надсилає помилки назад моделі як результати інструментів. Тоді модель може виправити свій виклик.
Направте кожен крок до потрібної моделі
Кроки агента не однакові. Крок планування потребує сильної моделі. Крок, який витягує одне поле, потребує швидкої моделі. Використовуйте різний рядок моделі для кожного типу кроку. Панель керування змінювати не потрібно.
| Рядок моделі | Ранжує моделі за | Використання агентом |
|---|---|---|
auto:smart | Інтелектом | Плануванням, вибором інструментів, фінальними відповідями |
auto:fast | Виміряною швидкістю і часом до першого байта | Витягуванням, класифікацією, короткими підсумками результатів інструментів |
auto:reliable | Нещодавнім відсотком успішних запитів | Запланованими агентами, які мають завершитися |
auto:balanced | Спочатку надійністю, потім швидкістю та інтелектом | Загальним типовим значенням |
auto:<profile> | Ваш іменований ланцюжок резервних моделей | Ланцюжок лише з моделями, які вміють викликати інструменти |
Стратегії auto:* ранжують кожну увімкнену модель і ігнорують порядок вашого ланцюжка. Запит з інструментами все одно потребує моделі з викликом інструментів. Якщо деякі увімкнені моделі погано підтримують інструменти, створіть профіль лише з моделями, які їх підтримують. Потім використовуйте auto:<profile> для кроків з інструментами. Невідома назва профілю повертає помилку 400.
Заголовок X-FreeLLM-Task-Type: code переносить вагу маршрутизації зі швидкості на інтелект для одного запиту. Це м'яке переважання. Воно не змінює перевірки можливостей або ланцюжок резервних моделей.
Довгі сесії агента і зміна моделі
Під час довгого завдання модель може досягти свого добового ліміту. Тоді маршрутизатор переходить на іншу модель. Нова модель отримує повну історію повідомлень, але не знає, що попередні кроки виконала інша модель.
Увімкніть передачу контексту, щоб додавати одне коротке системне повідомлення при зміні моделі. Повідомлення наказує новій моделі продовжити завдання і зберегти попередні результати інструментів.
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- Повідомлення для передачі додається лише тоді, коли для сесії змінюється вибрана модель.
- Сесії зберігаються в пам'яті протягом 3 годин. Нічого не записується на диск.
- Ключ сесії це заголовок
X-Session-Id. Без цього заголовка це хеш першого повідомлення користувача.
Використовуйте маршрутизатор як MCP-сервер
FreeLLMAPI також є MCP-сервером на /mcp. Агент, який працює через MCP, може надіслати текстове завдання до моделі FreeLLMAPI. Він також може читати стан шлюзу під час сесії: доступні моделі та їхні параметри, стан провайдерів, статистику використання і кешу, а також стратегію маршрутизації.
Поверхня MCP вимкнена у нових встановленнях. Увімкніть її на панелі керування, на сторінці Keys, у розділі Agent compatibility. Поки вона вимкнена, /mcp повертає 403.
Додайте MCP-сервер до Claude Code
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Будь-який MCP-клієнт з Streamable HTTP працює так само. Вкажіть йому /mcp і надсилайте єдиний ключ як Bearer-токен. Корисні інструменти: healthcheck, list_models та ask_freellmapi. Інструмент ask_freellmapi виконує завдання через той самий маршрут чату, що й API, з маршрутизацією і резервним перемиканням.
Для агентів для написання коду FreeLLMAPI має команди налаштування, які записують конфігурацію клієнта за вас. Приклади: npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw і setup-hermes. Кожна команда підтримує --dry-run і спочатку створює резервну копію.
Усунення несправностей
| Проблема | Причина | Рішення |
|---|---|---|
| Модель відповідає текстом і не викликає інструмент | Модель погано підтримує виклик інструментів | Використовуйте auto:<profile> лише з моделями, які викликають інструменти |
| Агент починає завдання знову посеред роботи | Ліміт змусив змінити модель | Надішліть X-Session-Id і увімкніть передачу контексту |
| Помилка 429 після багатьох кроків | Усі ключі в ланцюжку досягли ліміту | Додайте провайдерів, використовуйте auto:fast для малих кроків і чекайте на Retry-After |
Помилка 400 з auto:name | Профіль не існує | Перевірте назву профілю на панелі керування |
/mcp повертає 403 | Поверхня MCP вимкнена | Увімкніть її в розділі Agent compatibility на сторінці Keys |
| Помилки довжини контексту наприкінці завдання | Історія більша за вікно моделі | Підсумуйте старі результати інструментів або використовуйте профіль для довгого контексту |
Часті запитання
Чи є безкоштовний LLM API для AI-агентів?
Так. Кілька провайдерів мають безкоштовні тарифи з викликом інструментів. FreeLLMAPI об'єднує їх за одним ключем, сумісним з OpenAI, і переходить до наступного провайдера, коли ліміт зупиняє запит.
Яка безкоштовна LLM найкраща для виклику інструментів?
Використовуйте модель з викликом інструментів і вікном контексту 128K токенів або більше. Таблиця на цій сторінці показує найсильніші безкоштовні моделі, які сьогодні відповідають обом правилам.
Чи можна використовувати FreeLLMAPI як MCP-сервер?
Так. Увімкніть поверхню MCP на сторінці Keys у розділі Agent compatibility. Потім підключіть свій MCP-клієнт до /mcp з єдиним ключем як Bearer-токеном.
Як не дати агенту падати через ліміти запитів?
Додайте ключі від більшої кількості провайдерів, надсилайте малі кроки на auto:fast, повторюйте запит при 429 з заголовком Retry-After і встановіть максимальну кількість кроків.
Що відбувається, коли модель змінюється посеред завдання агента?
Нова модель отримує повну історію повідомлень. Якщо передача контексту увімкнена, вона також отримує коротку примітку з вказівкою продовжити завдання.
Схожі посібники
- Безкоштовний LLM API з викликом функцій
- Безкоштовний LLM API на Python
- Безкоштовний LLM API для LangChain
- Безкоштовний LLM API для n8n
- Як безкоштовно використовувати Claude Code
- Ліміти запитів безкоштовного LLM API
Джерела
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (перевірено 20 November 2026)
- FreeLLMAPI docs: clients, MCP server and context handoff (перевірено 20 November 2026)
- OpenAI Python SDK: errors and retries (перевірено 20 November 2026)
- Claude Code docs: MCP (перевірено 20 November 2026)