Бесплатный LLM API для ИИ-агентов
ИИ-агент отправляет много запросов к модели для одной задачи. Каждый шаг требует вызова инструментов и большого контекста. Один бесплатный тариф быстро заканчивается у агента. FreeLLMAPI объединяет 45 бесплатных тарифов провайдеров за одним ключом, совместимым с OpenAI. Когда лимит останавливает запрос, шлюз переходит к следующему провайдеру, и агент продолжает работу. Это руководство описывает вызов инструментов, маршрутизацию по шагам, длинные сессии и MCP сервер маршрутизатора.
Код, названия моделей и метки живого каталога показаны на английском языке.
Что нужно агенту от бесплатного API
| Требование | Почему | Что делает FreeLLMAPI |
|---|---|---|
| Вызов инструментов | Агент выбирает и запускает инструменты | Передает tools в формате OpenAI каждому провайдеру. Преобразует текстовые вызовы инструментов в настоящие tool_calls. |
| Много запросов | Одна задача может занимать от 20 до 100 шагов | Считает квоту каждого ключа и при 429 переходит к следующему ключу или провайдеру |
| Большой контекст | Результаты инструментов и история растут на каждом шаге | Направляет запросы к моделям из вашей цепочки. Можно создать профиль для длинного контекста. |
| Стабильное поведение | Смена модели в середине задачи может сбить агента | Держит сессию на одной модели 30 минут. Можно включить передачу контекста при смене модели. |
| Видимость | Нужно знать, какая модель дала сбой | Заголовки X-Routed-Via и X-Fallback-Trail в каждом ответе |
У бесплатных тарифов есть лимиты. Переключение распределяет нагрузку по вашим ключам, но общий объем равен сумме бесплатных лимитов. Для работы агентов добавьте ключи от четырех или более провайдеров.
| Модель | Бесплатно в | Контекст | Бесплатные лимиты (лучшее предложение) | Инструменты | Зрение |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 запр./мин 1 req/min per model | Да | Нет |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 запр./мин 40 RPM | Да | Да |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Да | Да |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Да | Нет |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Да | Да |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Да | Да |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 запр./мин 50 запр./день 50 req/day account-wide (1,000 after a $10 purchase) | Да | Да |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 запр./мин 50 запр./день Shared rate limit | Да | Нет |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 запр./мин 250 запр./день 70,000 токенов/мин ~6M | Да | Да |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | Да | Да |
Показано 12 из 109 подходящих бесплатных моделей. Смотреть все модели.
Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.
Полный цикл агента на Python
Цикл ниже использует официальный SDK OpenAI. Он отправляет инструменты, выполняет каждый вызов инструмента, возвращает результат модели и останавливается, когда модель дает окончательный ответ. Также он останавливается после максимального числа шагов.
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: оставляет все шаги одной задачи на одной модели, пока у этой модели есть квота.
- Retry-After: когда все ключи достигли лимита, шлюз возвращает 429 с этим заголовком. Цикл ждет и пробует снова.
- Ошибки инструментов: цикл передает ошибки модели как результаты инструментов. Затем модель может исправить свой вызов.
Направляйте каждый шаг на нужную модель
Шаги агента различаются. Шагу планирования нужна сильная модель. Шагу, который извлекает одно поле, нужна быстрая модель. Для каждого типа шага используйте свою строку модели. Панель управления менять не нужно.
| Строка модели | Ранжирует модели по | Использование в агенте |
|---|---|---|
auto:smart | Интеллекту | Планированию, выбору инструментов, окончательным ответам |
auto:fast | Измеренной скорости и времени до первого байта | Извлечению, классификации, коротким сводкам результатов инструментов |
auto:reliable | Недавней доле успешных запросов | Запланированным агентам, которые должны завершиться |
auto:balanced | Сначала надежности, затем скорости и интеллекту | Общий вариант по умолчанию |
auto:<profile> | Вашей именованной цепочке переключения | Цепочке только из моделей с вызовом инструментов |
Стратегии auto:* ранжируют все включенные модели и не учитывают порядок вашей цепочки. Запрос с инструментами все равно требует модель с вызовом инструментов. Если некоторые включенные модели плохо работают с инструментами, создайте профиль только из моделей с вызовом инструментов. Затем используйте auto:<profile> для шагов с инструментами. Неизвестное имя профиля возвращает ошибку 400.
Заголовок X-FreeLLM-Task-Type: code переводит вес маршрутизации от скорости к интеллекту для одного запроса. Это мягкое предпочтение. Он не меняет проверки возможностей и цепочку переключения.
Длинные сессии агента и смена модели
Во время длинной задачи модель может достичь дневного лимита. Тогда маршрутизатор переходит к другой модели. Новая модель получает полную историю сообщений, но не знает, что предыдущие шаги выполняла другая модель.
Включите передачу контекста, чтобы при смене модели добавлялось одно короткое системное сообщение. Оно велит новой модели продолжить задачу и сохранить предыдущие результаты инструментов.
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- Сообщение о передаче добавляется, только когда для сессии выбрана другая модель.
- Сессии хранятся в памяти 3 часа. На диск ничего не записывается.
- Ключ сессии это заголовок
X-Session-Id. Без заголовка используется хеш первого сообщения пользователя.
Используйте маршрутизатор как MCP сервер
FreeLLMAPI также является MCP сервером на /mcp. Агент, который работает по MCP, может отправить текстовую задачу модели FreeLLMAPI. Он также может читать состояние шлюза во время сессии: доступные модели и их параметры, состояние провайдеров, статистику использования и кэша, а также стратегию маршрутизации.
Поверхность MCP выключена в новых установках. Включите ее в панели управления на странице Keys, в разделе Agent compatibility. Пока она выключена, /mcp возвращает 403.
Добавление MCP сервера в Claude Code
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Любой MCP клиент с Streamable HTTP подключается так же. Укажите /mcp и отправьте единый ключ как Bearer токен. Полезные инструменты: healthcheck, list_models и ask_freellmapi. Инструмент ask_freellmapi выполняет задачу через тот же маршрут чата, что и API, с маршрутизацией и переключением.
Для агентов программирования FreeLLMAPI имеет команды настройки, которые записывают конфигурацию клиента за вас. Примеры: npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw и setup-hermes. Каждая команда поддерживает --dry-run и сначала создает резервную копию.
Устранение неполадок
| Проблема | Причина | Решение |
|---|---|---|
| Модель отвечает текстом и не вызывает инструмент | У модели слабый вызов инструментов | Используйте auto:<profile> только с моделями с вызовом инструментов |
| Агент начинает задачу заново посередине | Лимит вынудил сменить модель | Отправляйте X-Session-Id и включите передачу контекста |
| Ошибка 429 после многих шагов | Все ключи в цепочке достигли лимита | Добавьте провайдеров, используйте auto:fast для мелких шагов и дождитесь Retry-After |
Ошибка 400 с auto:name | Профиль не существует | Проверьте имя профиля на панели управления |
/mcp возвращает 403 | Поверхность MCP выключена | Включите ее в разделе Agent compatibility на странице Keys |
| Ошибки длины контекста в конце задачи | История больше окна модели | Сократите старые результаты инструментов или используйте профиль для длинного контекста |
Часто задаваемые вопросы
Есть ли бесплатный LLM API для ИИ-агентов?
Да. Несколько провайдеров предоставляют бесплатные тарифы с вызовом инструментов. FreeLLMAPI объединяет их за одним ключом, совместимым с OpenAI, и переходит к следующему провайдеру, когда лимит останавливает запрос.
Какая бесплатная LLM лучше всего подходит для вызова инструментов?
Используйте модель с вызовом инструментов и окном контекста 128K токенов или больше. Таблица на этой странице показывает самые сильные бесплатные модели, которые сегодня соответствуют обоим условиям.
Можно ли использовать FreeLLMAPI как MCP сервер?
Да. Включите поверхность MCP на странице Keys в разделе Agent compatibility. Затем подключите MCP клиент к /mcp, указав единый ключ как Bearer токен.
Как не дать агенту падать из-за лимитов запросов?
Добавьте ключи от большего числа провайдеров, отправляйте мелкие шаги на auto:fast, повторяйте запрос при 429 с учетом заголовка Retry-After и задайте максимальное число шагов.
Что происходит при смене модели в середине задачи агента?
Новая модель получает полную историю сообщений. Если передача контекста включена, она также получает короткую заметку с указанием продолжить задачу.
Похожие руководства
- Бесплатный LLM API с вызовом функций
- Бесплатный LLM API на Python
- Бесплатный LLM API для LangChain
- Бесплатный LLM API для n8n
- Как бесплатно пользоваться Claude Code
- Лимиты запросов бесплатного LLM API
Источники
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (проверено 20 November 2026)
- FreeLLMAPI docs: clients, MCP server and context handoff (проверено 20 November 2026)
- OpenAI Python SDK: errors and retries (проверено 20 November 2026)
- Claude Code docs: MCP (проверено 20 November 2026)