Главная / Руководства / Бесплатный LLM API для ИИ-агентов

Бесплатный LLM API для ИИ-агентов

ИИ-агент отправляет много запросов к модели для одной задачи. Каждый шаг требует вызова инструментов и большого контекста. Один бесплатный тариф быстро заканчивается у агента. FreeLLMAPI объединяет 45 бесплатных тарифов провайдеров за одним ключом, совместимым с OpenAI. Когда лимит останавливает запрос, шлюз переходит к следующему провайдеру, и агент продолжает работу. Это руководство описывает вызов инструментов, маршрутизацию по шагам, длинные сессии и MCP сервер маршрутизатора.

Код, названия моделей и метки живого каталога показаны на английском языке.

Что нужно агенту от бесплатного API

ТребованиеПочемуЧто делает FreeLLMAPI
Вызов инструментовАгент выбирает и запускает инструментыПередает tools в формате OpenAI каждому провайдеру. Преобразует текстовые вызовы инструментов в настоящие tool_calls.
Много запросовОдна задача может занимать от 20 до 100 шаговСчитает квоту каждого ключа и при 429 переходит к следующему ключу или провайдеру
Большой контекстРезультаты инструментов и история растут на каждом шагеНаправляет запросы к моделям из вашей цепочки. Можно создать профиль для длинного контекста.
Стабильное поведениеСмена модели в середине задачи может сбить агентаДержит сессию на одной модели 30 минут. Можно включить передачу контекста при смене модели.
ВидимостьНужно знать, какая модель дала сбойЗаголовки X-Routed-Via и X-Fallback-Trail в каждом ответе

У бесплатных тарифов есть лимиты. Переключение распределяет нагрузку по вашим ключам, но общий объем равен сумме бесплатных лимитов. Для работы агентов добавьте ключи от четырех или более провайдеров.

Бесплатные модели с вызовом инструментов и контекстом 128K и больше
МодельБесплатно вКонтекстБесплатные лимиты (лучшее предложение)ИнструментыЗрение
GLM 5.3UnoRouter1M1 запр./мин
1 req/min per model
ДаНет
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 запр./мин
40 RPM
ДаДа
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaДаДа
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceДаНет
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditДаДа
Gemini 3.7 FlashGoogle AI Studio1M10 запр./мин
20 запр./день
250,000 токенов/мин
~3M
ДаДа
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditДаДа
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 запр./мин
50 запр./день
50 req/day account-wide (1,000 after a $10 purchase)
ДаДа
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 запр./мин
50 запр./день
Shared rate limit
ДаНет
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 запр./мин
250 запр./день
70,000 токенов/мин
~6M
ДаДа
Gemini 3.6 FlashGoogle AI Studio1M10 запр./мин
20 запр./день
250,000 токенов/мин
~3M
ДаДа
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayДаДа

Показано 12 из 109 подходящих бесплатных моделей. Смотреть все модели.

Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.

Полный цикл агента на Python

Цикл ниже использует официальный SDK OpenAI. Он отправляет инструменты, выполняет каждый вызов инструмента, возвращает результат модели и останавливается, когда модель дает окончательный ответ. Также он останавливается после максимального числа шагов.

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: оставляет все шаги одной задачи на одной модели, пока у этой модели есть квота.
  • Retry-After: когда все ключи достигли лимита, шлюз возвращает 429 с этим заголовком. Цикл ждет и пробует снова.
  • Ошибки инструментов: цикл передает ошибки модели как результаты инструментов. Затем модель может исправить свой вызов.

Направляйте каждый шаг на нужную модель

Шаги агента различаются. Шагу планирования нужна сильная модель. Шагу, который извлекает одно поле, нужна быстрая модель. Для каждого типа шага используйте свою строку модели. Панель управления менять не нужно.

Строка моделиРанжирует модели поИспользование в агенте
auto:smartИнтеллектуПланированию, выбору инструментов, окончательным ответам
auto:fastИзмеренной скорости и времени до первого байтаИзвлечению, классификации, коротким сводкам результатов инструментов
auto:reliableНедавней доле успешных запросовЗапланированным агентам, которые должны завершиться
auto:balancedСначала надежности, затем скорости и интеллектуОбщий вариант по умолчанию
auto:<profile>Вашей именованной цепочке переключенияЦепочке только из моделей с вызовом инструментов

Стратегии auto:* ранжируют все включенные модели и не учитывают порядок вашей цепочки. Запрос с инструментами все равно требует модель с вызовом инструментов. Если некоторые включенные модели плохо работают с инструментами, создайте профиль только из моделей с вызовом инструментов. Затем используйте auto:<profile> для шагов с инструментами. Неизвестное имя профиля возвращает ошибку 400.

Заголовок X-FreeLLM-Task-Type: code переводит вес маршрутизации от скорости к интеллекту для одного запроса. Это мягкое предпочтение. Он не меняет проверки возможностей и цепочку переключения.

Длинные сессии агента и смена модели

Во время длинной задачи модель может достичь дневного лимита. Тогда маршрутизатор переходит к другой модели. Новая модель получает полную историю сообщений, но не знает, что предыдущие шаги выполняла другая модель.

Включите передачу контекста, чтобы при смене модели добавлялось одно короткое системное сообщение. Оно велит новой модели продолжить задачу и сохранить предыдущие результаты инструментов.

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • Сообщение о передаче добавляется, только когда для сессии выбрана другая модель.
  • Сессии хранятся в памяти 3 часа. На диск ничего не записывается.
  • Ключ сессии это заголовок X-Session-Id. Без заголовка используется хеш первого сообщения пользователя.

Используйте маршрутизатор как MCP сервер

FreeLLMAPI также является MCP сервером на /mcp. Агент, который работает по MCP, может отправить текстовую задачу модели FreeLLMAPI. Он также может читать состояние шлюза во время сессии: доступные модели и их параметры, состояние провайдеров, статистику использования и кэша, а также стратегию маршрутизации.

Поверхность MCP выключена в новых установках. Включите ее в панели управления на странице Keys, в разделе Agent compatibility. Пока она выключена, /mcp возвращает 403.

Добавление MCP сервера в Claude Code

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Любой MCP клиент с Streamable HTTP подключается так же. Укажите /mcp и отправьте единый ключ как Bearer токен. Полезные инструменты: healthcheck, list_models и ask_freellmapi. Инструмент ask_freellmapi выполняет задачу через тот же маршрут чата, что и API, с маршрутизацией и переключением.

Для агентов программирования FreeLLMAPI имеет команды настройки, которые записывают конфигурацию клиента за вас. Примеры: npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw и setup-hermes. Каждая команда поддерживает --dry-run и сначала создает резервную копию.

Устранение неполадок

ПроблемаПричинаРешение
Модель отвечает текстом и не вызывает инструментУ модели слабый вызов инструментовИспользуйте auto:<profile> только с моделями с вызовом инструментов
Агент начинает задачу заново посерединеЛимит вынудил сменить модельОтправляйте X-Session-Id и включите передачу контекста
Ошибка 429 после многих шаговВсе ключи в цепочке достигли лимитаДобавьте провайдеров, используйте auto:fast для мелких шагов и дождитесь Retry-After
Ошибка 400 с auto:nameПрофиль не существуетПроверьте имя профиля на панели управления
/mcp возвращает 403Поверхность MCP выключенаВключите ее в разделе Agent compatibility на странице Keys
Ошибки длины контекста в конце задачиИстория больше окна моделиСократите старые результаты инструментов или используйте профиль для длинного контекста
Используйте каждую из этих моделей через один ключ. FreeLLMAPI это маршрутизатор с открытым исходным кодом, который работает на вашем сервере. Он объединяет все эти бесплатные тарифы за одной конечной точкой, совместимой с OpenAI, и переключается на другой провайдер, когда достигнут лимит запросов. Открыть каталог или перейти.

Часто задаваемые вопросы

Есть ли бесплатный LLM API для ИИ-агентов?

Да. Несколько провайдеров предоставляют бесплатные тарифы с вызовом инструментов. FreeLLMAPI объединяет их за одним ключом, совместимым с OpenAI, и переходит к следующему провайдеру, когда лимит останавливает запрос.

Какая бесплатная LLM лучше всего подходит для вызова инструментов?

Используйте модель с вызовом инструментов и окном контекста 128K токенов или больше. Таблица на этой странице показывает самые сильные бесплатные модели, которые сегодня соответствуют обоим условиям.

Можно ли использовать FreeLLMAPI как MCP сервер?

Да. Включите поверхность MCP на странице Keys в разделе Agent compatibility. Затем подключите MCP клиент к /mcp, указав единый ключ как Bearer токен.

Как не дать агенту падать из-за лимитов запросов?

Добавьте ключи от большего числа провайдеров, отправляйте мелкие шаги на auto:fast, повторяйте запрос при 429 с учетом заголовка Retry-After и задайте максимальное число шагов.

Что происходит при смене модели в середине задачи агента?

Новая модель получает полную историю сообщений. Если передача контекста включена, она также получает короткую заметку с указанием продолжить задачу.

Похожие руководства

Источники

Все руководства · Смотреть все бесплатные модели