Бесплатный LLM API на Python
Официальный пакет Python openai работает с любым API, совместимым с OpenAI. Вы меняете базовый адрес и ключ. Это руководство использует FreeLLMAPI, который объединяет 45 бесплатных уровней провайдеров за одним ключом и переходит к следующему провайдеру, когда лимит останавливает запрос. Каждый пример ниже полный и запускается как есть.
Код, названия моделей и метки живого каталога показаны на английском языке.
Настройка
Установите FreeLLMAPI. Он работает в Docker. Откройте панель управления по адресу http://localhost:3001, добавьте бесплатные ключи от двух или более провайдеров на странице Keys и скопируйте единый ключ. Затем установите пакет Python.
Ваш код на Python использует только единый ключ. Ключи провайдеров остаются в FreeLLMAPI и хранятся в его базе данных в зашифрованном виде. Если вы меняете или добавляете ключ провайдера, код менять не нужно.
Установка
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)Модель auto следует вашей цепочке запасных моделей на панели управления. Также можно использовать auto:fast, auto:smart или auto:reliable, профиль, например auto:coding, или фиксированный ID модели.
Потоковая передача и заголовки ответа
Потоковая передача ответа
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()Каждый ответ содержит заголовок X-Routed-Via с провайдером и моделью, которые ответили. Чтобы читать заголовки через SDK, используйте with_raw_response и вызовите parse(), чтобы получить обычный объект.
Чтение заголовков маршрутизации
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)Вызов инструментов
Отправляйте tools в формате OpenAI. Маршрутизатор передаёт их провайдерам, совместимым с OpenAI, и переводит для Gemini. Ответ возвращается в одном формате для всех провайдеров.
Один вызов инструмента и итоговый ответ
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)Некоторые провайдеры возвращают вызов инструмента как простой текст. FreeLLMAPI преобразует такие ответы в настоящие tool_calls, поэтому ваш код читает один формат. Всегда проверяйте msg.tool_calls перед чтением msg.content, потому что модель может ответить и без инструмента.
Используйте модель с вызовом инструментов. Эти бесплатные модели поддерживают инструменты и имеют самую высокую измеренную скорость сегодня:
| Модель | Бесплатно в | Контекст | Бесплатные лимиты (лучшее предложение) | Инструменты | Зрение |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 запр./мин 250 запр./день 70,000 токенов/мин ~6M | Да | Да |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 запр./мин 50 запр./день 50 req/day account-wide (1,000 after a $10 purchase) | Да | Нет |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq ещё +1 | 131K | 30 запр./мин 1,000 запр./день 8,000 токенов/мин 200,000 токенов/день ~6M | Да | Нет |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM ещё +1 | 131K | 30 запр./мин 1,000 запр./день 8,000 токенов/мин 200,000 токенов/день ~6M | Да | Нет |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 запр./мин 1,000 запр./день 8,000 токенов/мин 200,000 токенов/день ~6M | Да | Нет |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | Да | Да |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 запр./мин 5,000 запр./день 500,000 токенов/день 500K tokens/day · 5,000 req/day | Да | Да |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 запр./день 200 rpd | Да | Нет |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
Показано 10 из 146 подходящих бесплатных моделей. Смотреть все модели.
Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.
Асинхронные пакеты в рамках бесплатных лимитов
AsyncOpenAI отправляет много запросов одновременно. Бесплатные уровни ограничивают запросы в минуту, поэтому ограничьте параллельность с помощью семафора. Пример также повторяет запрос, когда все провайдеры достигли лимита.
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())Маршрутизатор возвращает 429 только тогда, когда все ключи в цепочке достигли лимита. В ответе тогда есть заголовок Retry-After. Небольшое значение семафора и больше ключей провайдеров дают лучшие результаты для больших пакетов.
Выберите строку модели для каждой задачи
Строка модели говорит маршрутизатору, как выбрать модель. В каждом вызове можно использовать другую строку. Менять панель управления не нужно.
| Задача | Строка модели | Причина |
|---|---|---|
| Ответы в чате для пользователей | auto | Следует цепочке запасных моделей, которую вы задали на панели управления |
| Классификация, извлечение, короткие сводки | auto:fast | Ранжирует включённые модели по измеренной скорости |
| Сложные вопросы, ревью кода, планирование | auto:smart | Ранжирует включённые модели по интеллекту |
| Плановые задания, которые должны завершиться | auto:reliable | Ранжирует включённые модели по недавнему проценту успеха |
| Отдельная цепочка для одного приложения | auto:<profile> | Использует именованную цепочку запасных моделей |
| Тесты, которые должны повторяться | Фиксированный ID модели | Одна и та же модель каждый раз, но останавливается на её лимите |
Чтобы увидеть, какие модели ваши ключи могут вызвать сейчас, запросите список моделей с фильтром. Полный список также содержит модели, для которых пока нет ключа.
Список моделей, которые могут ответить сейчас
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])У модели со статусом exhausted есть ключи, но все они сейчас достигли лимита. Статус сбрасывается, когда заканчиваются задержки. У модели со статусом needsKey нет включённого ключа.
Для разговора отправляйте заголовок X-Session-Id через extra_headers. FreeLLMAPI тогда держит этот разговор на одной модели 30 минут. Без заголовка он использует хеш первого сообщения пользователя как ключ сессии.
Эмбеддинги
Получить эмбеддинги текста
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")Переключение эмбеддингов никогда не меняет модель. Оно переходит только между провайдерами, которые обслуживают одно и то же семейство, поэтому ваши векторы остаются совместимыми. Значение auto использует семейство по умолчанию, которое вы задали на панели управления.
Отправляйте много текстов в одном списке input. Один запрос с 32 текстами расходует один запрос из бесплатного лимита, а не 32. Держите каждый текст в пределах максимального входа семейства. Сохраняйте имя семейства вместе с векторами, чтобы позже запрашивать эмбеддинги тем же семейством.
Ошибки и исправления
| Исключение | Причина | Решение |
|---|---|---|
openai.AuthenticationError | Неверный единый ключ | Скопируйте ключ заново со страницы Keys |
openai.APIConnectionError | FreeLLMAPI не запущен или указан неверный порт | Откройте http://localhost:3001 в браузере |
openai.NotFoundError | В базовом адресе нет /v1 | Используйте http://localhost:3001/v1 |
openai.RateLimitError | Все ключи в цепочке достигли своего лимита | Добавьте провайдеров, снизьте параллельность, дождитесь Retry-After |
openai.BadRequestError с auto:name | Имя профиля не существует | Проверьте имя профиля на панели управления |
openai.UnprocessableEntityError (422) с изображениями | В вашей цепочке нет модели с поддержкой изображений | Включите модель с поддержкой изображений в цепочке запасных моделей |
У бесплатных уровней нет SLA. Задержка меняется в течение дня. Самые сильные модели первыми достигают дневных лимитов, а многие лимиты сбрасываются в полночь по UTC. Не используйте бесплатный шлюз для сервиса, который должен отвечать за фиксированное время.
Часто задаваемые вопросы
Есть ли бесплатный LLM API для Python?
Да. Многие провайдеры имеют бесплатные уровни, которые работают с пакетом openai для Python. FreeLLMAPI объединяет их за одним базовым адресом и одним ключом с переключением между провайдерами.
Как использовать библиотеку openai для Python с другим базовым адресом?
Передайте base_url в OpenAI() или AsyncOpenAI(), например base_url="http://localhost:3001/v1". Ключ шлюза передайте как api_key.
Как обрабатывать ошибки лимита частоты в Python?
Задайте max_retries у клиента. Перехватывайте openai.RateLimitError, читайте заголовок Retry-After и ждите. Ограничивайте параллельность семафором asyncio.
Работает ли потоковая передача с бесплатными LLM API в Python?
Да. Передайте stream=True и читайте chunk.choices[0].delta.content. FreeLLMAPI передаёт поток в формате OpenAI для каждого провайдера.
Можно ли использовать асинхронный Python с бесплатным LLM API?
Да. Используйте AsyncOpenAI с тем же base_url и ключом. Держите число параллельных запросов небольшим, потому что бесплатные уровни ограничивают запросы в минуту.
Похожие руководства
- Базовые URL бесплатных API, совместимых с OpenAI
- Бесплатный LLM API для LangChain
- Бесплатный LLM API для ИИ-агентов
- Бесплатный LLM API с вызовом функций
- Лимиты запросов бесплатного LLM API
Источники
- OpenAI Python SDK README (async, retries, raw responses, errors) (проверено 20 November 2026)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (проверено 20 November 2026)
- FreeLLMAPI docs: degraded mode and failover (проверено 20 November 2026)