Безкоштовний LLM API на Python
Офіційний пакет openai для Python працює з будь-яким API, сумісним з OpenAI. Ви змінюєте базову адресу і ключ. Цей посібник використовує FreeLLMAPI, який об'єднує 45 безкоштовних рівнів провайдерів за одним ключем і переходить до наступного провайдера, коли ліміт зупиняє запит. Кожен приклад нижче повний і працює без змін.
Код, назви моделей і мітки живого каталогу показано англійською.
Налаштування
Встановіть FreeLLMAPI. Він працює в Docker. Відкрийте панель керування за адресою http://localhost:3001, додайте безкоштовні ключі від двох або більше провайдерів на сторінці Keys і скопіюйте уніфікований ключ. Потім встановіть пакет Python.
Ваш код Python використовує лише уніфікований ключ. Ключі провайдерів залишаються у FreeLLMAPI, зашифровані в його базі даних. Якщо ви змінюєте або додаєте ключ провайдера, ваш код не змінюється.
Встановлення
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)Модель auto дотримується вашого ланцюжка резервних моделей на панелі керування. Також можна використовувати auto:fast, auto:smart або auto:reliable, профіль, наприклад auto:coding, або фіксований ID моделі.
Потокова передача і заголовки відповіді
Передайте відповідь потоком
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()Кожна відповідь має заголовок X-Routed-Via з провайдером і моделлю, які відповіли. Щоб читати заголовки через SDK, використовуйте with_raw_response і викличте parse(), щоб отримати звичайний об'єкт.
Читання заголовків маршрутизації
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)Tool calling
Надсилайте tools у форматі OpenAI. Маршрутизатор передає їх провайдерам, сумісним з OpenAI, і перекладає для Gemini. Відповідь повертається в тому самому форматі для кожного провайдера.
Один виклик інструмента і фінальна відповідь
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)Деякі провайдери повертають виклик інструмента як звичайний текст. FreeLLMAPI перетворює такі відповіді на справжні tool_calls, тож ваш код читає один формат. Завжди перевіряйте msg.tool_calls, перш ніж читати msg.content, бо модель також може відповісти без інструмента.
Використовуйте модель з tool calling. Ці безкоштовні моделі підтримують інструменти і мають найшвидшу виміряну швидкість на сьогодні:
| Модель | Безкоштовно на | Контекст | Безкоштовні ліміти (найкращі) | Інструменти | Зображення |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 запитів/хв 250 запитів/добу 70,000 токенів/хв ~6M | Так | Так |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 запитів/хв 50 запитів/добу 50 req/day account-wide (1,000 after a $10 purchase) | Так | Ні |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq +ще 1 | 131K | 30 запитів/хв 1,000 запитів/добу 8,000 токенів/хв 200,000 токенів/добу ~6M | Так | Ні |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM +ще 1 | 131K | 30 запитів/хв 1,000 запитів/добу 8,000 токенів/хв 200,000 токенів/добу ~6M | Так | Ні |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 запитів/хв 1,000 запитів/добу 8,000 токенів/хв 200,000 токенів/добу ~6M | Так | Ні |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | Так | Так |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 запитів/хв 5,000 запитів/добу 500,000 токенів/добу 500K tokens/day · 5,000 req/day | Так | Так |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 запитів/добу 200 rpd | Так | Ні |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
Показано 10 із 146 відповідних безкоштовних моделей. Переглянути всі моделі.
Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.
Асинхронні пакети в межах безкоштовних лімітів
AsyncOpenAI надсилає багато запитів одночасно. Безкоштовні рівні обмежують запити за хвилину, тож обмежте паралельність за допомогою семафора. Приклад також робить повторну спробу, коли всі провайдери досягли ліміту.
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())Маршрутизатор повертає 429 лише тоді, коли кожен ключ у ланцюжку досяг свого ліміту. Відповідь тоді має заголовок Retry-After. Мале значення семафора і більше ключів провайдерів дають найкращі результати для великих пакетів.
Оберіть рядок моделі для кожного завдання
Рядок моделі каже маршрутизатору, як обрати модель. У кожному виклику можна використовувати інший рядок. Панель керування змінювати не потрібно.
| Завдання | Рядок моделі | Причина |
|---|---|---|
| Відповіді в чаті для користувачів | auto | Дотримується ланцюжка резервних моделей, який ви задали на панелі керування |
| Класифікація, витяг, короткі підсумки | auto:fast | Ранжує увімкнені моделі за виміряною швидкістю |
| Складні запитання, перевірка коду, планування | auto:smart | Ранжує увімкнені моделі за інтелектом |
| Заплановані завдання, які мають завершитися | auto:reliable | Ранжує увімкнені моделі за нещодавнім відсотком успішних запитів |
| Окремий ланцюжок для одного застосунку | auto:<profile> | Використовує іменований ланцюжок резервних моделей |
| Тести, які мають бути повторюваними | Фіксований ID моделі | Щоразу та сама модель, але вона зупиняється на лімиті цієї моделі |
Щоб побачити, які моделі ваші ключі можуть викликати зараз, запросіть список моделей з фільтром. Повний список також містить моделі, для яких ще немає ключа.
Список моделей, які можуть відповісти зараз
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])Модель зі статусом exhausted має ключі, але всі вони зараз досягли ліміту. Статус скидається, коли закінчуються паузи. Модель зі статусом needsKey не має увімкненого ключа.
Для розмови надсилайте заголовок X-Session-Id через extra_headers. FreeLLMAPI тоді утримує цю розмову на одній моделі 30 хвилин. Без заголовка він використовує хеш першого повідомлення користувача як ключ сесії.
Ембедінги
Створіть ембедінги тексту
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")Резервний перехід для ембедінгів ніколи не змінює модель. Він переходить лише між провайдерами, які обслуговують те саме сімейство, тож ваші вектори лишаються сумісними. Значення auto використовує сімейство за замовчуванням, яке ви задали на панелі керування.
Надсилайте багато текстів в одному списку input. Один запит із 32 текстами використовує один запит з безкоштовного ліміту, а не 32. Тримайте кожен текст в межах максимального вводу сімейства. Зберігайте назву сімейства разом із векторами, щоб пізніше створювати ембедінги запитів з тим самим сімейством.
Помилки і виправлення
| Виняток | Причина | Рішення |
|---|---|---|
openai.AuthenticationError | Неправильний уніфікований ключ | Скопіюйте ключ знову зі сторінки Keys |
openai.APIConnectionError | FreeLLMAPI не запущено або неправильний порт | Відкрийте http://localhost:3001 у браузері |
openai.NotFoundError | У базовій адресі немає /v1 | Використовуйте http://localhost:3001/v1 |
openai.RateLimitError | Усі ключі в ланцюжку досягли свого ліміту | Додайте провайдерів, зменште паралельність, дочекайтеся Retry-After |
openai.BadRequestError з auto:name | Назви профілю не існує | Перевірте назву профілю на панелі керування |
openai.UnprocessableEntityError (422) із зображеннями | У вашому ланцюжку немає моделі для зображень | Увімкніть модель для зображень у ланцюжку резервних моделей |
Безкоштовні рівні не мають SLA. Затримка змінюється протягом дня. Найсильніші моделі першими досягають денних лімітів, а багато лімітів скидаються о півночі за UTC. Не використовуйте безкоштовний шлюз для сервісу, який має відповідати за фіксований час.
Часті запитання
Чи є безкоштовний LLM API для Python?
Так. Багато провайдерів мають безкоштовні рівні, які працюють з пакетом openai для Python. FreeLLMAPI об'єднує їх за однією базовою адресою і одним ключем, з резервним переходом між провайдерами.
Як використовувати бібліотеку openai для Python з іншою базовою адресою?
Передайте base_url в OpenAI() або AsyncOpenAI(), наприклад base_url="http://localhost:3001/v1". Ключ шлюзу передайте як api_key.
Як обробляти помилки ліміту частоти в Python?
Встановіть max_retries для клієнта. Перехоплюйте openai.RateLimitError, читайте заголовок Retry-After і чекайте. Обмежте паралельність семафором asyncio.
Чи працює потокова передача з безкоштовними LLM API у Python?
Так. Передайте stream=True і читайте chunk.choices[0].delta.content. FreeLLMAPI передає потік у форматі OpenAI для кожного провайдера.
Чи можна використовувати асинхронний Python з безкоштовним LLM API?
Так. Використовуйте AsyncOpenAI з тією самою base_url і ключем. Тримайте кількість паралельних запитів малою, бо безкоштовні рівні обмежують запити за хвилину.
Схожі посібники
- Базові URL безкоштовних API, сумісних з OpenAI
- Безкоштовний LLM API для LangChain
- Безкоштовний LLM API для AI-агентів
- Безкоштовний LLM API з викликом функцій
- Ліміти запитів безкоштовного LLM API
Джерела
- OpenAI Python SDK README (async, retries, raw responses, errors) (перевірено 20 November 2026)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (перевірено 20 November 2026)
- FreeLLMAPI docs: degraded mode and failover (перевірено 20 November 2026)