Головна / Посібники / Безкоштовний LLM API на Python

Безкоштовний LLM API на Python

Офіційний пакет openai для Python працює з будь-яким API, сумісним з OpenAI. Ви змінюєте базову адресу і ключ. Цей посібник використовує FreeLLMAPI, який об'єднує 45 безкоштовних рівнів провайдерів за одним ключем і переходить до наступного провайдера, коли ліміт зупиняє запит. Кожен приклад нижче повний і працює без змін.

Код, назви моделей і мітки живого каталогу показано англійською.

Налаштування

Встановіть FreeLLMAPI. Він працює в Docker. Відкрийте панель керування за адресою http://localhost:3001, додайте безкоштовні ключі від двох або більше провайдерів на сторінці Keys і скопіюйте уніфікований ключ. Потім встановіть пакет Python.

Ваш код Python використовує лише уніфікований ключ. Ключі провайдерів залишаються у FreeLLMAPI, зашифровані в його базі даних. Якщо ви змінюєте або додаєте ключ провайдера, ваш код не змінюється.

Встановлення

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

Модель auto дотримується вашого ланцюжка резервних моделей на панелі керування. Також можна використовувати auto:fast, auto:smart або auto:reliable, профіль, наприклад auto:coding, або фіксований ID моделі.

Потокова передача і заголовки відповіді

Передайте відповідь потоком

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

Кожна відповідь має заголовок X-Routed-Via з провайдером і моделлю, які відповіли. Щоб читати заголовки через SDK, використовуйте with_raw_response і викличте parse(), щоб отримати звичайний об'єкт.

Читання заголовків маршрутизації

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

Tool calling

Надсилайте tools у форматі OpenAI. Маршрутизатор передає їх провайдерам, сумісним з OpenAI, і перекладає для Gemini. Відповідь повертається в тому самому форматі для кожного провайдера.

Один виклик інструмента і фінальна відповідь

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Деякі провайдери повертають виклик інструмента як звичайний текст. FreeLLMAPI перетворює такі відповіді на справжні tool_calls, тож ваш код читає один формат. Завжди перевіряйте msg.tool_calls, перш ніж читати msg.content, бо модель також може відповісти без інструмента.

Використовуйте модель з tool calling. Ці безкоштовні моделі підтримують інструменти і мають найшвидшу виміряну швидкість на сьогодні:

Швидкі безкоштовні моделі з tool calling
МодельБезкоштовно наКонтекстБезкоштовні ліміти (найкращі)ІнструментиЗображення
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 запитів/хв
250 запитів/добу
70,000 токенів/хв
~6M
ТакТак
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 запитів/хв
50 запитів/добу
50 req/day account-wide (1,000 after a $10 purchase)
ТакНі
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq +ще 1131K30 запитів/хв
1,000 запитів/добу
8,000 токенів/хв
200,000 токенів/добу
~6M
ТакНі
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM +ще 1131K30 запитів/хв
1,000 запитів/добу
8,000 токенів/хв
200,000 токенів/добу
~6M
ТакНі
GPT-OSS Safeguard 20BGroq131K30 запитів/хв
1,000 запитів/добу
8,000 токенів/хв
200,000 токенів/добу
~6M
ТакНі
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditТакТак
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 запитів/хв
5,000 запитів/добу
500,000 токенів/добу
500K tokens/day · 5,000 req/day
ТакТак
Nemotron 3.5 Lightning 30BRequesty1M200 запитів/добу
200 rpd
ТакНі
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак

Показано 10 із 146 відповідних безкоштовних моделей. Переглянути всі моделі.

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

Асинхронні пакети в межах безкоштовних лімітів

AsyncOpenAI надсилає багато запитів одночасно. Безкоштовні рівні обмежують запити за хвилину, тож обмежте паралельність за допомогою семафора. Приклад також робить повторну спробу, коли всі провайдери досягли ліміту.

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

Маршрутизатор повертає 429 лише тоді, коли кожен ключ у ланцюжку досяг свого ліміту. Відповідь тоді має заголовок Retry-After. Мале значення семафора і більше ключів провайдерів дають найкращі результати для великих пакетів.

Оберіть рядок моделі для кожного завдання

Рядок моделі каже маршрутизатору, як обрати модель. У кожному виклику можна використовувати інший рядок. Панель керування змінювати не потрібно.

ЗавданняРядок моделіПричина
Відповіді в чаті для користувачівautoДотримується ланцюжка резервних моделей, який ви задали на панелі керування
Класифікація, витяг, короткі підсумкиauto:fastРанжує увімкнені моделі за виміряною швидкістю
Складні запитання, перевірка коду, плануванняauto:smartРанжує увімкнені моделі за інтелектом
Заплановані завдання, які мають завершитисяauto:reliableРанжує увімкнені моделі за нещодавнім відсотком успішних запитів
Окремий ланцюжок для одного застосункуauto:<profile>Використовує іменований ланцюжок резервних моделей
Тести, які мають бути повторюванимиФіксований ID моделіЩоразу та сама модель, але вона зупиняється на лімиті цієї моделі

Щоб побачити, які моделі ваші ключі можуть викликати зараз, запросіть список моделей з фільтром. Повний список також містить моделі, для яких ще немає ключа.

Список моделей, які можуть відповісти зараз

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

Модель зі статусом exhausted має ключі, але всі вони зараз досягли ліміту. Статус скидається, коли закінчуються паузи. Модель зі статусом needsKey не має увімкненого ключа.

Для розмови надсилайте заголовок X-Session-Id через extra_headers. FreeLLMAPI тоді утримує цю розмову на одній моделі 30 хвилин. Без заголовка він використовує хеш першого повідомлення користувача як ключ сесії.

Ембедінги

Створіть ембедінги тексту

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

Резервний перехід для ембедінгів ніколи не змінює модель. Він переходить лише між провайдерами, які обслуговують те саме сімейство, тож ваші вектори лишаються сумісними. Значення auto використовує сімейство за замовчуванням, яке ви задали на панелі керування.

Надсилайте багато текстів в одному списку input. Один запит із 32 текстами використовує один запит з безкоштовного ліміту, а не 32. Тримайте кожен текст в межах максимального вводу сімейства. Зберігайте назву сімейства разом із векторами, щоб пізніше створювати ембедінги запитів з тим самим сімейством.

Помилки і виправлення

ВинятокПричинаРішення
openai.AuthenticationErrorНеправильний уніфікований ключСкопіюйте ключ знову зі сторінки Keys
openai.APIConnectionErrorFreeLLMAPI не запущено або неправильний портВідкрийте http://localhost:3001 у браузері
openai.NotFoundErrorУ базовій адресі немає /v1Використовуйте http://localhost:3001/v1
openai.RateLimitErrorУсі ключі в ланцюжку досягли свого лімітуДодайте провайдерів, зменште паралельність, дочекайтеся Retry-After
openai.BadRequestError з auto:nameНазви профілю не існуєПеревірте назву профілю на панелі керування
openai.UnprocessableEntityError (422) із зображеннямиУ вашому ланцюжку немає моделі для зображеньУвімкніть модель для зображень у ланцюжку резервних моделей

Безкоштовні рівні не мають SLA. Затримка змінюється протягом дня. Найсильніші моделі першими досягають денних лімітів, а багато лімітів скидаються о півночі за UTC. Не використовуйте безкоштовний шлюз для сервісу, який має відповідати за фіксований час.

Використовуйте кожну з цих моделей через один ключ. FreeLLMAPI це маршрутизатор з відкритим кодом, який ви розгортаєте самі. Він об'єднує всі ці безкоштовні тарифи за однією кінцевою точкою, сумісною з OpenAI, і переходить до наступного, коли один з них досягає ліміту. Переглянути каталог або або почніть роботу.

Часті запитання

Чи є безкоштовний LLM API для Python?

Так. Багато провайдерів мають безкоштовні рівні, які працюють з пакетом openai для Python. FreeLLMAPI об'єднує їх за однією базовою адресою і одним ключем, з резервним переходом між провайдерами.

Як використовувати бібліотеку openai для Python з іншою базовою адресою?

Передайте base_url в OpenAI() або AsyncOpenAI(), наприклад base_url="http://localhost:3001/v1". Ключ шлюзу передайте як api_key.

Як обробляти помилки ліміту частоти в Python?

Встановіть max_retries для клієнта. Перехоплюйте openai.RateLimitError, читайте заголовок Retry-After і чекайте. Обмежте паралельність семафором asyncio.

Чи працює потокова передача з безкоштовними LLM API у Python?

Так. Передайте stream=True і читайте chunk.choices[0].delta.content. FreeLLMAPI передає потік у форматі OpenAI для кожного провайдера.

Чи можна використовувати асинхронний Python з безкоштовним LLM API?

Так. Використовуйте AsyncOpenAI з тією самою base_url і ключем. Тримайте кількість паралельних запитів малою, бо безкоштовні рівні обмежують запити за хвилину.

Схожі посібники

Джерела

Усі посібники · Переглянути всі безкоштовні моделі