Главная / Руководства / Бесплатный LLM API на Python

Бесплатный LLM API на Python

Официальный пакет Python openai работает с любым API, совместимым с OpenAI. Вы меняете базовый адрес и ключ. Это руководство использует FreeLLMAPI, который объединяет 45 бесплатных уровней провайдеров за одним ключом и переходит к следующему провайдеру, когда лимит останавливает запрос. Каждый пример ниже полный и запускается как есть.

Код, названия моделей и метки живого каталога показаны на английском языке.

Настройка

Установите FreeLLMAPI. Он работает в Docker. Откройте панель управления по адресу http://localhost:3001, добавьте бесплатные ключи от двух или более провайдеров на странице Keys и скопируйте единый ключ. Затем установите пакет Python.

Ваш код на Python использует только единый ключ. Ключи провайдеров остаются в FreeLLMAPI и хранятся в его базе данных в зашифрованном виде. Если вы меняете или добавляете ключ провайдера, код менять не нужно.

Установка

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

Модель auto следует вашей цепочке запасных моделей на панели управления. Также можно использовать auto:fast, auto:smart или auto:reliable, профиль, например auto:coding, или фиксированный ID модели.

Потоковая передача и заголовки ответа

Потоковая передача ответа

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

Каждый ответ содержит заголовок X-Routed-Via с провайдером и моделью, которые ответили. Чтобы читать заголовки через SDK, используйте with_raw_response и вызовите parse(), чтобы получить обычный объект.

Чтение заголовков маршрутизации

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

Вызов инструментов

Отправляйте tools в формате OpenAI. Маршрутизатор передаёт их провайдерам, совместимым с OpenAI, и переводит для Gemini. Ответ возвращается в одном формате для всех провайдеров.

Один вызов инструмента и итоговый ответ

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Некоторые провайдеры возвращают вызов инструмента как простой текст. FreeLLMAPI преобразует такие ответы в настоящие tool_calls, поэтому ваш код читает один формат. Всегда проверяйте msg.tool_calls перед чтением msg.content, потому что модель может ответить и без инструмента.

Используйте модель с вызовом инструментов. Эти бесплатные модели поддерживают инструменты и имеют самую высокую измеренную скорость сегодня:

Быстрые бесплатные модели с вызовом инструментов
МодельБесплатно вКонтекстБесплатные лимиты (лучшее предложение)ИнструментыЗрение
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 запр./мин
250 запр./день
70,000 токенов/мин
~6M
ДаДа
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 запр./мин
50 запр./день
50 req/day account-wide (1,000 after a $10 purchase)
ДаНет
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq ещё +1131K30 запр./мин
1,000 запр./день
8,000 токенов/мин
200,000 токенов/день
~6M
ДаНет
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM ещё +1131K30 запр./мин
1,000 запр./день
8,000 токенов/мин
200,000 токенов/день
~6M
ДаНет
GPT-OSS Safeguard 20BGroq131K30 запр./мин
1,000 запр./день
8,000 токенов/мин
200,000 токенов/день
~6M
ДаНет
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 запр./мин
20 запр./день
250,000 токенов/мин
~3M
ДаДа
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditДаДа
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 запр./мин
5,000 запр./день
500,000 токенов/день
500K tokens/day · 5,000 req/day
ДаДа
Nemotron 3.5 Lightning 30BRequesty1M200 запр./день
200 rpd
ДаНет
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 запр./мин
20 запр./день
250,000 токенов/мин
~3M
ДаДа

Показано 10 из 146 подходящих бесплатных моделей. Смотреть все модели.

Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.

Асинхронные пакеты в рамках бесплатных лимитов

AsyncOpenAI отправляет много запросов одновременно. Бесплатные уровни ограничивают запросы в минуту, поэтому ограничьте параллельность с помощью семафора. Пример также повторяет запрос, когда все провайдеры достигли лимита.

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

Маршрутизатор возвращает 429 только тогда, когда все ключи в цепочке достигли лимита. В ответе тогда есть заголовок Retry-After. Небольшое значение семафора и больше ключей провайдеров дают лучшие результаты для больших пакетов.

Выберите строку модели для каждой задачи

Строка модели говорит маршрутизатору, как выбрать модель. В каждом вызове можно использовать другую строку. Менять панель управления не нужно.

ЗадачаСтрока моделиПричина
Ответы в чате для пользователейautoСледует цепочке запасных моделей, которую вы задали на панели управления
Классификация, извлечение, короткие сводкиauto:fastРанжирует включённые модели по измеренной скорости
Сложные вопросы, ревью кода, планированиеauto:smartРанжирует включённые модели по интеллекту
Плановые задания, которые должны завершитьсяauto:reliableРанжирует включённые модели по недавнему проценту успеха
Отдельная цепочка для одного приложенияauto:<profile>Использует именованную цепочку запасных моделей
Тесты, которые должны повторятьсяФиксированный ID моделиОдна и та же модель каждый раз, но останавливается на её лимите

Чтобы увидеть, какие модели ваши ключи могут вызвать сейчас, запросите список моделей с фильтром. Полный список также содержит модели, для которых пока нет ключа.

Список моделей, которые могут ответить сейчас

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

У модели со статусом exhausted есть ключи, но все они сейчас достигли лимита. Статус сбрасывается, когда заканчиваются задержки. У модели со статусом needsKey нет включённого ключа.

Для разговора отправляйте заголовок X-Session-Id через extra_headers. FreeLLMAPI тогда держит этот разговор на одной модели 30 минут. Без заголовка он использует хеш первого сообщения пользователя как ключ сессии.

Эмбеддинги

Получить эмбеддинги текста

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

Переключение эмбеддингов никогда не меняет модель. Оно переходит только между провайдерами, которые обслуживают одно и то же семейство, поэтому ваши векторы остаются совместимыми. Значение auto использует семейство по умолчанию, которое вы задали на панели управления.

Отправляйте много текстов в одном списке input. Один запрос с 32 текстами расходует один запрос из бесплатного лимита, а не 32. Держите каждый текст в пределах максимального входа семейства. Сохраняйте имя семейства вместе с векторами, чтобы позже запрашивать эмбеддинги тем же семейством.

Ошибки и исправления

ИсключениеПричинаРешение
openai.AuthenticationErrorНеверный единый ключСкопируйте ключ заново со страницы Keys
openai.APIConnectionErrorFreeLLMAPI не запущен или указан неверный портОткройте http://localhost:3001 в браузере
openai.NotFoundErrorВ базовом адресе нет /v1Используйте http://localhost:3001/v1
openai.RateLimitErrorВсе ключи в цепочке достигли своего лимитаДобавьте провайдеров, снизьте параллельность, дождитесь Retry-After
openai.BadRequestError с auto:nameИмя профиля не существуетПроверьте имя профиля на панели управления
openai.UnprocessableEntityError (422) с изображениямиВ вашей цепочке нет модели с поддержкой изображенийВключите модель с поддержкой изображений в цепочке запасных моделей

У бесплатных уровней нет SLA. Задержка меняется в течение дня. Самые сильные модели первыми достигают дневных лимитов, а многие лимиты сбрасываются в полночь по UTC. Не используйте бесплатный шлюз для сервиса, который должен отвечать за фиксированное время.

Используйте каждую из этих моделей через один ключ. FreeLLMAPI это маршрутизатор с открытым исходным кодом, который работает на вашем сервере. Он объединяет все эти бесплатные тарифы за одной конечной точкой, совместимой с OpenAI, и переключается на другой провайдер, когда достигнут лимит запросов. Открыть каталог или перейти.

Часто задаваемые вопросы

Есть ли бесплатный LLM API для Python?

Да. Многие провайдеры имеют бесплатные уровни, которые работают с пакетом openai для Python. FreeLLMAPI объединяет их за одним базовым адресом и одним ключом с переключением между провайдерами.

Как использовать библиотеку openai для Python с другим базовым адресом?

Передайте base_url в OpenAI() или AsyncOpenAI(), например base_url="http://localhost:3001/v1". Ключ шлюза передайте как api_key.

Как обрабатывать ошибки лимита частоты в Python?

Задайте max_retries у клиента. Перехватывайте openai.RateLimitError, читайте заголовок Retry-After и ждите. Ограничивайте параллельность семафором asyncio.

Работает ли потоковая передача с бесплатными LLM API в Python?

Да. Передайте stream=True и читайте chunk.choices[0].delta.content. FreeLLMAPI передаёт поток в формате OpenAI для каждого провайдера.

Можно ли использовать асинхронный Python с бесплатным LLM API?

Да. Используйте AsyncOpenAI с тем же base_url и ключом. Держите число параллельных запросов небольшим, потому что бесплатные уровни ограничивают запросы в минуту.

Похожие руководства

Источники

Все руководства · Смотреть все бесплатные модели