Бесплатный LLM API для LangChain
LangChain подключается к API, совместимым с OpenAI, через ChatOpenAI и OpenAIEmbeddings. Вы меняете базовый URL и ключ. Это руководство направляет оба класса на FreeLLMAPI, который объединяет 45 бесплатных тарифов провайдеров за одним ключом. Код ниже работает на Python и JavaScript и обрабатывает лимиты запросов.
Код, названия моделей и метки живого каталога показаны на английском языке.
Настройка шлюза и пакетов
Установите FreeLLMAPI и добавьте бесплатные ключи от двух или более провайдеров на странице Keys панели управления. Скопируйте единый ключ. Ваш код использует только этот ключ. Ключи провайдеров хранятся в FreeLLMAPI.
Установка FreeLLMAPI и пакетов LangChain
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zodПеременные окружения
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Используйте model="auto", чтобы маршрутизатор выбирал модель. Также можно использовать стратегию маршрутизации, например auto:fast или auto:smart. Работают и именованный профиль, например auto:coding, и фиксированный ID модели из каталога.
Чтобы увидеть модели, которые ваши ключи могут вызвать сейчас, запросите GET /v1/models?execution_status=ready. Полный список также содержит модели без ключа. У модели со статусом exhausted есть ключи, но все они сейчас достигли лимита. Этот статус снимается, когда заканчиваются паузы.
Список моделей, которые могут ответить сейчас
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"Чат с ChatOpenAI
В Python задайте base_url и api_key. Значение max_retries передается клиенту OpenAI, который повторяет ошибки 429 и 5xx с экспоненциальной задержкой.
Python: чат и потоковая передача
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)В JavaScript поместите базовый URL в configuration.baseURL. Объект configuration передается официальному клиенту OpenAI SDK.
JavaScript: чат и потоковая передача
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}Заголовок x-routed-via показывает провайдера и модель, которые ответили. Если маршрутизатор сменил провайдера, x-fallback-trail показывает каждую неудачную попытку и причину.
Инструменты и агенты
FreeLLMAPI передает tools в формате OpenAI каждому провайдеру и возвращает tool_calls в формате OpenAI. Для Gemini он переводит запрос в формат Google и обратно. Используйте bind_tools для одного вызова или create_agent для цикла, который запускает инструменты.
Python: bind_tools и create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);Только некоторые бесплатные модели поддерживают вызов инструментов. При auto оставляйте модели с вызовом инструментов в цепочке переключения или создайте профиль для агентов. Сегодня эти бесплатные модели поддерживают инструменты:
| Модель | Бесплатно в | Контекст | Бесплатные лимиты (лучшее предложение) | Инструменты | Зрение |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 запр./мин 1 req/min per model | Да | Нет |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 запр./мин 40 RPM | Да | Да |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Да | Да |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Да | Нет |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Да | Да |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Да | Да |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 запр./мин 50 запр./день 50 req/day account-wide (1,000 after a $10 purchase) | Да | Да |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 запр./мин 50 запр./день Shared rate limit | Да | Нет |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 запр./мин 250 запр./день 70,000 токенов/мин ~6M | Да | Да |
Показано 10 из 109 подходящих бесплатных моделей. Смотреть все модели.
Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.
Эмбеддинги с OpenAIEmbeddings
По умолчанию OpenAIEmbeddings в Python разбивает текст токенизатором OpenAI и отправляет токены. Большинству других провайдеров нужен исходный текст. Задайте check_embedding_ctx_length=False, чтобы отправлять текст.
Python: эмбеддинги
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: эмбеддинги
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);Переключение эмбеддингов в FreeLLMAPI никогда не меняет модель. Оно переходит только между провайдерами, которые обслуживают одно и то же семейство. Так все векторы в одном хранилище остаются совместимыми. Выберите семейство и не меняйте его. Сегодня бесплатные модели эмбеддингов такие:
| Модель | Провайдер | Размерности | Макс. вход | Бесплатный лимит |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.
Структурированный вывод, сессии и выбор модели
with_structured_output возвращает объект Pydantic вместо текста. По умолчанию LangChain для этого использует вызов функций. Этот метод работает на каждой бесплатной модели, которая поддерживает инструменты.
Python: структурированный вывод
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)Не используйте method="json_schema" с auto. Не каждый бесплатный провайдер поддерживает строгий вывод JSON Schema, а маршрутизатор может выбрать другого провайдера для каждого запроса.
FreeLLMAPI держит диалог на одной модели 30 минут. Он находит диалог по заголовку X-Session-Id. Если заголовка нет, он использует хеш первого сообщения пользователя. Для чат-приложения с большим числом пользователей отправляйте один ID сессии на каждого пользователя:
Python: одна сессия на пользователя
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)Выберите строку модели для каждой части вашего приложения:
| Задача в вашем приложении | Строка модели | Причина |
|---|---|---|
| Ответы чата для пользователей | auto | Следует цепочке, которую вы задали на панели управления |
| Агент с инструментами | auto:<profile> | Профиль, в котором только модели с вызовом инструментов |
| Классификация, маршрутизация, короткие сводки | auto:fast | Ранжирует модели по измеренной скорости |
| Сложные шаги рассуждения | auto:smart | Ранжирует модели по интеллекту |
| Тесты, которые должны повторяться | Фиксированный ID модели | Каждый раз одна и та же модель, но она останавливается на лимите этой модели |
У бесплатных тарифов нет SLA. Задержка меняется в течение дня, а самые сильные модели первыми достигают дневных лимитов. Проверяйте свои цепочки на тех моделях, которые цепочка будет использовать на самом деле.
Лимиты запросов и повторы
FreeLLMAPI пробует следующего провайдера, когда один из них возвращает 429. Ваш код видит 429 только тогда, когда каждый ключ в цепочке достиг лимита. Тогда в ответе есть заголовок Retry-After. Многие дневные лимиты сбрасываются в полночь по UTC.
Для пакетных задач добавьте второй уровень повторов с with_retry. Он повторяет весь runnable с экспоненциальной задержкой и джиттером.
Python: повтор цепочки при лимитах запросов
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| Проблема | Причина | Решение |
|---|---|---|
openai.AuthenticationError | Неверный единый ключ | Скопируйте ключ со страницы Keys еще раз |
openai.NotFoundError при каждом вызове | В базовом URL нет /v1 | Используйте http://localhost:3001/v1 |
openai.RateLimitError | Все ключи в цепочке достигли лимита | Добавьте провайдеров, уменьшите max_concurrency или дождитесь Retry-After |
| Ошибка эмбеддингов о токенах или типе входа | LangChain отправляет токены, а не текст | Задайте check_embedding_ctx_length=False |
tool_calls пустой | Модель не поддерживает инструменты | Используйте модель из таблицы инструментов или профиль для инструментов |
| Текст рассуждений отсутствует | ChatOpenAI сохраняет только стандартные поля OpenAI | Читайте ответ в content; дополнительные поля провайдера не сохраняются |
Часто задаваемые вопросы
Можно ли использовать бесплатный LLM API с LangChain?
Да. Любой API, совместимый с OpenAI, работает с ChatOpenAI. Задайте base_url как http://localhost:3001/v1, а api_key как ваш единый ключ FreeLLMAPI. Маршрутизатор использует бесплатные тарифы провайдеров.
Как задать свой базовый URL в ChatOpenAI из LangChain?
В Python передайте base_url в ChatOpenAI. В JavaScript передайте configuration: { baseURL } в конструктор. Переменная окружения OPENAI_BASE_URL тоже работает в Python.
Работают ли агенты LangChain с бесплатными моделями?
Да, если модель поддерживает вызов инструментов. Используйте create_agent с моделью ChatOpenAI и оставляйте модели с вызовом инструментов в вашей цепочке FreeLLMAPI.
Почему OpenAIEmbeddings не работает с провайдером не от OpenAI?
По умолчанию он отправляет ID токенов. Большинству других провайдеров нужен исходный текст. В Python задайте check_embedding_ctx_length=False.
Как обрабатывать ошибки 429 в LangChain?
Задайте max_retries в ChatOpenAI и добавьте with_retry в цепочку для пакетных задач. FreeLLMAPI уже переходит к следующему провайдеру до того, как ваш код увидит 429.
Похожие руководства
- Бесплатный LLM для LlamaIndex
- Бесплатный LLM API на Python
- Бесплатный LLM API для RAG
- Бесплатный API эмбеддингов
- Бесплатный LLM API с вызовом функций
- Бесплатный LLM API для ИИ-агентов
Источники
- LangChain docs: ChatOpenAI integration (Python) (проверено 20 November 2026)
- LangChain docs: ChatOpenAI integration (JavaScript) (проверено 20 November 2026)
- LangChain docs: agents and create_agent (проверено 20 November 2026)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (проверено 20 November 2026)
- OpenAI Python SDK: retries and errors (проверено 20 November 2026)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (проверено 20 November 2026)