Безкоштовний LLM API для LangChain
LangChain підключається до API, сумісних з OpenAI, через ChatOpenAI і OpenAIEmbeddings. Ви змінюєте базовий URL і ключ. Цей посібник спрямовує обидва класи на FreeLLMAPI, який об'єднує безкоштовні тарифи 45 постачальників за одним ключем. Наведений нижче код працює в Python і JavaScript та обробляє ліміти частоти запитів.
Код, назви моделей і мітки живого каталогу показано англійською.
Налаштуйте шлюз і пакети
Встановіть FreeLLMAPI і додайте безкоштовні ключі від двох або більше постачальників на сторінці Keys панелі керування. Скопіюйте уніфікований ключ. Ваш код використовує лише цей ключ. Ключі постачальників залишаються у FreeLLMAPI.
Встановлення FreeLLMAPI і пакетів LangChain
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zodЗмінні середовища
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Використовуйте model="auto", щоб маршрутизатор вибирав модель. Ви також можете використати стратегію маршрутизації, наприклад auto:fast або auto:smart. Іменований профіль, наприклад auto:coding, і фіксований ID моделі з каталогу також працюють.
Щоб побачити, які моделі ваші ключі можуть викликати зараз, надішліть запит GET /v1/models?execution_status=ready. Повний список також містить моделі без ключа. Модель зі статусом exhausted має ключі, але всі вони зараз досягли ліміту. Цей статус знімається, коли закінчуються періоди охолодження.
Список моделей, які можуть відповісти зараз
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"Чат з ChatOpenAI
У Python задайте base_url і api_key. Значення max_retries передається клієнту OpenAI, який повторює помилки 429 і 5xx з експоненційною затримкою.
Python: чат і потокова передача
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)У JavaScript помістіть базовий URL у configuration.baseURL. Об'єкт configuration передається офіційному клієнту OpenAI SDK.
JavaScript: чат і потокова передача
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}Заголовок x-routed-via показує постачальника і модель, які відповіли. Якщо маршрутизатор змінив постачальника, x-fallback-trail показує кожну невдалу спробу і причину.
Інструменти та агенти
FreeLLMAPI передає tools у стилі OpenAI кожному постачальнику і повертає tool_calls у форматі OpenAI. Для Gemini він перекладає запит у формат Google і назад. Використовуйте bind_tools для одного виклику або create_agent для циклу, який запускає інструменти.
Python: bind_tools і create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);Лише деякі безкоштовні моделі підтримують виклик інструментів. З auto тримайте моделі з викликом інструментів у ланцюгу резервних моделей або створіть профіль для агентів. Ці безкоштовні моделі сьогодні підтримують інструменти:
| Модель | Безкоштовно на | Контекст | Безкоштовні ліміти (найкращі) | Інструменти | Зображення |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 запитів/хв 1 req/min per model | Так | Ні |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 запитів/хв 40 RPM | Так | Так |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Так | Так |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Так | Ні |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Так | Так |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Так | Так |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 запитів/хв 50 запитів/добу 50 req/day account-wide (1,000 after a $10 purchase) | Так | Так |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 запитів/хв 50 запитів/добу Shared rate limit | Так | Ні |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 запитів/хв 250 запитів/добу 70,000 токенів/хв ~6M | Так | Так |
Показано 10 із 109 відповідних безкоштовних моделей. Переглянути всі моделі.
Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.
Embeddings з OpenAIEmbeddings
За замовчуванням OpenAIEmbeddings у Python ділить текст за допомогою токенізатора OpenAI і надсилає токени. Більшість інших постачальників потребують сирого тексту. Задайте check_embedding_ctx_length=False, щоб надсилати текст.
Python: embeddings
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: embeddings
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);Перехід на резерв для embeddings у FreeLLMAPI ніколи не змінює модель. Він переходить лише між постачальниками, які надають ту саму родину. Так усі вектори в одному векторному сховищі залишаються сумісними. Виберіть родину і дотримуйтеся її. Безкоштовні embedding-моделі сьогодні такі:
| Модель | Постачальник | Розмірність | Макс. вхід | Безкоштовний ліміт |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.
Структурований вивід, сесії та вибір моделі
with_structured_output повертає об'єкт Pydantic замість тексту. За замовчуванням LangChain для цього використовує виклик функцій. Цей метод працює з кожною безкоштовною моделлю, яка підтримує інструменти.
Python: структурований вивід
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)Не використовуйте method="json_schema" з auto. Не кожен безкоштовний постачальник підтримує строгий вивід JSON Schema, а маршрутизатор може вибрати іншого постачальника для кожного запиту.
FreeLLMAPI зберігає розмову на одній моделі 30 хвилин. Він знаходить розмову за заголовком X-Session-Id. Якщо заголовка немає, він використовує хеш першого повідомлення користувача. Для чат-застосунку з багатьма користувачами надсилайте один ID сесії на кожного користувача:
Python: одна сесія на користувача
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)Виберіть рядок моделі для кожної частини вашого застосунку:
| Завдання у вашому застосунку | Рядок моделі | Причина |
|---|---|---|
| Відповіді чату для користувачів | auto | Дотримується ланцюга, який ви задали на панелі керування |
| Агент з інструментами | auto:<profile> | Профіль, у якому лише моделі з викликом інструментів |
| Класифікація, маршрутизація, короткі підсумки | auto:fast | Ранжує моделі за виміряною швидкістю |
| Складні кроки міркування | auto:smart | Ранжує моделі за інтелектом |
| Тести, які мають бути відтворюваними | Фіксований ID моделі | Щоразу та сама модель, але вона зупиняється на ліміті цієї моделі |
Безкоштовні тарифи не мають SLA. Затримка змінюється протягом дня, а найсильніші моделі першими досягають добових лімітів. Тестуйте свої ланцюги з моделями, які ваш ланцюг справді використовуватиме.
Ліміти частоти та повтори
FreeLLMAPI пробує наступного постачальника, коли один повертає 429. Ваш код бачить 429, лише коли кожен ключ у ланцюгу досяг ліміту. Тоді відповідь містить заголовок Retry-After. Багато добових лімітів скидаються о півночі за UTC.
Для пакетних завдань додайте другий рівень повторів з with_retry. Він повторює весь runnable з експоненційною затримкою і джитером.
Python: повтор ланцюга при лімітах частоти
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| Проблема | Причина | Рішення |
|---|---|---|
openai.AuthenticationError | Неправильний уніфікований ключ | Скопіюйте ключ знову зі сторінки Keys |
openai.NotFoundError при кожному виклику | У базовому URL немає /v1 | Використайте http://localhost:3001/v1 |
openai.RateLimitError | Усі ключі в ланцюгу досягли ліміту | Додайте постачальників, зменшіть max_concurrency або дочекайтеся Retry-After |
| Помилка embedding про токени або тип вхідних даних | LangChain надсилає токени, а не текст | Задайте check_embedding_ctx_length=False |
tool_calls порожній | Модель не підтримує інструменти | Використайте модель з таблиці інструментів або профіль для інструментів |
| Текст міркування відсутній | ChatOpenAI зберігає лише стандартні поля OpenAI | Читайте відповідь у content; додаткові поля постачальника не зберігаються |
Часті запитання
Чи можна використовувати безкоштовний LLM API з LangChain?
Так. Будь-який API, сумісний з OpenAI, працює з ChatOpenAI. Задайте base_url як http://localhost:3001/v1, а api_key як свій уніфікований ключ FreeLLMAPI. Маршрутизатор використовує безкоштовні тарифи постачальників.
Як задати власний базовий URL у ChatOpenAI для LangChain?
У Python передайте base_url у ChatOpenAI. У JavaScript передайте configuration: { baseURL } у конструктор. Змінна середовища OPENAI_BASE_URL також працює в Python.
Чи працюють агенти LangChain з безкоштовними моделями?
Так, якщо модель підтримує виклик інструментів. Використовуйте create_agent з моделлю ChatOpenAI і тримайте моделі з викликом інструментів у ланцюгу FreeLLMAPI.
Чому OpenAIEmbeddings завершується помилкою з постачальником не OpenAI?
За замовчуванням він надсилає ID токенів. Більшість інших постачальників потребують сирого тексту. Задайте check_embedding_ctx_length=False у Python.
Як обробляти помилки 429 у LangChain?
Задайте max_retries у ChatOpenAI і додайте with_retry до ланцюга для пакетних завдань. FreeLLMAPI вже переходить до наступного постачальника до того, як ваш код побачить 429.
Схожі посібники
- Безкоштовний LLM для LlamaIndex
- Безкоштовний LLM API на Python
- Безкоштовний LLM API для RAG
- Безкоштовний API ембедінгів
- Безкоштовний LLM API з викликом функцій
- Безкоштовний LLM API для AI-агентів
Джерела
- LangChain docs: ChatOpenAI integration (Python) (перевірено 20 November 2026)
- LangChain docs: ChatOpenAI integration (JavaScript) (перевірено 20 November 2026)
- LangChain docs: agents and create_agent (перевірено 20 November 2026)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (перевірено 20 November 2026)
- OpenAI Python SDK: retries and errors (перевірено 20 November 2026)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (перевірено 20 November 2026)