Главная / Руководства / Бесплатный LLM API для LangChain

Бесплатный LLM API для LangChain

LangChain подключается к API, совместимым с OpenAI, через ChatOpenAI и OpenAIEmbeddings. Вы меняете базовый URL и ключ. Это руководство направляет оба класса на FreeLLMAPI, который объединяет 45 бесплатных тарифов провайдеров за одним ключом. Код ниже работает на Python и JavaScript и обрабатывает лимиты запросов.

Код, названия моделей и метки живого каталога показаны на английском языке.

Настройка шлюза и пакетов

Установите FreeLLMAPI и добавьте бесплатные ключи от двух или более провайдеров на странице Keys панели управления. Скопируйте единый ключ. Ваш код использует только этот ключ. Ключи провайдеров хранятся в FreeLLMAPI.

Установка FreeLLMAPI и пакетов LangChain

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

Переменные окружения

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Используйте model="auto", чтобы маршрутизатор выбирал модель. Также можно использовать стратегию маршрутизации, например auto:fast или auto:smart. Работают и именованный профиль, например auto:coding, и фиксированный ID модели из каталога.

Чтобы увидеть модели, которые ваши ключи могут вызвать сейчас, запросите GET /v1/models?execution_status=ready. Полный список также содержит модели без ключа. У модели со статусом exhausted есть ключи, но все они сейчас достигли лимита. Этот статус снимается, когда заканчиваются паузы.

Список моделей, которые могут ответить сейчас

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

Чат с ChatOpenAI

В Python задайте base_url и api_key. Значение max_retries передается клиенту OpenAI, который повторяет ошибки 429 и 5xx с экспоненциальной задержкой.

Python: чат и потоковая передача

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

В JavaScript поместите базовый URL в configuration.baseURL. Объект configuration передается официальному клиенту OpenAI SDK.

JavaScript: чат и потоковая передача

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

Заголовок x-routed-via показывает провайдера и модель, которые ответили. Если маршрутизатор сменил провайдера, x-fallback-trail показывает каждую неудачную попытку и причину.

Инструменты и агенты

FreeLLMAPI передает tools в формате OpenAI каждому провайдеру и возвращает tool_calls в формате OpenAI. Для Gemini он переводит запрос в формат Google и обратно. Используйте bind_tools для одного вызова или create_agent для цикла, который запускает инструменты.

Python: bind_tools и create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

Только некоторые бесплатные модели поддерживают вызов инструментов. При auto оставляйте модели с вызовом инструментов в цепочке переключения или создайте профиль для агентов. Сегодня эти бесплатные модели поддерживают инструменты:

Бесплатные модели с вызовом инструментов и контекстом 128K и больше
МодельБесплатно вКонтекстБесплатные лимиты (лучшее предложение)ИнструментыЗрение
GLM 5.3UnoRouter1M1 запр./мин
1 req/min per model
ДаНет
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 запр./мин
40 RPM
ДаДа
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaДаДа
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceДаНет
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditДаДа
Gemini 3.7 FlashGoogle AI Studio1M10 запр./мин
20 запр./день
250,000 токенов/мин
~3M
ДаДа
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditДаДа
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 запр./мин
50 запр./день
50 req/day account-wide (1,000 after a $10 purchase)
ДаДа
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 запр./мин
50 запр./день
Shared rate limit
ДаНет
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 запр./мин
250 запр./день
70,000 токенов/мин
~6M
ДаДа

Показано 10 из 109 подходящих бесплатных моделей. Смотреть все модели.

Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.

Эмбеддинги с OpenAIEmbeddings

По умолчанию OpenAIEmbeddings в Python разбивает текст токенизатором OpenAI и отправляет токены. Большинству других провайдеров нужен исходный текст. Задайте check_embedding_ctx_length=False, чтобы отправлять текст.

Python: эмбеддинги

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: эмбеддинги

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

Переключение эмбеддингов в FreeLLMAPI никогда не меняет модель. Оно переходит только между провайдерами, которые обслуживают одно и то же семейство. Так все векторы в одном хранилище остаются совместимыми. Выберите семейство и не меняйте его. Сегодня бесплатные модели эмбеддингов такие:

МодельПровайдерРазмерностиМакс. входБесплатный лимит
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.

Структурированный вывод, сессии и выбор модели

with_structured_output возвращает объект Pydantic вместо текста. По умолчанию LangChain для этого использует вызов функций. Этот метод работает на каждой бесплатной модели, которая поддерживает инструменты.

Python: структурированный вывод

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

Не используйте method="json_schema" с auto. Не каждый бесплатный провайдер поддерживает строгий вывод JSON Schema, а маршрутизатор может выбрать другого провайдера для каждого запроса.

FreeLLMAPI держит диалог на одной модели 30 минут. Он находит диалог по заголовку X-Session-Id. Если заголовка нет, он использует хеш первого сообщения пользователя. Для чат-приложения с большим числом пользователей отправляйте один ID сессии на каждого пользователя:

Python: одна сессия на пользователя

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

Выберите строку модели для каждой части вашего приложения:

Задача в вашем приложенииСтрока моделиПричина
Ответы чата для пользователейautoСледует цепочке, которую вы задали на панели управления
Агент с инструментамиauto:<profile>Профиль, в котором только модели с вызовом инструментов
Классификация, маршрутизация, короткие сводкиauto:fastРанжирует модели по измеренной скорости
Сложные шаги рассужденияauto:smartРанжирует модели по интеллекту
Тесты, которые должны повторятьсяФиксированный ID моделиКаждый раз одна и та же модель, но она останавливается на лимите этой модели

У бесплатных тарифов нет SLA. Задержка меняется в течение дня, а самые сильные модели первыми достигают дневных лимитов. Проверяйте свои цепочки на тех моделях, которые цепочка будет использовать на самом деле.

Лимиты запросов и повторы

FreeLLMAPI пробует следующего провайдера, когда один из них возвращает 429. Ваш код видит 429 только тогда, когда каждый ключ в цепочке достиг лимита. Тогда в ответе есть заголовок Retry-After. Многие дневные лимиты сбрасываются в полночь по UTC.

Для пакетных задач добавьте второй уровень повторов с with_retry. Он повторяет весь runnable с экспоненциальной задержкой и джиттером.

Python: повтор цепочки при лимитах запросов

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
ПроблемаПричинаРешение
openai.AuthenticationErrorНеверный единый ключСкопируйте ключ со страницы Keys еще раз
openai.NotFoundError при каждом вызовеВ базовом URL нет /v1Используйте http://localhost:3001/v1
openai.RateLimitErrorВсе ключи в цепочке достигли лимитаДобавьте провайдеров, уменьшите max_concurrency или дождитесь Retry-After
Ошибка эмбеддингов о токенах или типе входаLangChain отправляет токены, а не текстЗадайте check_embedding_ctx_length=False
tool_calls пустойМодель не поддерживает инструментыИспользуйте модель из таблицы инструментов или профиль для инструментов
Текст рассуждений отсутствуетChatOpenAI сохраняет только стандартные поля OpenAIЧитайте ответ в content; дополнительные поля провайдера не сохраняются
Используйте каждую из этих моделей через один ключ. FreeLLMAPI это маршрутизатор с открытым исходным кодом, который работает на вашем сервере. Он объединяет все эти бесплатные тарифы за одной конечной точкой, совместимой с OpenAI, и переключается на другой провайдер, когда достигнут лимит запросов. Открыть каталог или перейти.

Часто задаваемые вопросы

Можно ли использовать бесплатный LLM API с LangChain?

Да. Любой API, совместимый с OpenAI, работает с ChatOpenAI. Задайте base_url как http://localhost:3001/v1, а api_key как ваш единый ключ FreeLLMAPI. Маршрутизатор использует бесплатные тарифы провайдеров.

Как задать свой базовый URL в ChatOpenAI из LangChain?

В Python передайте base_url в ChatOpenAI. В JavaScript передайте configuration: { baseURL } в конструктор. Переменная окружения OPENAI_BASE_URL тоже работает в Python.

Работают ли агенты LangChain с бесплатными моделями?

Да, если модель поддерживает вызов инструментов. Используйте create_agent с моделью ChatOpenAI и оставляйте модели с вызовом инструментов в вашей цепочке FreeLLMAPI.

Почему OpenAIEmbeddings не работает с провайдером не от OpenAI?

По умолчанию он отправляет ID токенов. Большинству других провайдеров нужен исходный текст. В Python задайте check_embedding_ctx_length=False.

Как обрабатывать ошибки 429 в LangChain?

Задайте max_retries в ChatOpenAI и добавьте with_retry в цепочку для пакетных задач. FreeLLMAPI уже переходит к следующему провайдеру до того, как ваш код увидит 429.

Похожие руководства

Источники

Все руководства · Смотреть все бесплатные модели