Головна / Посібники / Безкоштовний LLM API для LangChain

Безкоштовний LLM API для LangChain

LangChain підключається до API, сумісних з OpenAI, через ChatOpenAI і OpenAIEmbeddings. Ви змінюєте базовий URL і ключ. Цей посібник спрямовує обидва класи на FreeLLMAPI, який об'єднує безкоштовні тарифи 45 постачальників за одним ключем. Наведений нижче код працює в Python і JavaScript та обробляє ліміти частоти запитів.

Код, назви моделей і мітки живого каталогу показано англійською.

Налаштуйте шлюз і пакети

Встановіть FreeLLMAPI і додайте безкоштовні ключі від двох або більше постачальників на сторінці Keys панелі керування. Скопіюйте уніфікований ключ. Ваш код використовує лише цей ключ. Ключі постачальників залишаються у FreeLLMAPI.

Встановлення FreeLLMAPI і пакетів LangChain

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

Змінні середовища

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Використовуйте model="auto", щоб маршрутизатор вибирав модель. Ви також можете використати стратегію маршрутизації, наприклад auto:fast або auto:smart. Іменований профіль, наприклад auto:coding, і фіксований ID моделі з каталогу також працюють.

Щоб побачити, які моделі ваші ключі можуть викликати зараз, надішліть запит GET /v1/models?execution_status=ready. Повний список також містить моделі без ключа. Модель зі статусом exhausted має ключі, але всі вони зараз досягли ліміту. Цей статус знімається, коли закінчуються періоди охолодження.

Список моделей, які можуть відповісти зараз

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

Чат з ChatOpenAI

У Python задайте base_url і api_key. Значення max_retries передається клієнту OpenAI, який повторює помилки 429 і 5xx з експоненційною затримкою.

Python: чат і потокова передача

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

У JavaScript помістіть базовий URL у configuration.baseURL. Об'єкт configuration передається офіційному клієнту OpenAI SDK.

JavaScript: чат і потокова передача

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

Заголовок x-routed-via показує постачальника і модель, які відповіли. Якщо маршрутизатор змінив постачальника, x-fallback-trail показує кожну невдалу спробу і причину.

Інструменти та агенти

FreeLLMAPI передає tools у стилі OpenAI кожному постачальнику і повертає tool_calls у форматі OpenAI. Для Gemini він перекладає запит у формат Google і назад. Використовуйте bind_tools для одного виклику або create_agent для циклу, який запускає інструменти.

Python: bind_tools і create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

Лише деякі безкоштовні моделі підтримують виклик інструментів. З auto тримайте моделі з викликом інструментів у ланцюгу резервних моделей або створіть профіль для агентів. Ці безкоштовні моделі сьогодні підтримують інструменти:

Безкоштовні моделі з викликом інструментів і контекстом 128K+
МодельБезкоштовно наКонтекстБезкоштовні ліміти (найкращі)ІнструментиЗображення
GLM 5.3UnoRouter1M1 запитів/хв
1 req/min per model
ТакНі
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 запитів/хв
40 RPM
ТакТак
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaТакТак
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceТакНі
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditТакТак
Gemini 3.7 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditТакТак
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 запитів/хв
50 запитів/добу
50 req/day account-wide (1,000 after a $10 purchase)
ТакТак
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 запитів/хв
50 запитів/добу
Shared rate limit
ТакНі
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 запитів/хв
250 запитів/добу
70,000 токенів/хв
~6M
ТакТак

Показано 10 із 109 відповідних безкоштовних моделей. Переглянути всі моделі.

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

Embeddings з OpenAIEmbeddings

За замовчуванням OpenAIEmbeddings у Python ділить текст за допомогою токенізатора OpenAI і надсилає токени. Більшість інших постачальників потребують сирого тексту. Задайте check_embedding_ctx_length=False, щоб надсилати текст.

Python: embeddings

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: embeddings

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

Перехід на резерв для embeddings у FreeLLMAPI ніколи не змінює модель. Він переходить лише між постачальниками, які надають ту саму родину. Так усі вектори в одному векторному сховищі залишаються сумісними. Виберіть родину і дотримуйтеся її. Безкоштовні embedding-моделі сьогодні такі:

МодельПостачальникРозмірністьМакс. вхідБезкоштовний ліміт
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

Структурований вивід, сесії та вибір моделі

with_structured_output повертає об'єкт Pydantic замість тексту. За замовчуванням LangChain для цього використовує виклик функцій. Цей метод працює з кожною безкоштовною моделлю, яка підтримує інструменти.

Python: структурований вивід

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

Не використовуйте method="json_schema" з auto. Не кожен безкоштовний постачальник підтримує строгий вивід JSON Schema, а маршрутизатор може вибрати іншого постачальника для кожного запиту.

FreeLLMAPI зберігає розмову на одній моделі 30 хвилин. Він знаходить розмову за заголовком X-Session-Id. Якщо заголовка немає, він використовує хеш першого повідомлення користувача. Для чат-застосунку з багатьма користувачами надсилайте один ID сесії на кожного користувача:

Python: одна сесія на користувача

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

Виберіть рядок моделі для кожної частини вашого застосунку:

Завдання у вашому застосункуРядок моделіПричина
Відповіді чату для користувачівautoДотримується ланцюга, який ви задали на панелі керування
Агент з інструментамиauto:<profile>Профіль, у якому лише моделі з викликом інструментів
Класифікація, маршрутизація, короткі підсумкиauto:fastРанжує моделі за виміряною швидкістю
Складні кроки міркуванняauto:smartРанжує моделі за інтелектом
Тести, які мають бути відтворюванимиФіксований ID моделіЩоразу та сама модель, але вона зупиняється на ліміті цієї моделі

Безкоштовні тарифи не мають SLA. Затримка змінюється протягом дня, а найсильніші моделі першими досягають добових лімітів. Тестуйте свої ланцюги з моделями, які ваш ланцюг справді використовуватиме.

Ліміти частоти та повтори

FreeLLMAPI пробує наступного постачальника, коли один повертає 429. Ваш код бачить 429, лише коли кожен ключ у ланцюгу досяг ліміту. Тоді відповідь містить заголовок Retry-After. Багато добових лімітів скидаються о півночі за UTC.

Для пакетних завдань додайте другий рівень повторів з with_retry. Він повторює весь runnable з експоненційною затримкою і джитером.

Python: повтор ланцюга при лімітах частоти

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
ПроблемаПричинаРішення
openai.AuthenticationErrorНеправильний уніфікований ключСкопіюйте ключ знову зі сторінки Keys
openai.NotFoundError при кожному викликуУ базовому URL немає /v1Використайте http://localhost:3001/v1
openai.RateLimitErrorУсі ключі в ланцюгу досягли лімітуДодайте постачальників, зменшіть max_concurrency або дочекайтеся Retry-After
Помилка embedding про токени або тип вхідних данихLangChain надсилає токени, а не текстЗадайте check_embedding_ctx_length=False
tool_calls порожнійМодель не підтримує інструментиВикористайте модель з таблиці інструментів або профіль для інструментів
Текст міркування відсутнійChatOpenAI зберігає лише стандартні поля OpenAIЧитайте відповідь у content; додаткові поля постачальника не зберігаються
Використовуйте кожну з цих моделей через один ключ. FreeLLMAPI це маршрутизатор з відкритим кодом, який ви розгортаєте самі. Він об'єднує всі ці безкоштовні тарифи за однією кінцевою точкою, сумісною з OpenAI, і переходить до наступного, коли один з них досягає ліміту. Переглянути каталог або або почніть роботу.

Часті запитання

Чи можна використовувати безкоштовний LLM API з LangChain?

Так. Будь-який API, сумісний з OpenAI, працює з ChatOpenAI. Задайте base_url як http://localhost:3001/v1, а api_key як свій уніфікований ключ FreeLLMAPI. Маршрутизатор використовує безкоштовні тарифи постачальників.

Як задати власний базовий URL у ChatOpenAI для LangChain?

У Python передайте base_url у ChatOpenAI. У JavaScript передайте configuration: { baseURL } у конструктор. Змінна середовища OPENAI_BASE_URL також працює в Python.

Чи працюють агенти LangChain з безкоштовними моделями?

Так, якщо модель підтримує виклик інструментів. Використовуйте create_agent з моделлю ChatOpenAI і тримайте моделі з викликом інструментів у ланцюгу FreeLLMAPI.

Чому OpenAIEmbeddings завершується помилкою з постачальником не OpenAI?

За замовчуванням він надсилає ID токенів. Більшість інших постачальників потребують сирого тексту. Задайте check_embedding_ctx_length=False у Python.

Як обробляти помилки 429 у LangChain?

Задайте max_retries у ChatOpenAI і додайте with_retry до ланцюга для пакетних завдань. FreeLLMAPI вже переходить до наступного постачальника до того, як ваш код побачить 429.

Схожі посібники

Джерела

Усі посібники · Переглянути всі безкоштовні моделі