Free LLM API pentru LangChain
LangChain se conectează la API-uri compatibile cu OpenAI prin ChatOpenAI și OpenAIEmbeddings. Schimbați URL-ul de bază și cheia. Acest ghid trimite ambele clase către FreeLLMAPI, care reunește 45 niveluri gratuite de furnizori în spatele unei singure chei. Codul de mai jos funcționează în Python și JavaScript și gestionează limitele de rată.
Codul, numele modelelor și etichetele live din catalog sunt afișate în engleză.
Configurați gateway-ul și pachetele
Instalați FreeLLMAPI și adăugați chei gratuite de la doi sau mai mulți furnizori pe pagina Keys din panou. Copiați cheia unificată. Codul dumneavoastră folosește doar această cheie. Cheile furnizorilor rămân în FreeLLMAPI.
Instalați FreeLLMAPI și pachetele LangChain
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zodVariabile de mediu
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Folosiți model="auto" ca routerul să aleagă un model. Puteți folosi și o strategie de rutare, de exemplu auto:fast sau auto:smart. Funcționează și un profil numit, precum auto:coding, și un ID fix de model din catalog.
Pentru a vedea ce modele pot apela cheile dumneavoastră acum, cereți GET /v1/models?execution_status=ready. Lista completă conține și modele fără cheie. Un model cu starea exhausted are chei, dar toate sunt la limită în acest moment. Starea dispare când se termină perioadele de pauză.
Listați modelele care pot răspunde acum
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"Chat cu ChatOpenAI
În Python, setați base_url și api_key. Valoarea max_retries ajunge la clientul OpenAI, care reîncearcă erorile 429 și 5xx cu backoff exponențial.
Python: chat și streaming
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)În JavaScript, puneți URL-ul de bază în configuration.baseURL. Obiectul configuration ajunge la clientul oficial OpenAI SDK.
JavaScript: chat și streaming
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}Antetul x-routed-via arată furnizorul și modelul care au răspuns. Dacă routerul a schimbat furnizorul, x-fallback-trail arată fiecare încercare eșuată și motivul.
Instrumente și agenți
FreeLLMAPI trimite tools în stil OpenAI către fiecare furnizor și returnează tool_calls în format OpenAI. Pentru Gemini, traduce cererea în formatul Google și înapoi. Folosiți bind_tools pentru un singur apel, sau create_agent pentru o buclă care rulează instrumentele.
Python: bind_tools și create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);Doar unele modele gratuite acceptă apelarea de instrumente. Cu auto, păstrați modelele care apelează instrumente în lanțul de rezervă sau creați un profil pentru agenți. Aceste modele gratuite acceptă instrumente astăzi:
| Model | Gratuit pe | Context | Limite gratuite (cea mai bună ofertă) | Instrumente | Viziune |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 cereri/min 1 req/min per model | Da | Nu |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 cereri/min 40 RPM | Da | Da |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Da | Da |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Da | Nu |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Da | Da |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 cereri/min 20 cereri/zi 250,000 tokeni/min ~3M | Da | Da |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Da | Da |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 cereri/min 50 cereri/zi 50 req/day account-wide (1,000 after a $10 purchase) | Da | Da |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 cereri/min 50 cereri/zi Shared rate limit | Da | Nu |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 cereri/min 250 cereri/zi 70,000 tokeni/min ~6M | Da | Da |
Se afișează 10 din 109 modele gratuite care se potrivesc. Vezi toate modelele.
Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.
Embeddings cu OpenAIEmbeddings
Implicit, OpenAIEmbeddings din Python împarte textul cu un tokenizer OpenAI și trimite tokeni. Majoritatea celorlalți furnizori cer text brut. Setați check_embedding_ctx_length=False pentru a trimite text.
Python: embeddings
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: embeddings
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);Trecerea la alt furnizor pentru embeddings în FreeLLMAPI nu schimbă niciodată modelul. Trece doar între furnizorii care oferă aceeași familie. Așa rămân toți vectorii dintr-un singur depozit compatibili. Alegeți o familie și păstrați-o. Modelele gratuite de embeddings de astăzi sunt:
| Model | Furnizor | Dimensiuni | Intrare maximă | Limită gratuită |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.
Ieșire structurată, sesiuni și alegerea modelului
with_structured_output returnează un obiect Pydantic în loc de text. Implicit, LangChain folosește pentru aceasta apelarea de funcții. Metoda funcționează pe fiecare model gratuit care acceptă instrumente.
Python: ieșire structurată
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)Nu folosiți method="json_schema" cu auto. Nu fiecare furnizor gratuit acceptă ieșire JSON schema strictă, iar routerul poate alege un alt furnizor pentru fiecare cerere.
FreeLLMAPI păstrează o conversație pe un singur model timp de 30 de minute. Găsește conversația după antetul X-Session-Id. Dacă nu există antet, folosește un hash al primului mesaj al utilizatorului. Pentru o aplicație de chat cu mulți utilizatori, trimiteți câte un ID de sesiune pentru fiecare utilizator:
Python: câte o sesiune pentru fiecare utilizator
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)Alegeți șirul de model pentru fiecare parte a aplicației:
| Sarcina din aplicația dumneavoastră | Șir de model | Motiv |
|---|---|---|
| Răspunsuri de chat pentru utilizatori | auto | Urmează lanțul pe care l-ați setat în panou |
| Agent cu instrumente | auto:<profile> | Un profil care are doar modele care apelează instrumente |
| Clasificare, rutare, rezumate scurte | auto:fast | Ordonează modelele după viteza măsurată |
| Pași de raționament dificili | auto:smart | Ordonează modelele după inteligență |
| Teste care trebuie să fie repetabile | Un ID fix de model | Același model de fiecare dată, dar se oprește la limita acelui model |
Nivelurile gratuite nu au SLA. Latența se schimbă pe parcursul zilei, iar cele mai puternice modele ating primele limitele zilnice. Testați lanțurile cu modelele pe care le va folosi efectiv lanțul dumneavoastră.
Limite de rată și reîncercări
FreeLLMAPI încearcă următorul furnizor când unul returnează 429. Codul dumneavoastră vede un 429 doar când fiecare cheie din lanț este la limită. Atunci răspunsul are antetul Retry-After. Multe limite zilnice se resetează la miezul nopții UTC.
Pentru joburi în lot, adăugați un al doilea strat de reîncercare cu with_retry. Acesta reîncearcă întregul runnable cu backoff exponențial și jitter.
Python: reîncercați un lanț la limitele de rată
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| Problemă | Cauză | Soluție |
|---|---|---|
openai.AuthenticationError | Cheie unificată greșită | Copiați din nou cheia de pe pagina Keys |
openai.NotFoundError la fiecare apel | URL-ul de bază nu are /v1 | Folosiți http://localhost:3001/v1 |
openai.RateLimitError | Toate cheile din lanț sunt la limită | Adăugați furnizori, reduceți max_concurrency sau așteptați Retry-After |
| Eroare la embeddings despre tokeni sau tipul de intrare | LangChain trimite tokeni, nu text | Setați check_embedding_ctx_length=False |
tool_calls este gol | Modelul nu acceptă instrumente | Folosiți un model din tabelul cu instrumente sau un profil pentru instrumente |
| Lipsește textul de raționament | ChatOpenAI păstrează doar câmpurile standard OpenAI | Citiți răspunsul în content; câmpurile suplimentare ale furnizorului nu sunt păstrate |
Întrebări frecvente
Pot folosi un LLM API gratuit cu LangChain?
Da. Orice API compatibil cu OpenAI funcționează cu ChatOpenAI. Setați base_url la http://localhost:3001/v1 și api_key la cheia unificată FreeLLMAPI. Routerul folosește niveluri gratuite de furnizori.
Cum setez un URL de bază personalizat în LangChain ChatOpenAI?
În Python, transmiteți base_url către ChatOpenAI. În JavaScript, transmiteți configuration: { baseURL } către constructor. Variabila de mediu OPENAI_BASE_URL funcționează și în Python.
Funcționează agenții LangChain cu modele gratuite?
Da, dacă modelul acceptă apelarea de instrumente. Folosiți create_agent cu un model ChatOpenAI și păstrați în lanțul FreeLLMAPI modelele care apelează instrumente.
De ce eșuează OpenAIEmbeddings cu un furnizor care nu este OpenAI?
Implicit, trimite ID-uri de tokeni. Majoritatea celorlalți furnizori cer text brut. Setați check_embedding_ctx_length=False în Python.
Cum gestionez erorile 429 în LangChain?
Setați max_retries pe ChatOpenAI și adăugați with_retry la lanț pentru joburile în lot. FreeLLMAPI trece deja la următorul furnizor înainte ca codul dumneavoastră să vadă un 429.
Ghiduri înrudite
- LLM gratuit pentru LlamaIndex
- API LLM gratuit în Python
- API LLM gratuit pentru RAG
- API gratuit pentru embeddings
- API LLM gratuit cu apeluri de funcții
- Free LLM API pentru agenți AI
Surse
- LangChain docs: ChatOpenAI integration (Python) (verificat 20 November 2026)
- LangChain docs: ChatOpenAI integration (JavaScript) (verificat 20 November 2026)
- LangChain docs: agents and create_agent (verificat 20 November 2026)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (verificat 20 November 2026)
- OpenAI Python SDK: retries and errors (verificat 20 November 2026)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (verificat 20 November 2026)