Acasă / Ghiduri / Free LLM API pentru LangChain

Free LLM API pentru LangChain

LangChain se conectează la API-uri compatibile cu OpenAI prin ChatOpenAI și OpenAIEmbeddings. Schimbați URL-ul de bază și cheia. Acest ghid trimite ambele clase către FreeLLMAPI, care reunește 45 niveluri gratuite de furnizori în spatele unei singure chei. Codul de mai jos funcționează în Python și JavaScript și gestionează limitele de rată.

Codul, numele modelelor și etichetele live din catalog sunt afișate în engleză.

Configurați gateway-ul și pachetele

Instalați FreeLLMAPI și adăugați chei gratuite de la doi sau mai mulți furnizori pe pagina Keys din panou. Copiați cheia unificată. Codul dumneavoastră folosește doar această cheie. Cheile furnizorilor rămân în FreeLLMAPI.

Instalați FreeLLMAPI și pachetele LangChain

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

Variabile de mediu

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Folosiți model="auto" ca routerul să aleagă un model. Puteți folosi și o strategie de rutare, de exemplu auto:fast sau auto:smart. Funcționează și un profil numit, precum auto:coding, și un ID fix de model din catalog.

Pentru a vedea ce modele pot apela cheile dumneavoastră acum, cereți GET /v1/models?execution_status=ready. Lista completă conține și modele fără cheie. Un model cu starea exhausted are chei, dar toate sunt la limită în acest moment. Starea dispare când se termină perioadele de pauză.

Listați modelele care pot răspunde acum

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

Chat cu ChatOpenAI

În Python, setați base_url și api_key. Valoarea max_retries ajunge la clientul OpenAI, care reîncearcă erorile 429 și 5xx cu backoff exponențial.

Python: chat și streaming

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

În JavaScript, puneți URL-ul de bază în configuration.baseURL. Obiectul configuration ajunge la clientul oficial OpenAI SDK.

JavaScript: chat și streaming

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

Antetul x-routed-via arată furnizorul și modelul care au răspuns. Dacă routerul a schimbat furnizorul, x-fallback-trail arată fiecare încercare eșuată și motivul.

Instrumente și agenți

FreeLLMAPI trimite tools în stil OpenAI către fiecare furnizor și returnează tool_calls în format OpenAI. Pentru Gemini, traduce cererea în formatul Google și înapoi. Folosiți bind_tools pentru un singur apel, sau create_agent pentru o buclă care rulează instrumentele.

Python: bind_tools și create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

Doar unele modele gratuite acceptă apelarea de instrumente. Cu auto, păstrați modelele care apelează instrumente în lanțul de rezervă sau creați un profil pentru agenți. Aceste modele gratuite acceptă instrumente astăzi:

Modele gratuite cu apelare de instrumente și context de 128K+
ModelGratuit peContextLimite gratuite (cea mai bună ofertă)InstrumenteViziune
GLM 5.3UnoRouter1M1 cereri/min
1 req/min per model
DaNu
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 cereri/min
40 RPM
DaDa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaDaDa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceDaNu
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditDaDa
Gemini 3.7 FlashGoogle AI Studio1M10 cereri/min
20 cereri/zi
250,000 tokeni/min
~3M
DaDa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditDaDa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 cereri/min
50 cereri/zi
50 req/day account-wide (1,000 after a $10 purchase)
DaDa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 cereri/min
50 cereri/zi
Shared rate limit
DaNu
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 cereri/min
250 cereri/zi
70,000 tokeni/min
~6M
DaDa

Se afișează 10 din 109 modele gratuite care se potrivesc. Vezi toate modelele.

Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.

Embeddings cu OpenAIEmbeddings

Implicit, OpenAIEmbeddings din Python împarte textul cu un tokenizer OpenAI și trimite tokeni. Majoritatea celorlalți furnizori cer text brut. Setați check_embedding_ctx_length=False pentru a trimite text.

Python: embeddings

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: embeddings

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

Trecerea la alt furnizor pentru embeddings în FreeLLMAPI nu schimbă niciodată modelul. Trece doar între furnizorii care oferă aceeași familie. Așa rămân toți vectorii dintr-un singur depozit compatibili. Alegeți o familie și păstrați-o. Modelele gratuite de embeddings de astăzi sunt:

ModelFurnizorDimensiuniIntrare maximăLimită gratuită
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.

Ieșire structurată, sesiuni și alegerea modelului

with_structured_output returnează un obiect Pydantic în loc de text. Implicit, LangChain folosește pentru aceasta apelarea de funcții. Metoda funcționează pe fiecare model gratuit care acceptă instrumente.

Python: ieșire structurată

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

Nu folosiți method="json_schema" cu auto. Nu fiecare furnizor gratuit acceptă ieșire JSON schema strictă, iar routerul poate alege un alt furnizor pentru fiecare cerere.

FreeLLMAPI păstrează o conversație pe un singur model timp de 30 de minute. Găsește conversația după antetul X-Session-Id. Dacă nu există antet, folosește un hash al primului mesaj al utilizatorului. Pentru o aplicație de chat cu mulți utilizatori, trimiteți câte un ID de sesiune pentru fiecare utilizator:

Python: câte o sesiune pentru fiecare utilizator

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

Alegeți șirul de model pentru fiecare parte a aplicației:

Sarcina din aplicația dumneavoastrăȘir de modelMotiv
Răspunsuri de chat pentru utilizatoriautoUrmează lanțul pe care l-ați setat în panou
Agent cu instrumenteauto:<profile>Un profil care are doar modele care apelează instrumente
Clasificare, rutare, rezumate scurteauto:fastOrdonează modelele după viteza măsurată
Pași de raționament dificiliauto:smartOrdonează modelele după inteligență
Teste care trebuie să fie repetabileUn ID fix de modelAcelași model de fiecare dată, dar se oprește la limita acelui model

Nivelurile gratuite nu au SLA. Latența se schimbă pe parcursul zilei, iar cele mai puternice modele ating primele limitele zilnice. Testați lanțurile cu modelele pe care le va folosi efectiv lanțul dumneavoastră.

Limite de rată și reîncercări

FreeLLMAPI încearcă următorul furnizor când unul returnează 429. Codul dumneavoastră vede un 429 doar când fiecare cheie din lanț este la limită. Atunci răspunsul are antetul Retry-After. Multe limite zilnice se resetează la miezul nopții UTC.

Pentru joburi în lot, adăugați un al doilea strat de reîncercare cu with_retry. Acesta reîncearcă întregul runnable cu backoff exponențial și jitter.

Python: reîncercați un lanț la limitele de rată

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
ProblemăCauzăSoluție
openai.AuthenticationErrorCheie unificată greșităCopiați din nou cheia de pe pagina Keys
openai.NotFoundError la fiecare apelURL-ul de bază nu are /v1Folosiți http://localhost:3001/v1
openai.RateLimitErrorToate cheile din lanț sunt la limităAdăugați furnizori, reduceți max_concurrency sau așteptați Retry-After
Eroare la embeddings despre tokeni sau tipul de intrareLangChain trimite tokeni, nu textSetați check_embedding_ctx_length=False
tool_calls este golModelul nu acceptă instrumenteFolosiți un model din tabelul cu instrumente sau un profil pentru instrumente
Lipsește textul de raționamentChatOpenAI păstrează doar câmpurile standard OpenAICitiți răspunsul în content; câmpurile suplimentare ale furnizorului nu sunt păstrate
Folosiți fiecare dintre aceste modele printr-o singură cheie. FreeLLMAPI este un router open-source, găzduit de dumneavoastră, care pune toate aceste niveluri gratuite în spatele unui singur endpoint compatibil cu OpenAI și trece la alt furnizor când un furnizor este limitat la rată. Vezi catalogul sau trece live.

Întrebări frecvente

Pot folosi un LLM API gratuit cu LangChain?

Da. Orice API compatibil cu OpenAI funcționează cu ChatOpenAI. Setați base_url la http://localhost:3001/v1 și api_key la cheia unificată FreeLLMAPI. Routerul folosește niveluri gratuite de furnizori.

Cum setez un URL de bază personalizat în LangChain ChatOpenAI?

În Python, transmiteți base_url către ChatOpenAI. În JavaScript, transmiteți configuration: { baseURL } către constructor. Variabila de mediu OPENAI_BASE_URL funcționează și în Python.

Funcționează agenții LangChain cu modele gratuite?

Da, dacă modelul acceptă apelarea de instrumente. Folosiți create_agent cu un model ChatOpenAI și păstrați în lanțul FreeLLMAPI modelele care apelează instrumente.

De ce eșuează OpenAIEmbeddings cu un furnizor care nu este OpenAI?

Implicit, trimite ID-uri de tokeni. Majoritatea celorlalți furnizori cer text brut. Setați check_embedding_ctx_length=False în Python.

Cum gestionez erorile 429 în LangChain?

Setați max_retries pe ChatOpenAI și adăugați with_retry la lanț pentru joburile în lot. FreeLLMAPI trece deja la următorul furnizor înainte ca codul dumneavoastră să vadă un 429.

Ghiduri înrudite

Surse

Toate ghidurile · Vezi toate modelele gratuite