API LLM gratuita para LangChain
LangChain se conecta a APIs compatibles con OpenAI mediante ChatOpenAI y OpenAIEmbeddings. Usted cambia la URL base y la clave. Esta guía apunta ambas clases a FreeLLMAPI, que reúne 45 niveles gratuitos de proveedores detrás de una sola clave. El código siguiente funciona en Python y JavaScript y gestiona los límites de velocidad.
El código, los nombres de los modelos y las etiquetas del catálogo en vivo se muestran en inglés.
Configurar la pasarela y los paquetes
Instale FreeLLMAPI y añada claves gratuitas de dos o más proveedores en la página Keys del panel. Copie la clave unificada. Su código usa solo esta clave. Las claves de los proveedores permanecen en FreeLLMAPI.
Instalar FreeLLMAPI y los paquetes de LangChain
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zodVariables de entorno
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Use model="auto" para que el enrutador seleccione un modelo. También puede usar una estrategia de enrutamiento, por ejemplo auto:fast o auto:smart. Un perfil con nombre, como auto:coding, y un ID de modelo fijo del catálogo también funcionan.
Para ver qué modelos puede llamar ahora con sus claves, solicite GET /v1/models?execution_status=ready. La lista completa también contiene modelos sin clave. Un modelo con el estado exhausted tiene claves, pero todas están en un límite en este momento. Ese estado desaparece cuando terminan los tiempos de espera.
Listar los modelos que pueden responder ahora
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"Chatear con ChatOpenAI
En Python, defina base_url y api_key. El valor de max_retries se pasa al cliente de OpenAI, que reintenta los errores 429 y 5xx con retroceso exponencial.
Python: chat y streaming
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)En JavaScript, ponga la URL base en configuration.baseURL. El objeto configuration se pasa al cliente oficial del SDK de OpenAI.
JavaScript: chat y streaming
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}La cabecera x-routed-via muestra el proveedor y el modelo que respondieron. Si el enrutador cambió de proveedor, x-fallback-trail muestra cada intento fallido y el motivo.
Herramientas y agentes
FreeLLMAPI pasa las tools en formato OpenAI a cada proveedor y devuelve tool_calls en formato OpenAI. Para Gemini, traduce la solicitud al formato de Google y la devuelve al formato original. Use bind_tools para una sola llamada, o create_agent para un bucle que ejecuta las herramientas.
Python: bind_tools y create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);Solo algunos modelos gratuitos admiten llamadas a herramientas. Con auto, mantenga los modelos que llaman a herramientas en su cadena de respaldo, o cree un perfil para los agentes. Hoy estos modelos gratuitos admiten herramientas:
| Modelo | Gratis en | Contexto | Límites gratuitos (mejor oferta) | Herramientas | Visión |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 solicitudes/min 1 req/min per model | Sí | No |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 solicitudes/min 40 RPM | Sí | Sí |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Sí | Sí |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Sí | No |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Sí | Sí |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 solicitudes/min 20 solicitudes/día 250,000 tokens/min ~3M | Sí | Sí |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Sí | Sí |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 solicitudes/min 50 solicitudes/día 50 req/day account-wide (1,000 after a $10 purchase) | Sí | Sí |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 solicitudes/min 50 solicitudes/día Shared rate limit | Sí | No |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 solicitudes/min 250 solicitudes/día 70,000 tokens/min ~6M | Sí | Sí |
Se muestran 10 de 109 modelos gratuitos que coinciden. Ver todos los modelos.
Datos en vivo del catálogo de FreeLLMAPI (versión 2026.11.19, revisado 2026-11-19). Los límites gratuitos cambian con frecuencia. El catálogo se revisa todos los días.
Embeddings con OpenAIEmbeddings
De forma predeterminada, OpenAIEmbeddings en Python divide el texto con un tokenizador de OpenAI y envía tokens. La mayoría de los demás proveedores necesitan texto sin procesar. Defina check_embedding_ctx_length=False para enviar texto.
Python: embeddings
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: embeddings
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);La conmutación por error de embeddings en FreeLLMAPI nunca cambia el modelo. Solo pasa entre proveedores que sirven la misma familia. Así todos los vectores de un mismo almacén de vectores siguen siendo compatibles. Seleccione una familia y manténgala. Hoy los modelos de embeddings gratuitos son:
| Modelo | Proveedor | Dimensiones | Entrada máx. | Límite gratuito |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Datos en vivo del catálogo de FreeLLMAPI (versión 2026.11.19, revisado 2026-11-19). Los límites gratuitos cambian con frecuencia. El catálogo se revisa todos los días.
Salida estructurada, sesiones y elección del modelo
with_structured_output devuelve un objeto de Pydantic en lugar de texto. De forma predeterminada, LangChain usa llamadas a funciones para esto. Ese método funciona en todos los modelos gratuitos que admiten herramientas.
Python: salida estructurada
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)No use method="json_schema" con auto. No todos los proveedores gratuitos admiten salida con esquema JSON estricto, y el enrutador puede seleccionar un proveedor distinto en cada solicitud.
FreeLLMAPI mantiene una conversación en un mismo modelo durante 30 minutos. Encuentra la conversación mediante la cabecera X-Session-Id. Si no hay cabecera, usa un hash del primer mensaje del usuario. En una aplicación de chat con muchos usuarios, envíe un ID de sesión por usuario:
Python: una sesión por usuario
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)Seleccione la cadena de modelo para cada parte de su aplicación:
| Tarea en su aplicación | Cadena de modelo | Motivo |
|---|---|---|
| Respuestas de chat para usuarios | auto | Sigue la cadena que definió en el panel |
| Agente con herramientas | auto:<profile> | Un perfil que tiene solo modelos que llaman a herramientas |
| Clasificación, enrutamiento, resúmenes breves | auto:fast | Ordena los modelos por velocidad medida |
| Pasos de razonamiento complejos | auto:smart | Ordena los modelos por inteligencia |
| Pruebas que deben poder repetirse | Un ID de modelo fijo | El mismo modelo cada vez, pero se detiene en el límite de ese modelo |
Los niveles gratuitos no tienen SLA. La latencia cambia durante el día, y los modelos más potentes alcanzan antes sus límites diarios. Pruebe sus cadenas con los modelos que su cadena usará de verdad.
Límites de velocidad y reintentos
FreeLLMAPI prueba el siguiente proveedor cuando uno devuelve 429. Su código ve un 429 solo cuando todas las claves de la cadena están en su límite. Entonces la respuesta tiene una cabecera Retry-After. Muchos límites diarios se restablecen a medianoche UTC.
Para trabajos por lotes, añada una segunda capa de reintentos con with_retry. Reintenta toda la unidad ejecutable con retroceso exponencial y jitter.
Python: reintentar una cadena ante límites de velocidad
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| Problema | Causa | Solución |
|---|---|---|
openai.AuthenticationError | Clave unificada incorrecta | Copie la clave de nuevo desde la página Keys |
openai.NotFoundError en cada llamada | La URL base no tiene /v1 | Use http://localhost:3001/v1 |
openai.RateLimitError | Todas las claves de la cadena están en su límite | Añada proveedores, reduzca max_concurrency o espere a Retry-After |
| Error de embedding sobre tokens o tipo de entrada | LangChain envía tokens, no texto | Defina check_embedding_ctx_length=False |
tool_calls está vacío | El modelo no admite herramientas | Use un modelo de la tabla de herramientas o un perfil de herramientas |
| Falta el texto de razonamiento | ChatOpenAI conserva solo los campos estándar de OpenAI | Lea la respuesta en content; los campos extra del proveedor no se conservan |
Preguntas frecuentes
¿Puedo usar una API LLM gratuita con LangChain?
Sí. Cualquier API compatible con OpenAI funciona con ChatOpenAI. Defina base_url como http://localhost:3001/v1 y api_key como su clave unificada de FreeLLMAPI. El enrutador usa niveles gratuitos de proveedores.
¿Cómo defino una base URL personalizada en ChatOpenAI de LangChain?
En Python, pase base_url a ChatOpenAI. En JavaScript, pase configuration: { baseURL } al constructor. La variable de entorno OPENAI_BASE_URL también funciona en Python.
¿Funcionan los agentes de LangChain con modelos gratuitos?
Sí, si el modelo admite llamadas a herramientas. Use create_agent con un modelo ChatOpenAI y mantenga los modelos que llaman a herramientas en su cadena de FreeLLMAPI.
¿Por qué falla OpenAIEmbeddings con un proveedor que no es de OpenAI?
De forma predeterminada envía IDs de tokens. La mayoría de los demás proveedores necesitan texto sin procesar. Defina check_embedding_ctx_length=False en Python.
¿Cómo gestiono los errores 429 en LangChain?
Defina max_retries en ChatOpenAI y añada with_retry a la cadena para los trabajos por lotes. FreeLLMAPI ya pasa al siguiente proveedor antes de que su código vea un 429.
Guías relacionadas
- LLM gratuito para LlamaIndex
- API de LLM gratuita en Python
- API LLM gratuita para RAG
- API gratuita de embeddings
- LLM API gratuita con llamadas a funciones
- API LLM gratuita para agentes de IA
Fuentes
- LangChain docs: ChatOpenAI integration (Python) (revisado 20 November 2026)
- LangChain docs: ChatOpenAI integration (JavaScript) (revisado 20 November 2026)
- LangChain docs: agents and create_agent (revisado 20 November 2026)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (revisado 20 November 2026)
- OpenAI Python SDK: retries and errors (revisado 20 November 2026)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (revisado 20 November 2026)