API LLM gratuita para LangChain
O LangChain se conecta a APIs compatíveis com OpenAI por meio de ChatOpenAI e OpenAIEmbeddings. Você altera a URL base e a chave. Este guia aponta as duas classes para o FreeLLMAPI, que reúne camadas gratuitas de 45 provedores atrás de uma chave. O código abaixo funciona em Python e JavaScript e trata os limites de requisições.
O código, os nomes dos modelos e os rótulos do catálogo ao vivo são exibidos em inglês.
Configure o gateway e os pacotes
Instale o FreeLLMAPI e adicione chaves gratuitas de dois ou mais provedores na página Keys do painel. Copie a chave unificada. Seu código usa somente esta chave. As chaves dos provedores ficam no FreeLLMAPI.
Instalar o FreeLLMAPI e os pacotes do LangChain
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zodVariáveis de ambiente
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Use model="auto" para deixar o roteador escolher um modelo. Você também pode usar uma estratégia de roteamento, por exemplo auto:fast ou auto:smart. Um perfil nomeado, como auto:coding, e um ID de modelo fixo do catálogo também funcionam.
Para ver quais modelos as suas chaves podem chamar agora, faça a requisição GET /v1/models?execution_status=ready. A lista completa também inclui modelos sem chave. Um modelo com o status exhausted tem chaves, mas todas estão no limite neste momento. Esse status some quando os períodos de espera terminam.
Listar os modelos que podem responder agora
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"Converse com ChatOpenAI
Em Python, defina base_url e api_key. O valor de max_retries vai para o cliente OpenAI, que repete os erros 429 e 5xx com recuo exponencial.
Python: chat e streaming
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)Em JavaScript, coloque a URL base em configuration.baseURL. O objeto configuration vai para o cliente do SDK oficial da OpenAI.
JavaScript: chat e streaming
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}O cabeçalho x-routed-via mostra o provedor e o modelo que responderam. Se o roteador trocou de provedor, x-fallback-trail mostra cada tentativa que falhou e o motivo.
Ferramentas e agentes
O FreeLLMAPI passa as tools no formato OpenAI para cada provedor e devolve os tool_calls no formato OpenAI. Para o Gemini, ele traduz a requisição para o formato do Google e traduz a resposta de volta. Use bind_tools para uma chamada, ou create_agent para um laço que executa as ferramentas.
Python: bind_tools e create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);Somente alguns modelos gratuitos suportam chamada de ferramentas. Com auto, mantenha modelos com chamada de ferramentas na sua cadeia de fallback, ou crie um perfil para agentes. Estes modelos gratuitos suportam ferramentas hoje:
| Modelo | Gratuito em | Contexto | Limites gratuitos (melhor oferta) | Ferramentas | Visão |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 req/min 1 req/min per model | Sim | Não |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 req/min 40 RPM | Sim | Sim |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Sim | Sim |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Sim | Não |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Sim | Sim |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 req/min 20 req/dia 250,000 tokens/min ~3M | Sim | Sim |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Sim | Sim |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 req/min 50 req/dia 50 req/day account-wide (1,000 after a $10 purchase) | Sim | Sim |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 req/min 50 req/dia Shared rate limit | Sim | Não |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 req/min 250 req/dia 70,000 tokens/min ~6M | Sim | Sim |
Mostrando 10 de 109 modelos gratuitos correspondentes. Ver todos os modelos.
Dados ao vivo do catálogo FreeLLMAPI (versão 2026.11.19, verificado em 2026-11-19). Os limites gratuitos mudam com frequência. O catálogo é verificado todos os dias.
Embeddings com OpenAIEmbeddings
Por padrão, o OpenAIEmbeddings em Python divide o texto com um tokenizador da OpenAI e envia tokens. A maioria dos outros provedores precisa de texto puro. Defina check_embedding_ctx_length=False para enviar texto.
Python: embeddings
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: embeddings
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);O fallback de embeddings no FreeLLMAPI nunca troca o modelo. Ele só troca entre provedores que servem a mesma família. Isso mantém todos os vetores de um único armazenamento vetorial compatíveis. Escolha uma família e mantenha-a. Os modelos de embedding gratuitos hoje são:
| Modelo | Provedor | Dimensões | Entrada máx. | Limite gratuito |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Dados ao vivo do catálogo FreeLLMAPI (versão 2026.11.19, verificado em 2026-11-19). Os limites gratuitos mudam com frequência. O catálogo é verificado todos os dias.
Saída estruturada, sessões e escolha de modelo
with_structured_output devolve um objeto Pydantic no lugar de texto. Por padrão, o LangChain usa function calling para isso. Esse método funciona em todos os modelos gratuitos que suportam ferramentas.
Python: saída estruturada
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)Não use method="json_schema" com auto. Nem todo provedor gratuito suporta saída JSON schema estrita, e o roteador pode escolher um provedor diferente para cada requisição.
O FreeLLMAPI mantém uma conversa no mesmo modelo por 30 minutos. Ele encontra a conversa pelo cabeçalho X-Session-Id. Se não houver cabeçalho, usa um hash da primeira mensagem do usuário. Em um aplicativo de chat com muitos usuários, envie um ID de sessão por usuário:
Python: uma sessão por usuário
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)Escolha a string de modelo para cada parte do seu aplicativo:
| Tarefa no seu aplicativo | String de modelo | Motivo |
|---|---|---|
| Respostas de chat para usuários | auto | Segue a cadeia que você definiu no painel |
| Agente com ferramentas | auto:<profile> | Um perfil com somente modelos que chamam ferramentas |
| Classificação, roteamento, resumos curtos | auto:fast | Ordena os modelos pela velocidade medida |
| Etapas de raciocínio difíceis | auto:smart | Ordena os modelos pela inteligência |
| Testes que precisam ser repetíveis | Um ID de modelo fixo | O mesmo modelo sempre, mas para no limite desse modelo |
Camadas gratuitas não têm SLA. A latência muda ao longo do dia, e os modelos mais fortes atingem primeiro os limites diários. Teste as suas cadeias com os modelos que elas vão usar de fato.
Limites de requisições e novas tentativas
O FreeLLMAPI tenta o próximo provedor quando um deles devolve 429. O seu código vê um 429 somente quando todas as chaves da cadeia estão no limite. Nesse caso, a resposta tem um cabeçalho Retry-After. Muitos limites diários são reiniciados à meia-noite UTC.
Para trabalhos em lote, adicione uma segunda camada de novas tentativas com with_retry. Ela repete o runnable inteiro com recuo exponencial e jitter.
Python: repetir uma cadeia nos limites de requisições
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| Problema | Causa | Solução |
|---|---|---|
openai.AuthenticationError | Chave unificada errada | Copie a chave de novo na página Keys |
openai.NotFoundError em todas as chamadas | A URL base não tem /v1 | Use http://localhost:3001/v1 |
openai.RateLimitError | Todas as chaves da cadeia estão no limite | Adicione provedores, reduza max_concurrency ou espere o Retry-After |
| Erro de embedding sobre tokens ou tipo de entrada | O LangChain envia tokens, não texto | Defina check_embedding_ctx_length=False |
tool_calls vazio | O modelo não suporta ferramentas | Use um modelo da tabela de ferramentas ou um perfil de ferramentas |
| Texto de raciocínio ausente | ChatOpenAI mantém somente os campos padrão da OpenAI | Leia a resposta em content; campos extras do provedor não são mantidos |
Perguntas frequentes
Posso usar uma API LLM gratuita com o LangChain?
Sim. Qualquer API compatível com OpenAI funciona com ChatOpenAI. Defina base_url como http://localhost:3001/v1 e api_key como a sua chave unificada do FreeLLMAPI. O roteador usa camadas gratuitas de provedores.
Como defino uma base URL personalizada no ChatOpenAI do LangChain?
Em Python, passe base_url para o ChatOpenAI. Em JavaScript, passe configuration: { baseURL } para o construtor. A variável de ambiente OPENAI_BASE_URL também funciona em Python.
Os agentes do LangChain funcionam com modelos gratuitos?
Sim, se o modelo suportar chamada de ferramentas. Use create_agent com um modelo ChatOpenAI e mantenha modelos com chamada de ferramentas na sua cadeia do FreeLLMAPI.
Por que o OpenAIEmbeddings falha com um provedor que não é da OpenAI?
Por padrão, ele envia IDs de tokens. A maioria dos outros provedores precisa de texto puro. Defina check_embedding_ctx_length=False em Python.
Como trato erros 429 no LangChain?
Defina max_retries no ChatOpenAI e adicione with_retry à cadeia para trabalhos em lote. O FreeLLMAPI já passa para o próximo provedor antes que o seu código veja um 429.
Guias relacionados
- LLM gratuito para LlamaIndex
- LLM gratuito em Python
- API LLM gratuita para RAG
- API gratuita de embeddings
- API LLM gratuita com function calling
- API LLM gratuita para agentes de IA
Fontes
- LangChain docs: ChatOpenAI integration (Python) (verificado em 20 November 2026)
- LangChain docs: ChatOpenAI integration (JavaScript) (verificado em 20 November 2026)
- LangChain docs: agents and create_agent (verificado em 20 November 2026)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (verificado em 20 November 2026)
- OpenAI Python SDK: retries and errors (verificado em 20 November 2026)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (verificado em 20 November 2026)