Início / Guias / API LLM gratuita para LangChain

API LLM gratuita para LangChain

O LangChain se conecta a APIs compatíveis com OpenAI por meio de ChatOpenAI e OpenAIEmbeddings. Você altera a URL base e a chave. Este guia aponta as duas classes para o FreeLLMAPI, que reúne camadas gratuitas de 45 provedores atrás de uma chave. O código abaixo funciona em Python e JavaScript e trata os limites de requisições.

O código, os nomes dos modelos e os rótulos do catálogo ao vivo são exibidos em inglês.

Configure o gateway e os pacotes

Instale o FreeLLMAPI e adicione chaves gratuitas de dois ou mais provedores na página Keys do painel. Copie a chave unificada. Seu código usa somente esta chave. As chaves dos provedores ficam no FreeLLMAPI.

Instalar o FreeLLMAPI e os pacotes do LangChain

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

Variáveis de ambiente

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Use model="auto" para deixar o roteador escolher um modelo. Você também pode usar uma estratégia de roteamento, por exemplo auto:fast ou auto:smart. Um perfil nomeado, como auto:coding, e um ID de modelo fixo do catálogo também funcionam.

Para ver quais modelos as suas chaves podem chamar agora, faça a requisição GET /v1/models?execution_status=ready. A lista completa também inclui modelos sem chave. Um modelo com o status exhausted tem chaves, mas todas estão no limite neste momento. Esse status some quando os períodos de espera terminam.

Listar os modelos que podem responder agora

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

Converse com ChatOpenAI

Em Python, defina base_url e api_key. O valor de max_retries vai para o cliente OpenAI, que repete os erros 429 e 5xx com recuo exponencial.

Python: chat e streaming

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

Em JavaScript, coloque a URL base em configuration.baseURL. O objeto configuration vai para o cliente do SDK oficial da OpenAI.

JavaScript: chat e streaming

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

O cabeçalho x-routed-via mostra o provedor e o modelo que responderam. Se o roteador trocou de provedor, x-fallback-trail mostra cada tentativa que falhou e o motivo.

Ferramentas e agentes

O FreeLLMAPI passa as tools no formato OpenAI para cada provedor e devolve os tool_calls no formato OpenAI. Para o Gemini, ele traduz a requisição para o formato do Google e traduz a resposta de volta. Use bind_tools para uma chamada, ou create_agent para um laço que executa as ferramentas.

Python: bind_tools e create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

Somente alguns modelos gratuitos suportam chamada de ferramentas. Com auto, mantenha modelos com chamada de ferramentas na sua cadeia de fallback, ou crie um perfil para agentes. Estes modelos gratuitos suportam ferramentas hoje:

Modelos gratuitos com chamada de ferramentas e contexto de 128K ou mais
ModeloGratuito emContextoLimites gratuitos (melhor oferta)FerramentasVisão
GLM 5.3UnoRouter1M1 req/min
1 req/min per model
SimNão
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 req/min
40 RPM
SimSim
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaSimSim
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceSimNão
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditSimSim
Gemini 3.7 FlashGoogle AI Studio1M10 req/min
20 req/dia
250,000 tokens/min
~3M
SimSim
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditSimSim
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 req/min
50 req/dia
50 req/day account-wide (1,000 after a $10 purchase)
SimSim
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 req/min
50 req/dia
Shared rate limit
SimNão
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 req/min
250 req/dia
70,000 tokens/min
~6M
SimSim

Mostrando 10 de 109 modelos gratuitos correspondentes. Ver todos os modelos.

Dados ao vivo do catálogo FreeLLMAPI (versão 2026.11.19, verificado em 2026-11-19). Os limites gratuitos mudam com frequência. O catálogo é verificado todos os dias.

Embeddings com OpenAIEmbeddings

Por padrão, o OpenAIEmbeddings em Python divide o texto com um tokenizador da OpenAI e envia tokens. A maioria dos outros provedores precisa de texto puro. Defina check_embedding_ctx_length=False para enviar texto.

Python: embeddings

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: embeddings

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

O fallback de embeddings no FreeLLMAPI nunca troca o modelo. Ele só troca entre provedores que servem a mesma família. Isso mantém todos os vetores de um único armazenamento vetorial compatíveis. Escolha uma família e mantenha-a. Os modelos de embedding gratuitos hoje são:

ModeloProvedorDimensõesEntrada máx.Limite gratuito
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Dados ao vivo do catálogo FreeLLMAPI (versão 2026.11.19, verificado em 2026-11-19). Os limites gratuitos mudam com frequência. O catálogo é verificado todos os dias.

Saída estruturada, sessões e escolha de modelo

with_structured_output devolve um objeto Pydantic no lugar de texto. Por padrão, o LangChain usa function calling para isso. Esse método funciona em todos os modelos gratuitos que suportam ferramentas.

Python: saída estruturada

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

Não use method="json_schema" com auto. Nem todo provedor gratuito suporta saída JSON schema estrita, e o roteador pode escolher um provedor diferente para cada requisição.

O FreeLLMAPI mantém uma conversa no mesmo modelo por 30 minutos. Ele encontra a conversa pelo cabeçalho X-Session-Id. Se não houver cabeçalho, usa um hash da primeira mensagem do usuário. Em um aplicativo de chat com muitos usuários, envie um ID de sessão por usuário:

Python: uma sessão por usuário

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

Escolha a string de modelo para cada parte do seu aplicativo:

Tarefa no seu aplicativoString de modeloMotivo
Respostas de chat para usuáriosautoSegue a cadeia que você definiu no painel
Agente com ferramentasauto:<profile>Um perfil com somente modelos que chamam ferramentas
Classificação, roteamento, resumos curtosauto:fastOrdena os modelos pela velocidade medida
Etapas de raciocínio difíceisauto:smartOrdena os modelos pela inteligência
Testes que precisam ser repetíveisUm ID de modelo fixoO mesmo modelo sempre, mas para no limite desse modelo

Camadas gratuitas não têm SLA. A latência muda ao longo do dia, e os modelos mais fortes atingem primeiro os limites diários. Teste as suas cadeias com os modelos que elas vão usar de fato.

Limites de requisições e novas tentativas

O FreeLLMAPI tenta o próximo provedor quando um deles devolve 429. O seu código vê um 429 somente quando todas as chaves da cadeia estão no limite. Nesse caso, a resposta tem um cabeçalho Retry-After. Muitos limites diários são reiniciados à meia-noite UTC.

Para trabalhos em lote, adicione uma segunda camada de novas tentativas com with_retry. Ela repete o runnable inteiro com recuo exponencial e jitter.

Python: repetir uma cadeia nos limites de requisições

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
ProblemaCausaSolução
openai.AuthenticationErrorChave unificada erradaCopie a chave de novo na página Keys
openai.NotFoundError em todas as chamadasA URL base não tem /v1Use http://localhost:3001/v1
openai.RateLimitErrorTodas as chaves da cadeia estão no limiteAdicione provedores, reduza max_concurrency ou espere o Retry-After
Erro de embedding sobre tokens ou tipo de entradaO LangChain envia tokens, não textoDefina check_embedding_ctx_length=False
tool_calls vazioO modelo não suporta ferramentasUse um modelo da tabela de ferramentas ou um perfil de ferramentas
Texto de raciocínio ausenteChatOpenAI mantém somente os campos padrão da OpenAILeia a resposta em content; campos extras do provedor não são mantidos
Use todos estes modelos com uma única chave. FreeLLMAPI é um roteador de código aberto e de hospedagem própria. Ele coloca todas estas camadas gratuitas atrás de um único endpoint compatível com OpenAI e passa para o próximo provedor quando um deles está com limite de requisições. Ver o catálogo ou colocar em produção.

Perguntas frequentes

Posso usar uma API LLM gratuita com o LangChain?

Sim. Qualquer API compatível com OpenAI funciona com ChatOpenAI. Defina base_url como http://localhost:3001/v1 e api_key como a sua chave unificada do FreeLLMAPI. O roteador usa camadas gratuitas de provedores.

Como defino uma base URL personalizada no ChatOpenAI do LangChain?

Em Python, passe base_url para o ChatOpenAI. Em JavaScript, passe configuration: { baseURL } para o construtor. A variável de ambiente OPENAI_BASE_URL também funciona em Python.

Os agentes do LangChain funcionam com modelos gratuitos?

Sim, se o modelo suportar chamada de ferramentas. Use create_agent com um modelo ChatOpenAI e mantenha modelos com chamada de ferramentas na sua cadeia do FreeLLMAPI.

Por que o OpenAIEmbeddings falha com um provedor que não é da OpenAI?

Por padrão, ele envia IDs de tokens. A maioria dos outros provedores precisa de texto puro. Defina check_embedding_ctx_length=False em Python.

Como trato erros 429 no LangChain?

Defina max_retries no ChatOpenAI e adicione with_retry à cadeia para trabalhos em lote. O FreeLLMAPI já passa para o próximo provedor antes que o seu código veja um 429.

Guias relacionados

Fontes

Todos os guias · Ver todos os modelos gratuitos