LangChain 的免费 LLM API
LangChain 通过 ChatOpenAI 和 OpenAIEmbeddings 连接兼容 OpenAI 的 API。您需要更改基础 URL 和密钥。本指南将这两个类都指向 FreeLLMAPI。FreeLLMAPI 通过一个密钥整合了 45 个免费提供方套餐。下面的代码适用于 Python 和 JavaScript,并能处理速率限制。
代码、模型名称和目录中的实时标签以英文显示。
设置网关和软件包
安装 FreeLLMAPI,并在仪表板的 Keys 页面添加两个或更多提供方的免费密钥。复制统一密钥。您的代码只使用此密钥。提供方密钥保存在 FreeLLMAPI 中。
安装 FreeLLMAPI 和 LangChain 软件包
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zod环境变量
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>使用 model="auto",让路由器选择模型。您也可以使用路由策略,例如 auto:fast 或 auto:smart。命名配置(例如 auto:coding)以及目录中的固定模型 ID 同样有效。
要查看您的密钥当前可以调用哪些模型,请请求 GET /v1/models?execution_status=ready。完整列表也包含没有密钥的模型。状态为 exhausted 的模型已有密钥,但此刻它们都已达到限制。冷却时间结束后,该状态会清除。
列出当前可以响应的模型
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"使用 ChatOpenAI 聊天
在 Python 中,设置 base_url 和 api_key。max_retries 的值会传递给 OpenAI 客户端,该客户端会以指数退避方式重试 429 和 5xx 错误。
Python:聊天与流式输出
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)在 JavaScript 中,将基础 URL 放入 configuration.baseURL。configuration 对象会传递给官方 OpenAI SDK 客户端。
JavaScript:聊天与流式输出
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}x-routed-via 标头显示作出回答的提供方和模型。如果路由器更换了提供方,x-fallback-trail 会显示每次失败的尝试及其原因。
工具与代理
FreeLLMAPI 将 OpenAI 格式的 tools 传递给每个提供方,并以 OpenAI 格式返回 tool_calls。对于 Gemini,它会将请求转换为 Google 格式,并将结果转换回来。单次调用请使用 bind_tools;需要运行工具的循环请使用 create_agent。
Python:bind_tools 和 create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript:bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);只有部分免费模型支持工具调用。使用 auto 时,请在回退链中保留支持工具调用的模型,或为代理创建一个配置。目前以下免费模型支持工具:
| 模型 | 免费提供方 | 上下文 | 免费额度(最优惠) | 工具 | 视觉 |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 请求/分钟 1 req/min per model | 是 | 否 |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 请求/分钟 40 RPM | 是 | 是 |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | 是 | 是 |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | 是 | 否 |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | 是 | 是 |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | 是 | 是 |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 请求/分钟 50 请求/天 50 req/day account-wide (1,000 after a $10 purchase) | 是 | 是 |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 请求/分钟 50 请求/天 Shared rate limit | 是 | 否 |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 请求/分钟 250 请求/天 70,000 令牌/分钟 ~6M | 是 | 是 |
显示 10 个(共 109 个匹配的免费模型)。 查看所有模型.
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
使用 OpenAIEmbeddings 生成嵌入
默认情况下,Python 中的 OpenAIEmbeddings 会用 OpenAI 分词器切分文本,并发送词元。大多数其他提供方需要原始文本。请设置 check_embedding_ctx_length=False 以发送文本。
Python:嵌入
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript:嵌入
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);FreeLLMAPI 的嵌入自动切换从不更换模型。它只在提供相同系列的提供方之间切换。这使同一向量存储中的所有向量保持兼容。请选择一个系列并保持不变。目前的免费嵌入模型如下:
| 模型 | 提供方 | 维度 | 最大输入 | 免费额度 |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
结构化输出、会话与模型选择
with_structured_output 返回一个 Pydantic 对象,而不是文本。LangChain 默认使用函数调用实现此功能。该方法适用于所有支持工具的免费模型。
Python:结构化输出
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)不要将 method="json_schema" 与 auto 一起使用。并非每个免费提供方都支持严格的 JSON schema 输出,而且路由器可能为每个请求选择不同的提供方。
FreeLLMAPI 会在 30 分钟内将一次对话保持在同一个模型上。它通过 X-Session-Id 标头识别对话。如果没有该标头,它会使用第一条用户消息的哈希值。对于有多个用户的聊天应用,请为每个用户发送一个会话 ID:
Python:每个用户一个会话
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)为应用的每个部分选择模型字符串:
| 应用中的任务 | 模型字符串 | 原因 |
|---|---|---|
| 向用户提供的聊天回答 | auto | 遵循您在仪表板中设置的链 |
| 使用工具的代理 | auto:<profile> | 仅包含支持工具调用的模型的配置 |
| 分类、路由、简短摘要 | auto:fast | 按实测速度对模型排序 |
| 复杂的推理步骤 | auto:smart | 按智能水平对模型排序 |
| 必须可重复的测试 | 固定的模型 ID | 每次使用同一模型,但达到该模型的限制时会停止 |
免费套餐没有服务等级协议(SLA)。延迟会随时间变化,最强的模型会最先达到每日限制。请使用您的链实际会用到的模型来测试该链。
速率限制与重试
当某个提供方返回 429 时,FreeLLMAPI 会尝试下一个提供方。只有当链中的每个密钥都达到限制时,您的代码才会收到 429。此时响应中会包含 Retry-After 标头。许多每日限制会在 UTC 午夜重置。
对于批处理任务,请使用 with_retry 添加第二层重试。它会以指数退避和抖动的方式重试整个可运行对象。
Python:在速率限制时重试链
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| 问题 | 原因 | 解决方法 |
|---|---|---|
openai.AuthenticationError | 统一密钥错误 | 从 Keys 页面重新复制密钥 |
每次调用都出现 openai.NotFoundError | 基础 URL 缺少 /v1 | 使用 http://localhost:3001/v1 |
openai.RateLimitError | 链中所有密钥都已达到限制 | 添加提供方,减小 max_concurrency,或等待 Retry-After |
| 嵌入出现关于词元或输入类型的错误 | LangChain 发送的是词元,而不是文本 | 设置 check_embedding_ctx_length=False |
tool_calls 为空 | 该模型不支持工具 | 使用工具表中的模型,或使用工具配置 |
| 缺少推理文本 | ChatOpenAI 只保留标准的 OpenAI 字段 | 从 content 中读取回答;不会保留提供方的额外字段 |
常见问题
我可以在 LangChain 中使用免费的 LLM API 吗?
可以。任何兼容 OpenAI 的 API 都可与 ChatOpenAI 配合使用。将 base_url 设置为 http://localhost:3001/v1,并将 api_key 设置为您的 FreeLLMAPI 统一密钥。路由器会使用免费的提供方套餐。
如何在 LangChain 的 ChatOpenAI 中设置自定义基础 URL?
在 Python 中,将 base_url 传递给 ChatOpenAI。在 JavaScript 中,将 configuration: { baseURL } 传递给构造函数。Python 中也可以使用 OPENAI_BASE_URL 环境变量。
LangChain 代理能否与免费模型一起使用?
可以,前提是该模型支持工具调用。请将 create_agent 与 ChatOpenAI 模型一起使用,并在您的 FreeLLMAPI 链中保留支持工具调用的模型。
为什么 OpenAIEmbeddings 与非 OpenAI 提供方一起使用时会失败?
默认情况下,它发送的是词元 ID。大多数其他提供方需要原始文本。在 Python 中设置 check_embedding_ctx_length=False。
如何在 LangChain 中处理 429 错误?
在 ChatOpenAI 上设置 max_retries,并为批处理任务在链上添加 with_retry。FreeLLMAPI 会在您的代码收到 429 之前,就已切换到下一个提供方。
相关指南
- LlamaIndex 免费 LLM
- Python 中的免费 LLM API
- 用于 RAG 的免费 LLM API
- 免费 Embeddings API
- 支持函数调用的免费 LLM API
- AI 智能体的免费 LLM API
来源
- LangChain docs: ChatOpenAI integration (Python) (检查于 20 November 2026)
- LangChain docs: ChatOpenAI integration (JavaScript) (检查于 20 November 2026)
- LangChain docs: agents and create_agent (检查于 20 November 2026)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (检查于 20 November 2026)
- OpenAI Python SDK: retries and errors (检查于 20 November 2026)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (检查于 20 November 2026)