首页 / 指南 / LangChain 的免费 LLM API

LangChain 的免费 LLM API

LangChain 通过 ChatOpenAI 和 OpenAIEmbeddings 连接兼容 OpenAI 的 API。您需要更改基础 URL 和密钥。本指南将这两个类都指向 FreeLLMAPI。FreeLLMAPI 通过一个密钥整合了 45 个免费提供方套餐。下面的代码适用于 Python 和 JavaScript,并能处理速率限制。

代码、模型名称和目录中的实时标签以英文显示。

设置网关和软件包

安装 FreeLLMAPI,并在仪表板的 Keys 页面添加两个或更多提供方的免费密钥。复制统一密钥。您的代码只使用此密钥。提供方密钥保存在 FreeLLMAPI 中。

安装 FreeLLMAPI 和 LangChain 软件包

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

环境变量

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

使用 model="auto",让路由器选择模型。您也可以使用路由策略,例如 auto:fast 或 auto:smart。命名配置(例如 auto:coding)以及目录中的固定模型 ID 同样有效。

要查看您的密钥当前可以调用哪些模型,请请求 GET /v1/models?execution_status=ready。完整列表也包含没有密钥的模型。状态为 exhausted 的模型已有密钥,但此刻它们都已达到限制。冷却时间结束后,该状态会清除。

列出当前可以响应的模型

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

使用 ChatOpenAI 聊天

在 Python 中,设置 base_url 和 api_key。max_retries 的值会传递给 OpenAI 客户端,该客户端会以指数退避方式重试 429 和 5xx 错误。

Python:聊天与流式输出

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

在 JavaScript 中,将基础 URL 放入 configuration.baseURL。configuration 对象会传递给官方 OpenAI SDK 客户端。

JavaScript:聊天与流式输出

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

x-routed-via 标头显示作出回答的提供方和模型。如果路由器更换了提供方,x-fallback-trail 会显示每次失败的尝试及其原因。

工具与代理

FreeLLMAPI 将 OpenAI 格式的 tools 传递给每个提供方,并以 OpenAI 格式返回 tool_calls。对于 Gemini,它会将请求转换为 Google 格式,并将结果转换回来。单次调用请使用 bind_tools;需要运行工具的循环请使用 create_agent。

Python:bind_tools 和 create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript:bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

只有部分免费模型支持工具调用。使用 auto 时,请在回退链中保留支持工具调用的模型,或为代理创建一个配置。目前以下免费模型支持工具:

支持工具调用且上下文为 128K 以上的免费模型
模型免费提供方上下文免费额度(最优惠)工具视觉
GLM 5.3UnoRouter1M1 请求/分钟
1 req/min per model
是否
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 请求/分钟
40 RPM
是是
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quota是是
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowance是否
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring credit是是
Gemini 3.7 FlashGoogle AI Studio1M10 请求/分钟
20 请求/天
250,000 令牌/分钟
~3M
是是
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring credit是是
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 请求/分钟
50 请求/天
50 req/day account-wide (1,000 after a $10 purchase)
是是
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 请求/分钟
50 请求/天
Shared rate limit
是否
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 请求/分钟
250 请求/天
70,000 令牌/分钟
~6M
是是

显示 10 个(共 109 个匹配的免费模型)。 查看所有模型.

数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。

使用 OpenAIEmbeddings 生成嵌入

默认情况下,Python 中的 OpenAIEmbeddings 会用 OpenAI 分词器切分文本,并发送词元。大多数其他提供方需要原始文本。请设置 check_embedding_ctx_length=False 以发送文本。

Python:嵌入

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript:嵌入

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

FreeLLMAPI 的嵌入自动切换从不更换模型。它只在提供相同系列的提供方之间切换。这使同一向量存储中的所有向量保持兼容。请选择一个系列并保持不变。目前的免费嵌入模型如下:

模型提供方维度最大输入免费额度
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。

结构化输出、会话与模型选择

with_structured_output 返回一个 Pydantic 对象,而不是文本。LangChain 默认使用函数调用实现此功能。该方法适用于所有支持工具的免费模型。

Python:结构化输出

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

不要将 method="json_schema" 与 auto 一起使用。并非每个免费提供方都支持严格的 JSON schema 输出,而且路由器可能为每个请求选择不同的提供方。

FreeLLMAPI 会在 30 分钟内将一次对话保持在同一个模型上。它通过 X-Session-Id 标头识别对话。如果没有该标头,它会使用第一条用户消息的哈希值。对于有多个用户的聊天应用,请为每个用户发送一个会话 ID:

Python:每个用户一个会话

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

为应用的每个部分选择模型字符串:

应用中的任务模型字符串原因
向用户提供的聊天回答auto遵循您在仪表板中设置的链
使用工具的代理auto:<profile>仅包含支持工具调用的模型的配置
分类、路由、简短摘要auto:fast按实测速度对模型排序
复杂的推理步骤auto:smart按智能水平对模型排序
必须可重复的测试固定的模型 ID每次使用同一模型,但达到该模型的限制时会停止

免费套餐没有服务等级协议(SLA)。延迟会随时间变化,最强的模型会最先达到每日限制。请使用您的链实际会用到的模型来测试该链。

速率限制与重试

当某个提供方返回 429 时,FreeLLMAPI 会尝试下一个提供方。只有当链中的每个密钥都达到限制时,您的代码才会收到 429。此时响应中会包含 Retry-After 标头。许多每日限制会在 UTC 午夜重置。

对于批处理任务,请使用 with_retry 添加第二层重试。它会以指数退避和抖动的方式重试整个可运行对象。

Python:在速率限制时重试链

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
问题原因解决方法
openai.AuthenticationError统一密钥错误从 Keys 页面重新复制密钥
每次调用都出现 openai.NotFoundError基础 URL 缺少 /v1使用 http://localhost:3001/v1
openai.RateLimitError链中所有密钥都已达到限制添加提供方,减小 max_concurrency,或等待 Retry-After
嵌入出现关于词元或输入类型的错误LangChain 发送的是词元,而不是文本设置 check_embedding_ctx_length=False
tool_calls 为空该模型不支持工具使用工具表中的模型,或使用工具配置
缺少推理文本ChatOpenAI 只保留标准的 OpenAI 字段从 content 中读取回答;不会保留提供方的额外字段
通过一个密钥使用以上每一个模型。 FreeLLMAPI 是一个开源的自托管路由器。它将所有这些免费套餐放在一个兼容 OpenAI 的端点之后,并在某个套餐被限速时自动切换。 浏览目录 或 立即开始.

常见问题

我可以在 LangChain 中使用免费的 LLM API 吗?

可以。任何兼容 OpenAI 的 API 都可与 ChatOpenAI 配合使用。将 base_url 设置为 http://localhost:3001/v1,并将 api_key 设置为您的 FreeLLMAPI 统一密钥。路由器会使用免费的提供方套餐。

如何在 LangChain 的 ChatOpenAI 中设置自定义基础 URL?

在 Python 中,将 base_url 传递给 ChatOpenAI。在 JavaScript 中,将 configuration: { baseURL } 传递给构造函数。Python 中也可以使用 OPENAI_BASE_URL 环境变量。

LangChain 代理能否与免费模型一起使用?

可以,前提是该模型支持工具调用。请将 create_agent 与 ChatOpenAI 模型一起使用,并在您的 FreeLLMAPI 链中保留支持工具调用的模型。

为什么 OpenAIEmbeddings 与非 OpenAI 提供方一起使用时会失败?

默认情况下,它发送的是词元 ID。大多数其他提供方需要原始文本。在 Python 中设置 check_embedding_ctx_length=False。

如何在 LangChain 中处理 429 错误?

在 ChatOpenAI 上设置 max_retries,并为批处理任务在链上添加 with_retry。FreeLLMAPI 会在您的代码收到 429 之前,就已切换到下一个提供方。

相关指南

来源

全部指南 · 浏览所有免费模型