用于 RAG 的免费 LLM API
检索增强生成(RAG)需要两种 API:一个嵌入模型用于查找相关文本,一个聊天模型用于撰写答案。两者在免费层级上都可以使用。FreeLLMAPI 通过一个兼容 OpenAI 的密钥提供 41 个免费嵌入模型和 487 个免费聊天模型,并在提供商之间进行故障转移。本指南介绍每个步骤可用的免费模型,并提供完整的 Python 流程。
代码、模型名称和目录中的实时标签以英文显示。
免费层级上的 RAG 流程
| 步骤 | API | 免费层级的注意事项 |
|---|---|---|
| 1. 将文档拆分为块 | 无(本地代码) | 无 |
| 2. 为每个块生成嵌入 | /v1/embeddings | 开始时请求量很大。一些免费嵌入层级每分钟只允许 10 个请求。 |
| 3. 为问题生成嵌入 | /v1/embeddings | 每个问题一个请求 |
| 4. 查找最相关的块 | 无(本地向量搜索) | 无 |
| 5. 对块重新排序(可选) | /v1/chat/completions | 每个问题额外一个聊天请求 |
| 6. 撰写答案 | /v1/chat/completions | 提示词较大。适用每分钟 token 数限制。 |
第 2 步是开销最大的步骤。每个文档只需执行一次。保存向量,之后只为新增或已更改的文档生成嵌入。
安装 FreeLLMAPI 和 Python 包
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>选择免费嵌入模型
选择一个嵌入模型系列,并在整个索引中保持使用它。来自两个模型的向量不兼容。FreeLLMAPI 可防止混用向量:嵌入的故障转移从不更改模型。它只在提供相同系列的提供商之间切换。
| 模型 | 提供方 | 维度 | 最大输入 | 免费额度 |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
- 同一系列有多个提供商: 例如
bge-m3系列在多个提供商上免费提供。这样故障转移就有了备选目标。 - 最大输入: 超过最大输入的块会被截断或被拒绝。请将块的大小控制在此值以内。
- 语言: 对于非英语文本,请使用多语言系列,例如
bge-m3。名称中含有-en-的系列适用于英语。 - 维度: 向量维度越大,占用的存储越多。对于小型索引,这不是问题。
Python 中的完整 RAG 代码
该脚本将文本文件拆分为块,分批生成嵌入,并使用 NumPy 保存向量。然后,它会使用最相关的块回答问题,并给出来源。当某个限制导致请求失败时,它会重试。
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))当块的数量超过几千个时,请将 NumPy 搜索替换为向量数据库。嵌入和聊天的调用保持不变。
用户经常重复提出相同的问题。FreeLLMAPI 为相同的请求提供可选启用的响应缓存。缓存命中不会占用提供商配额。你可以使用 X-FreeLLM-Cache: on 或 off 标头,为单个请求开启或关闭缓存。使用 temperature=0,使相同的问题产生相同的请求。
添加重排序步骤
向量搜索能找到相似的文本,但排名最高的块未必是最佳答案。重排序步骤会对候选结果重新排序。FreeLLMAPI 文档未说明专用的重排序端点。你可以使用快速的聊天模型作为重排序器。检索 15 个候选结果,并保留最好的 5 个。
使用 auto:fast 进行 LLM 重排序
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]重排序步骤每个问题会增加一个聊天请求。如果你的免费限制很紧,可以跳过此步骤。通常,更好的分块带来的改进比重排序步骤更大。
长上下文:何时无需检索
目前,56 个免费模型提供的上下文窗口为 100 万 token 或更大。如果你的文档较少,可以将全部文档放入提示词中,从而跳过向量索引。这种方式更简单,但每个问题都会发送大量 token。
| 模型 | 免费提供方 | 上下文 | 免费额度(最优惠) | 工具 | 视觉 |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | 否 | 否 |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 请求/分钟 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | 是 | 是 |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 请求/分钟 50 请求/天 Shared rate limit | 是 | 否 |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | 否 | 否 |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | 否 | 否 |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 请求/分钟 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | 否 | 否 |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR 另外 3 个 | 1M | 200 请求/天 200 rpd | 是 | 否 |
显示 10 个(共 35 个匹配的免费模型)。 查看所有模型.
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
- 使用长上下文适用于少量文档、需要完整文本的问题,或单份报告。
- 使用检索适用于大量文档、频繁提问,或免费的每分钟 token 数限制较低的情况。
- 两者结合: 检索 20 个或更多块,并将它们发送给长上下文模型。
在每分钟 token 数限制较低的提供商上,大型提示词可能会失败。随后 FreeLLMAPI 会尝试下一个提供商。要控制哪些模型处理大型提示词,请创建一个仅包含长上下文模型的备用链配置档案。以 auto:<profile> 的形式使用它。
限制与故障排除
| 问题 | 原因 | 解决方法 |
|---|---|---|
| 导入时因 429 而停止 | 该嵌入系列在所有提供商上都已达到限制 | 使用更大的批次,等待 Retry-After,分部分导入 |
| 更改后结果变差 | 索引中包含来自两个系列的向量 | 使用同一系列重新为所有块生成嵌入 |
| 输入长度相关错误 | 某个块超过了该系列的最大输入 | 使用更小的块 |
| 答案忽略了来源 | 模型根据自身知识作答 | 使用 temperature=0 和严格的系统提示词 |
| 生成答案时出现上下文长度错误 | 块的数量过多或过长 | 降低 k,或使用长上下文配置档案 |
| 答案的风格发生变化 | 路由器选择了不同的模型 | 发送 X-Session-Id 标头,或固定一个模型 |
免费层级没有服务等级协议(SLA)。最强的模型会率先达到每日限制,许多限制在 UTC 时间午夜重置。请使用你的备用链实际会用到的模型测试你的流程。
常见问题
是否有用于 RAG 的免费 API?
有。多家提供商提供免费的嵌入和聊天层级。FreeLLMAPI 通过一个兼容 OpenAI 的密钥提供两者,并在提供商之间进行故障转移。
哪个免费嵌入模型最适合 RAG?
选择一个在多个提供商上免费提供、且适合你所用语言的系列。对于多语言文本,bge-m3 是常见的选择。在整个索引中保持使用同一系列。
是否有免费的重排序 API?
FreeLLMAPI 文档未说明重排序端点。你可以如本页所示,使用快速的聊天模型进行重排序,也可以跳过重排序步骤。
如果免费模型的上下文为 100 万 token,我还需要 RAG 吗?
对于少量小型文档,不需要。对于大量文档或频繁提问,检索每个请求发送的 token 更少,并且能保持在免费限制之内。
之后可以更改嵌入模型吗?
可以,但你必须为所有块重新生成嵌入。来自两个模型的向量不兼容,因此不要将它们混合在同一个索引中。
相关指南
- 免费 Embeddings API
- 上下文为 100 万 token 的免费 LLM API
- LlamaIndex 免费 LLM
- LangChain 的免费 LLM API
- Python 中的免费 LLM API
来源
- FreeLLMAPI docs: embeddings (families and failover rules) (检查于 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (检查于 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (检查于 20 November 2026)