LlamaIndex 免费 LLM
LlamaIndex 有两个类用于兼容 OpenAI 的 API:用于聊天的 OpenAILike,以及用于 embeddings 的 OpenAILikeEmbedding。本指南将两者都指向 FreeLLMAPI。FreeLLMAPI 用一个密钥汇集 45 个免费服务商额度。你将构建检索增强生成(RAG)索引、对其进行查询,并添加一个智能体。代码会处理速率限制。
代码、模型名称和目录中的实时标签以英文显示。
安装相关包
安装 FreeLLMAPI,并在控制台的 Keys 页面添加两个或更多服务商的免费密钥。复制统一密钥。然后安装 LlamaIndex 相关包。
安装
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>不要将普通的 OpenAI 类(来自 llama-index-llms-openai)用于 OpenAI 不认识的模型名称。该类会根据 OpenAI 模型列表检查模型名称和上下文大小。OpenAILike 不做此检查,因此这些值需要你自行设置。
配置 LLM 和 embedding 模型
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True:如果不设置,LlamaIndex 会将请求发送到旧版 completions 端点。
- context_window:LlamaIndex 使用该值来决定有多少检索到的块可以放入提示中。使用
auto时,路由器可能会选择不同的模型。请使用你的备用链中最小的上下文窗口。 - is_function_calling_model=True:仅当你的备用链中包含支持工具调用的模型时才设置该项。
- embed_batch_size:每个批次对应一次请求。批次越大,每分钟使用的请求数越少。
RAG 提示会包含多个检索到的块,因此聊天模型需要为它们留出空间。请为 RAG 创建一个备用链配置,其中包含长上下文模型。然后设置 model="auto:<profile>",并将 context_window 提高到该配置中最小的窗口大小。以下免费模型目前拥有最大的上下文窗口:
| 模型 | 免费提供方 | 上下文 | 免费额度(最优惠) | 工具 | 视觉 |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | 否 | 否 |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 请求/分钟 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | 是 | 是 |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 请求/分钟 50 请求/天 Shared rate limit | 是 | 否 |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | 否 | 否 |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 请求/天 Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | 否 | 否 |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
显示 8 个(共 115 个匹配的免费模型)。 查看所有模型.
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
如需让同一用户始终使用同一个模型,请发送 X-Session-Id 请求头。OpenAILike 接受 default_headers,例如 default_headers={"X-Session-Id": "user-42"}。FreeLLMAPI 会在 30 分钟内让一个会话保持使用同一个模型。这样,同一段聊天中的回答风格保持一致。
构建并查询 RAG 索引
该脚本会从一个文件夹读取文件,生成 embeddings,保存索引,并回答一个问题。首次运行时构建索引。之后的运行会加载已保存的索引,而不会重新为文件生成 embeddings。
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage 并重新构建索引。以下 embedding 模型在今日目录中免费。维度列显示每个系列的向量大小。
| 模型 | 提供方 | 维度 | 最大输入 | 免费额度 |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
使用 FunctionAgent 添加智能体
FunctionAgent 使用工具调用。你可以将查询引擎作为工具提供给它,并添加你自己的 Python 函数。
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())进行智能体工作时,请选择支持工具调用的模型。创建一个只包含这些模型的备用链配置,并将 auto:<profile> 用作模型名称。
| 模型 | 免费提供方 | 上下文 | 免费额度(最优惠) | 工具 | 视觉 |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 请求/分钟 1 req/min per model | 是 | 否 |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 请求/分钟 40 RPM | 是 | 是 |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | 是 | 是 |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | 是 | 否 |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | 是 | 是 |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | 是 | 是 |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 请求/分钟 50 请求/天 50 req/day account-wide (1,000 after a $10 purchase) | 是 | 是 |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 请求/分钟 50 请求/天 Shared rate limit | 是 | 否 |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 请求/分钟 250 请求/天 70,000 令牌/分钟 ~6M | 是 | 是 |
显示 10 个(共 109 个匹配的免费模型)。 查看所有模型.
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
将数据导入控制在免费限制之内
数据导入会在短时间内发送大量 embedding 请求。免费的 embedding 额度限制很低。例如,有些额度每分钟允许 10 次请求,另一些则按每月的调用次数计算。在开始首次导入之前,请先做好规划。
- 使用较大的块。块越少,向量和请求就越少。约 1,024 tokens 的块大小是一个良好的起点。
- 使用批次。将
embed_batch_size设为 16 或更大。这样一次请求就能包含许多块。 - 保存索引。首次运行后持久化索引。不要重复为相同的文件生成 embeddings。
- 保持重试开启。
OpenAILikeEmbedding默认最多重试 10 次。对于长时间的导入任务,请保留该值。 - 分批导入。对于数千个文件,每次导入一个文件夹。
查询的开销低于导入。每次查询使用一次 embedding 请求和一次聊天请求。包含四个 1,024 tokens 块的聊天请求大约发送 5,000 tokens。每分钟 token 限制较低的免费额度可能会拒绝此请求。随后,FreeLLMAPI 会尝试下一个服务商。
故障排除
| 问题 | 原因 | 解决方法 |
|---|---|---|
Unknown model 'auto' | 你使用了 OpenAI 类 | 改用 OpenAILike |
请求被发送到 /v1/completions | 未设置 is_chat_model | 设置 is_chat_model=True |
| 智能体不调用工具 | is_function_calling_model 未开启,或该模型不支持工具调用 | 将其设为 True,并使用支持工具的配置 |
| 导入时出现错误 429 | 该 embedding 系列在所有服务商上都已达到限制 | 使用更大的批次,等待 Retry-After 后再次运行 |
| 更换 embedding 模型后回答质量变差 | 同一索引中混有两个系列的向量 | 删除已保存的索引并重新构建 |
| 上下文长度错误 | context_window 大于作出回答的模型 | 设置更小的值,或使用长上下文配置 |
要查看哪个服务商作出了回答,请使用 FreeLLMAPI 控制台。Analytics 页面会显示每个服务商和模型的请求数、延迟和错误。每个响应还带有 X-Routed-Via 请求头。如果路由器更换了服务商,X-Fallback-Trail 请求头会列出每次失败的尝试及其原因。
常见问题
能否将 LlamaIndex 与免费 LLM 一起使用?
可以。使用 OpenAILike,并将 api_base 设置为兼容 OpenAI 的 URL。FreeLLMAPI 为多个免费服务商额度提供一个 URL。每个额度都有各自的限制。
LlamaIndex 中 OpenAI 与 OpenAILike 有什么区别?
OpenAI 类会根据 OpenAI 模型检查模型名称。OpenAILike 接受任何模型名称。上下文窗口以及聊天和函数调用标志需要你自行设置。
哪个免费 embedding 模型最适合 LlamaIndex?
选择一个有足够免费请求数用于导入的系列,并在整个索引中保持使用。bge-m3 系列在多家服务商上免费提供,因此故障转移可以在它们之间切换。
FunctionAgent 能与免费模型一起使用吗?
可以,前提是该模型支持工具调用,并且你设置了 is_function_calling_model=True。请使用只包含支持工具调用的模型的备用链配置。
构建 LlamaIndex 索引时如何避免速率限制?
使用较大的块,将 embed_batch_size 设为 16 或更大,持久化索引,并分批导入大型文件夹。
相关指南
- 用于 RAG 的免费 LLM API
- 免费 Embeddings API
- LangChain 的免费 LLM API
- Python 中的免费 LLM API
- 上下文为 100 万 token 的免费 LLM API
来源
- LlamaIndex: llama-index-llms-openai-like README (检查于 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (检查于 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (检查于 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (检查于 20 November 2026)