上下文为 100 万 token 的免费 LLM API
长上下文窗口让模型可以在一次请求中读取整本书、大型代码库或数小时的转录文本。FreeLLMAPI 目录中有 56 个免费模型服务的上下文窗口达到 100 万 token 或更多。本指南列出这些模型,并说明免费层级的限制,这些限制决定了你实际能发送多少内容。
代码、模型名称和目录中的实时标签以英文显示。
当前上下文超过 100 万 token 的免费模型
该表格列出上下文窗口至少为 1,000,000 个 token 的免费模型,从大到小排列。数据来自实时目录。请同时查看上下文大小和"Free limits"列。
| 模型 | 免费提供方 | 上下文 | 免费额度(最优惠) | 工具 | 视觉 |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | 否 | 否 |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 请求/分钟 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | 是 | 是 |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 请求/分钟 50 请求/天 Shared rate limit | 是 | 否 |
| DeepSeek V4 Flash 0731 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | 否 | 否 |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | 否 | 否 |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 请求/分钟 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | 否 | 否 |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR 另外 3 个 | 1M | 200 请求/天 200 rpd | 是 | 否 |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| Gemini 3 Flash Preview | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 请求/分钟 5,000 请求/天 500,000 令牌/天 500K tokens/day · 5,000 req/day | 是 | 是 |
| Gemini 2.5 Flash | DreamPrompting, ElectronHub, Google AI Studio | 1M | 100 请求/分钟 5,000 请求/天 500,000 令牌/天 500K tokens/day · 5,000 req/day | 是 | 是 |
| Nemotron 3.5 Lightning | ElectronHub, Gizmo, Kilo Gateway 另外 2 个 | 1M | 20 请求/分钟 50 请求/天 50 req/day account-wide (1,000 after a $10 purchase) | 是 | 否 |
显示 15 个(共 33 个匹配的免费模型)。 查看所有模型.
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
来自 Google AI Studio 的 Gemini Flash 模型是最为人熟知的 100 万 token 免费模型。它们还支持图像和工具调用。其他行来自免费路由器和 NVIDIA。
实际限制:每分钟 token 数
上下文窗口是模型可以读取的最大提示词。免费层级还有每分钟 token 数(TPM)限制。在许多免费层级上,TPM 限制小于上下文窗口。
- 示例: 表格中一个免费 Gemini Flash 密钥允许每分钟 250,000 个 token。一个 800,000 token 的提示词在上下文窗口之内,但超过了 TPM 限制。提供商会返回错误 429。
- 每日请求数: 一些免费 Gemini 模型每天只允许约 20 个请求。请仅将长提示词用于确实需要的任务。
- 输出单独计算: 答案有其自己的最大长度。100 万 token 的上下文并不意味着可以得到 100 万 token 的答案。
因此在实际使用中,一个免费的 100 万上下文模型在一次请求中可能只能读取几十万个 token。发送提示词之前,请先测量其大小。
第 1 步:安装 FreeLLMAPI 并添加密钥
FreeLLMAPI 是开源软件。它在你的电脑上通过 Docker 运行。你的提供商密钥保存在你的电脑上。
安装(macOS 或 Linux)
curl -fsSL https://freellmapi.co/install.sh | bash在 http://localhost:3001 打开仪表板。在 Keys 页面添加一个 Google AI Studio 密钥。也请添加表格中其他提供商的密钥,以便当 Google 返回 429 错误时,路由器有另一个长上下文模型可用。从同一页面复制你的统一密钥。
第 2 步:计算 token 数,然后发送长文档
FreeLLMAPI 提供原生 Gemini countTokens 方法。在发送提示词之前,请使用它测量提示词的大小。
curl:使用原生 Gemini 端点计算 token 数
curl "http://localhost:3001/v1beta/models/gemini-2.5-flash:countTokens" \
-H "x-goog-api-key: <unified-key>" \
-H "Content-Type: application/json" \
-d '{"contents": [{"role": "user", "parts": [{"text": "Paste the long text here"}]}]}'Python:将长文件发送到 100 万上下文的模型
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>", timeout=300)
doc = open("annual-report.txt", encoding="utf-8").read()
print("about", len(doc) // 4, "tokens") # rough rule for English text
resp = client.chat.completions.with_raw_response.create(
model="gemini-2.5-flash", # pin a 1M-context model; "auto" can pick a smaller one
messages=[
{"role": "system", "content": "Answer only from the document. Quote the section you use."},
{"role": "user", "content": doc + "\n\nQuestion: What are the three largest risks?"},
],
max_tokens=4000,
)
print("Routed via:", resp.headers.get("x-routed-via"))
print(resp.parse().choices[0].message.content)通过 ID 固定使用某个长上下文模型。使用 model: "auto" 时,路由器可能会选择上下文窗口较小的模型。请设置较长的客户端超时时间,因为读取大型提示词需要时间。
长上下文还是 RAG?
| 在以下情况使用长上下文 | 在以下情况使用 RAG |
|---|---|
| 文档只需读取一次,例如一份合同或一份报告 | 你要针对同一份大型数据提出许多问题 |
| 答案需要完整文本,例如摘要或各章节的比较 | 答案位于少数几段简短文字中 |
| 文本小于你的免费密钥的 TPM 限制 | 数据超过任何免费上下文窗口或 TPM 限制 |
| 你需要模型看到文本的顺序和结构 | 你需要让每个请求保持小巧快速 |
RAG 每次提问时只发送数据中的相关部分。在免费层级上,它使用的 token 更少。如需设置,请阅读用于 RAG 的免费 LLM API和免费嵌入 API。
注意事项与故障排除
- 细节遗漏: 在非常长的提示词中间,模型可能会遗漏事实。请将问题放在文档之后,并要求模型引用其来源。
- 思考 token: Gemini Flash 模型可能会从输出预算中占用隐藏的思考 token。请勿将
max_tokens设置得过小。 - PDF 文件: FreeLLMAPI 不会转换 PDF、DOCX 或 XLSX 文件。二进制文档附件会返回错误 400。请先提取文本,然后再发送文本。
- 清理文本: 发送文档之前,请删除页眉、页脚和重复的目录。它们会占用 token,却不增加任何事实。
- 重复的提示词: 每个请求都会重新发送完整文档。如有可能,请在一个请求中提出多个问题。
| 问题 | 原因 | 解决方法 |
|---|---|---|
| 第一个长请求出现错误 429 | 提示词超过了 TPM 限制 | 缩小提示词,或使用 RAG |
| 出现与上下文长度相关的错误 400 | 请求被发送到了窗口较小的模型 | 使用表格中的模型 ID 固定模型 |
| 答案为空或被截断 | max_tokens 太小,或被思考过程占用 | 设置更大的 max_tokens |
| 超时 | 模型读取提示词需要时间 | 将客户端超时设置为 300 秒或更长 |
常见问题
是否有上下文为 100 万 token 的免费 LLM API?
有。Google AI Studio 免费层级上的 Gemini Flash 模型,其上下文窗口约为 100 万 token。FreeLLMAPI 目录中有 56 个免费模型服务的上下文为 100 万 token 或更多。
我能否在一次请求中免费发送 100 万个 token?
通常不能。目录中的免费 Gemini 层级允许每分钟 250,000 个 token,因此更大的提示词会返回错误 429。请为每个请求规划几十万个 token。
发送提示词之前,如何计算 token 数?
通过 FreeLLMAPI 在 /v1beta/models/{model}:countTokens 调用原生 Gemini countTokens 方法。对于英文文本,约 4 个字符构成一个 token。
哪个免费 LLM 的上下文窗口最大?
本页的表格按上下文大小对免费模型排序,从大到小排列。有几个免费模型可达到约 100 万 token。另请查看免费限制列,因为 TPM 限制决定了一次请求的实际大小。
长上下文比 RAG 更好吗?
对于只需读取一次的单个文档,长上下文更好。对于基于大型数据的多个问题,RAG 更好,因为它每次发送的 token 更少。
相关指南
- 用于 RAG 的免费 LLM API
- 免费 Embeddings API
- free gemini api
- Gemini API 配额超限(429 RESOURCE_EXHAUSTED)
- 免费 LLM API 速率限制
来源
- FreeLLMAPI docs: Native Gemini API (检查于 20 November 2026)
- FreeLLMAPI docs: Chat completions and routing (检查于 20 November 2026)
- Google AI Studio docs: Thinking (检查于 20 November 2026)
- Gemini Developer API pricing (检查于 20 November 2026)