首页 / 指南 / 上下文为 100 万 token 的免费 LLM API

上下文为 100 万 token 的免费 LLM API

长上下文窗口让模型可以在一次请求中读取整本书、大型代码库或数小时的转录文本。FreeLLMAPI 目录中有 56 个免费模型服务的上下文窗口达到 100 万 token 或更多。本指南列出这些模型,并说明免费层级的限制,这些限制决定了你实际能发送多少内容。

代码、模型名称和目录中的实时标签以英文显示。

当前上下文超过 100 万 token 的免费模型

该表格列出上下文窗口至少为 1,000,000 个 token 的免费模型,从大到小排列。数据来自实时目录。请同时查看上下文大小和"Free limits"列。

上下文超过 100 万 token 的免费模型,从大到小排列
模型免费提供方上下文免费额度(最优惠)工具视觉
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free credits否否
Gemini 3.8 FlashAPINex, Google AI Studio1M5 请求/分钟
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
是是
Gemini 3.7 FlashGoogle AI Studio1M10 请求/分钟
20 请求/天
250,000 令牌/分钟
~3M
是是
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 请求/分钟
50 请求/天
Shared rate limit
是否
DeepSeek V4 Flash 0731Router91M10,000 credits/month (~$1), shared; account-anniversary reset否否
Gemini 3.6 FlashGoogle AI Studio1M10 请求/分钟
20 请求/天
250,000 令牌/分钟
~3M
是是
GLM 5.2Router91M10,000 credits/month (~$1), shared; account-anniversary reset否否
Gemini 3.5 FlashGoogle AI Studio1M10 请求/分钟
20 请求/天
250,000 令牌/分钟
~3M
是是
DeepSeek V4 ProAPINex, Router91M5 请求/分钟
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
否否
Nemotron 3 Ultra 550BGizmo, Kilo Gateway, LLMTR 另外 3 个1M200 请求/天
200 rpd
是否
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 请求/分钟
20 请求/天
250,000 令牌/分钟
~3M
是是
Gemini 3 Flash PreviewGoogle AI Studio1M10 请求/分钟
20 请求/天
250,000 令牌/分钟
~3M
是是
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 请求/分钟
5,000 请求/天
500,000 令牌/天
500K tokens/day · 5,000 req/day
是是
Gemini 2.5 FlashDreamPrompting, ElectronHub, Google AI Studio1M100 请求/分钟
5,000 请求/天
500,000 令牌/天
500K tokens/day · 5,000 req/day
是是
Nemotron 3.5 LightningElectronHub, Gizmo, Kilo Gateway 另外 2 个1M20 请求/分钟
50 请求/天
50 req/day account-wide (1,000 after a $10 purchase)
是否

显示 15 个(共 33 个匹配的免费模型)。 查看所有模型.

数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。

来自 Google AI Studio 的 Gemini Flash 模型是最为人熟知的 100 万 token 免费模型。它们还支持图像和工具调用。其他行来自免费路由器和 NVIDIA。

实际限制:每分钟 token 数

上下文窗口是模型可以读取的最大提示词。免费层级还有每分钟 token 数(TPM)限制。在许多免费层级上,TPM 限制小于上下文窗口。

  • 示例: 表格中一个免费 Gemini Flash 密钥允许每分钟 250,000 个 token。一个 800,000 token 的提示词在上下文窗口之内,但超过了 TPM 限制。提供商会返回错误 429。
  • 每日请求数: 一些免费 Gemini 模型每天只允许约 20 个请求。请仅将长提示词用于确实需要的任务。
  • 输出单独计算: 答案有其自己的最大长度。100 万 token 的上下文并不意味着可以得到 100 万 token 的答案。

因此在实际使用中,一个免费的 100 万上下文模型在一次请求中可能只能读取几十万个 token。发送提示词之前,请先测量其大小。

第 1 步:安装 FreeLLMAPI 并添加密钥

FreeLLMAPI 是开源软件。它在你的电脑上通过 Docker 运行。你的提供商密钥保存在你的电脑上。

安装(macOS 或 Linux)

curl -fsSL https://freellmapi.co/install.sh | bash

在 http://localhost:3001 打开仪表板。在 Keys 页面添加一个 Google AI Studio 密钥。也请添加表格中其他提供商的密钥,以便当 Google 返回 429 错误时,路由器有另一个长上下文模型可用。从同一页面复制你的统一密钥。

第 2 步:计算 token 数,然后发送长文档

FreeLLMAPI 提供原生 Gemini countTokens 方法。在发送提示词之前,请使用它测量提示词的大小。

curl:使用原生 Gemini 端点计算 token 数

curl "http://localhost:3001/v1beta/models/gemini-2.5-flash:countTokens" \
  -H "x-goog-api-key: <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{"contents": [{"role": "user", "parts": [{"text": "Paste the long text here"}]}]}'

Python:将长文件发送到 100 万上下文的模型

from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>", timeout=300)

doc = open("annual-report.txt", encoding="utf-8").read()
print("about", len(doc) // 4, "tokens")  # rough rule for English text

resp = client.chat.completions.with_raw_response.create(
    model="gemini-2.5-flash",  # pin a 1M-context model; "auto" can pick a smaller one
    messages=[
        {"role": "system", "content": "Answer only from the document. Quote the section you use."},
        {"role": "user", "content": doc + "\n\nQuestion: What are the three largest risks?"},
    ],
    max_tokens=4000,
)
print("Routed via:", resp.headers.get("x-routed-via"))
print(resp.parse().choices[0].message.content)

通过 ID 固定使用某个长上下文模型。使用 model: "auto" 时,路由器可能会选择上下文窗口较小的模型。请设置较长的客户端超时时间,因为读取大型提示词需要时间。

长上下文还是 RAG?

在以下情况使用长上下文在以下情况使用 RAG
文档只需读取一次,例如一份合同或一份报告你要针对同一份大型数据提出许多问题
答案需要完整文本,例如摘要或各章节的比较答案位于少数几段简短文字中
文本小于你的免费密钥的 TPM 限制数据超过任何免费上下文窗口或 TPM 限制
你需要模型看到文本的顺序和结构你需要让每个请求保持小巧快速

RAG 每次提问时只发送数据中的相关部分。在免费层级上,它使用的 token 更少。如需设置,请阅读用于 RAG 的免费 LLM API和免费嵌入 API。

注意事项与故障排除

  • 细节遗漏: 在非常长的提示词中间,模型可能会遗漏事实。请将问题放在文档之后,并要求模型引用其来源。
  • 思考 token: Gemini Flash 模型可能会从输出预算中占用隐藏的思考 token。请勿将 max_tokens 设置得过小。
  • PDF 文件: FreeLLMAPI 不会转换 PDF、DOCX 或 XLSX 文件。二进制文档附件会返回错误 400。请先提取文本,然后再发送文本。
  • 清理文本: 发送文档之前,请删除页眉、页脚和重复的目录。它们会占用 token,却不增加任何事实。
  • 重复的提示词: 每个请求都会重新发送完整文档。如有可能,请在一个请求中提出多个问题。
问题原因解决方法
第一个长请求出现错误 429提示词超过了 TPM 限制缩小提示词,或使用 RAG
出现与上下文长度相关的错误 400请求被发送到了窗口较小的模型使用表格中的模型 ID 固定模型
答案为空或被截断max_tokens 太小,或被思考过程占用设置更大的 max_tokens
超时模型读取提示词需要时间将客户端超时设置为 300 秒或更长
通过一个密钥使用以上每一个模型。 FreeLLMAPI 是一个开源的自托管路由器。它将所有这些免费套餐放在一个兼容 OpenAI 的端点之后,并在某个套餐被限速时自动切换。 浏览目录 或 立即开始.

常见问题

是否有上下文为 100 万 token 的免费 LLM API?

有。Google AI Studio 免费层级上的 Gemini Flash 模型,其上下文窗口约为 100 万 token。FreeLLMAPI 目录中有 56 个免费模型服务的上下文为 100 万 token 或更多。

我能否在一次请求中免费发送 100 万个 token?

通常不能。目录中的免费 Gemini 层级允许每分钟 250,000 个 token,因此更大的提示词会返回错误 429。请为每个请求规划几十万个 token。

发送提示词之前,如何计算 token 数?

通过 FreeLLMAPI 在 /v1beta/models/{model}:countTokens 调用原生 Gemini countTokens 方法。对于英文文本,约 4 个字符构成一个 token。

哪个免费 LLM 的上下文窗口最大?

本页的表格按上下文大小对免费模型排序,从大到小排列。有几个免费模型可达到约 100 万 token。另请查看免费限制列,因为 TPM 限制决定了一次请求的实际大小。

长上下文比 RAG 更好吗?

对于只需读取一次的单个文档,长上下文更好。对于基于大型数据的多个问题,RAG 更好,因为它每次发送的 token 更少。

相关指南

来源

全部指南 · 浏览所有免费模型