NVIDIA NIM API 速率限制
build.nvidia.com 上的免费 NVIDIA API Catalog 有速率限制,而不是积分余额。许多免费账户显示的上限为每分钟 40 个请求。本页说明 NVIDIA 对该限制的说明、为何提高限制的请求很少成功,以及如何保持在限制之内。
代码、模型名称和目录中的实时标签以英文显示。
NVIDIA 对该限制的说明
2025 年 9 月,一位 NVIDIA 工作人员在开发者论坛上写道:"我们不再对 build.nvidia.com 使用基于积分的系统。"试用用量的速率限制取代了积分。同一回复还称,限制因模型而异,且 NVIDIA 不公布这些限制。你可以在 build.nvidia.com 的右上角查看你的最大速率限制。
NIM 常见问题称,一个时段内允许的调用次数"仅用于满足评估和原型开发需求"。NVIDIA 开发者计划的成员可以免费访问 NIM API 端点,用于原型开发。
能否提高每分钟 40 个请求的限制?
NVIDIA 开发者论坛上有许多帖子请求提高到每分钟 200 个请求或更多。我们没有找到可为免费账户提高限制的官方流程。论坛上的一条回复称,NVIDIA 无法手动提高免费个人账户的限制。我们无法确认该回复出自 NVIDIA 工作人员。
NIM 常见问题提供了其他增加容量的方法:
- 在你的云提供商或你自己的 GPU 上自行托管 NIM。
- 使用合作伙伴提供的生产级无服务器 NIM API,例如 Hugging Face,按使用量付费。
- 开始 90 天的 NVIDIA AI Enterprise 试用,该试用面向生产部署。
不要为获得更多请求而注册更多 NVIDIA 账户。试用条款允许 NVIDIA 设置使用限制,并且免费访问仅限于有限的试用目的。
| 选项 | 成本 | 能否获得更多请求? |
|---|---|---|
| 在论坛上申请更高的免费限制 | 免费 | 未找到官方流程 |
| 将请求速率控制在限制之内 | 免费 | 不能,但 429 错误会减少 |
| 添加其他带故障转移的免费提供商 | 免费 | 能,来自其他提供商 |
| 合作伙伴提供的无服务器 NIM | 按使用量付费 | 能 |
| 自托管 NIM | 你自己的 GPU | 能 |
试用条款允许的范围
NVIDIA API 试用条款第 1.2 节授予的访问权限"仅限有限的试用目的"。它排除在生产环境中使用该服务或其输出。第 1.4 节规定,若没有订阅,你只能将该服务用于内部测试和评估。
第 3.3 节规定,NVIDIA 会收集你的内容和生成的内容,以改进其产品,包括 AI 模型。请勿向试用服务发送私人数据。关于其他提供商的信息,请阅读免费 LLM API 商业用途。
当前可用的免费 NIM 模型
目录中列出了以下免费 NVIDIA 模型。该限制按账户计算,因此所有模型共享同一每分钟请求数。
| 模型 | 免费提供方 | 上下文 | 免费额度(最优惠) | 工具 | 视觉 |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 请求/分钟 40 RPM | 是 | 否 |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | 否 | 否 |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 请求/分钟 40 RPM | 是 | 否 |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 请求/分钟 40 RPM | 是 | 是 |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 请求/分钟 40 RPM | 否 | 否 |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 请求/分钟 40 RPM | 是 | 否 |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 请求/分钟 40 RPM | 是 | 否 |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 请求/分钟 40 RPM | 是 | 否 |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 请求/分钟 40 RPM | 否 | 是 |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 请求/分钟 40 RPM | 是 | 否 |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 请求/分钟 40 RPM | 否 | 是 |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 请求/分钟 40 RPM | 否 | 是 |
显示 12 个(共 19 个匹配的免费模型)。 查看所有模型.
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
| 提供方 | 已知问题 | 处理方法 |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
如何保持在限制之内
以每分钟 40 个请求计算,平均每 1.5 秒可以发送一个请求。一次性发送大量并行请求会在几秒内达到限制。请遵循以下规则:
- 限制客户端中的并行请求数量。对大多数智能体而言,同时两到三个是安全的。
- 对每个 429 错误使用带抖动的指数退避进行重试。在固定次数的重试后停止。
- 统计所有模型的请求总数。该限制针对账户,而非每个模型。
- 将简短、简单的任务发送到其他提供商。将 NVIDIA 保留给仅 NVIDIA 免费提供的大型模型。
简单的客户端节流(Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")使用 FreeLLMAPI 分散负载
FreeLLMAPI 是一个在你的电脑上运行的开源网关。它将 NVIDIA 视为整个账户的一个每分钟 40 个请求的池。在发送请求之前,它会检查该池。当该池已满时,它会将请求发送到你的链中的下一个免费提供商。
- 账户级别的每分钟上限通过
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA设置。如果你的账户显示的限制较小,请将其调低。 - 要限制发送到 NVIDIA 的并行请求数,请设置
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA。 - 来自 NVIDIA 的 429 错误会使该密钥进入短暂的冷却期。随后,路由器会尝试其他提供商。
X-Routed-Via标头显示每个请求由哪个提供商作答。
~/freellmapi/.env(Docker 安装)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -d一行安装程序会将其设置保存在 ~/freellmapi/.env 中。将这两行添加到该文件中,然后重新启动容器。NVIDIA 的默认上限为每分钟 40 个请求。值为 0 时,会关闭该提供商的账户级别限流。
故障转移不会提高 NVIDIA 的限制。当 NVIDIA 已满时,它会使用其他免费层级,例如 Groq、Gemini 和 Cloudflare。
常见问题
NVIDIA NIM API 的速率限制是多少?
NVIDIA 没有公布单一数值。工作人员表示,限制因模型而异,你可以在 build.nvidia.com 的右上角查看你的限制。大多数免费账户显示每分钟 40 个请求。
如何将 NVIDIA NIM 的速率限制从每分钟 40 个请求提高?
我们没有找到适用于免费账户的官方流程。NVIDIA 的常见问题指出,若要获得更多容量,可以选择自托管、付费的合作伙伴无服务器服务(例如 Hugging Face),或 NVIDIA AI Enterprise 试用。
NVIDIA NIM 仍然使用积分吗?
不再使用。NVIDIA 工作人员在 2025 年 9 月表示,build.nvidia.com 不再使用积分。现在试用用量由速率限制控制。
我能否在生产环境中使用免费的 NVIDIA API?
不能。NVIDIA API 试用条款仅允许有限的试用用途,不允许用于生产。生产用途需要 NVIDIA AI Enterprise 许可证或付费提供商。
NVIDIA 的每分钟 40 个请求限制是按模型还是按账户计算的?
免费用户报告的是整个账户共享的一个限制。请假设所有模型共享该限制,并对你调用的每个模型的请求进行节流。
相关指南
- free nvidia api
- 免费 LLM API 速率限制
- 已达到 Groq 速率限制(429)
- Gemini API 配额超限(429 RESOURCE_EXHAUSTED)
- 免费 LLM API 的商业用途
来源
- NVIDIA developer forum: credit system replaced by rate limits (检查于 20 November 2026)
- NVIDIA NIM FAQ (检查于 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (检查于 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (检查于 20 November 2026)
- NVIDIA API Catalog: API reference (检查于 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (检查于 20 November 2026)