首页 / 指南 / 已达到 Groq 速率限制(429)

已达到 Groq 速率限制(429)

Groq 速度很快,因此免费的 Groq 密钥会很快达到其限制。达到限制时,Groq 会返回 HTTP 429,并附带一条指明限制的消息。本页说明该消息的含义、每个模型的免费限制、需要读取的标头,以及如何继续工作。

代码、模型名称和目录中的实时标签以英文显示。

阅读错误消息

Groq 的 429 消息会指明模型、组织、服务层级、限制类型和等待时间。以下示例来自一份公开的错误报告:

429 响应正文示例

Rate limit reached for model openai/gpt-oss-120b in organization org_<id>
service tier on_demand on tokens per day (TPD): Limit 200000, Used 193487,
Requested 7464. Please try again in 6m50.832s.
消息中的限制耗尽的配额应采取的措施
每分钟请求数(RPM)60 秒内请求过多等待几秒后重试
每分钟 token 数(TPM)60 秒内 token 过多等待,或发送更短的提示词
每日请求数(RPD)每日请求配额等待消息中给出的时间,或改用其他模型
每日 token 数(TPD)每日 token 配额等待消息中给出的时间,或改用其他模型

另一种错误是 HTTP 413,并附带 "Request too large"。这表示单个请求超过了该模型的 TPM 限制。等待无济于事。请缩小请求,或改用 TPM 限制更高的模型。

Groq 免费套餐限制

Groq 对组织应用速率限制,而不是对每个用户或每个密钥。以下数值来自 Groq 速率限制页面的 Free Plan 选项卡。缓存的 token 不计入限制。

Groq 免费套餐限制,2026 年 11 月 20 日核对
模型RPMRPDTPMTPD
openai/gpt-oss-120b301,0008,000200,000
openai/gpt-oss-20b301,0008,000200,000
openai/gpt-oss-safeguard-20b31,0002,000200,000
qwen/qwen3.8-27b301,0008,000200,000
meta-llama/llama-prompt-guard-2-86m3014,40015,000500,000
whisper-large-v3202,000--

Whisper 模型还有音频限制:每小时 7,200 音频秒,每天 28,800 音频秒。下表列出了 FreeLLMAPI 目录中的 Groq 条目。如果目录中的数值与 Groq 页面不一致,以 Groq 页面为准。

当前免费目录中的 Groq 模型
模型免费提供方上下文免费额度(最优惠)工具视觉
Qwen3.8 27BGroq262K30 请求/分钟
250 请求/天
70,000 令牌/分钟
~6M
是是
GPT-OSS 120BGroq131K30 请求/分钟
1,000 请求/天
8,000 令牌/分钟
200,000 令牌/天
~6M
是否
GPT-OSS 20BGroq131K30 请求/分钟
1,000 请求/天
8,000 令牌/分钟
200,000 令牌/天
~6M
是否
GPT-OSS Safeguard 20BGroq131K30 请求/分钟
1,000 请求/天
8,000 令牌/分钟
200,000 令牌/天
~6M
是否
ALLaM 2 7BGroq4K30 请求/分钟
1,000 请求/天
6,000 令牌/分钟
500,000 令牌/天
~15M
否否
Llama Prompt Guard 2 22MGroq51230 请求/分钟
14,400 请求/天
15,000 令牌/分钟
14.4K rpd
否否
Llama Prompt Guard 2 86MGroq51230 请求/分钟
14,400 请求/天
15,000 令牌/分钟
14.4K rpd
否否

数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。

速率限制标头

每个 Groq 响应都包含速率限制标头。请读取这些标头,以便在收到 429 之前放慢速度。

标头对应含义
x-ratelimit-limit-requestsRPD每天允许的请求数
x-ratelimit-remaining-requestsRPD今天剩余的请求数
x-ratelimit-reset-requestsRPD请求限制重置前的剩余时间,例如 2m59.56s
x-ratelimit-limit-tokensTPM每分钟允许的 token 数
x-ratelimit-remaining-tokensTPM本分钟剩余的 token 数
x-ratelimit-reset-tokensTPMtoken 限制重置前的剩余时间,例如 7.66s
retry-after任意需要等待的秒数。只有在触达限制后,Groq 才会设置该值。

查看标头

curl -s -D - -o /dev/null https://api.groq.com/openai/v1/chat/completions \
  -H "Authorization: Bearer <groq-key>" \
  -H "Content-Type: application/json" \
  -d '{"model": "openai/gpt-oss-20b", "messages": [{"role": "user", "content": "hi"}]}' \
  | grep -i -E 'x-ratelimit|retry-after'

正确重试

当 Groq 发送 retry-after 时,请使用它。如果没有该标头,请使用设有上限的指数退避。请勿在紧密循环中重试每日限制。每次重试都是一个新请求。

使用 retry-after 重试(Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.groq.com/openai/v1", api_key="<groq-key>")

def ask(prompt, model="openai/gpt-oss-20b"):
    for attempt in range(5):
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError as e:
            wait = e.response.headers.get("retry-after")
            time.sleep(float(wait) if wait else min(60, 2 ** attempt))
    raise RuntimeError("Groq rate limit: retries used up")
  • 如果消息指明的是 RPD 或 TPD,且等待时间为几分钟,请改用其他模型或提供商。
  • 如需从 Groq 获得更高的限制,请升级到 Developer 层级。该层级需要付款方式。
  • HTTP 498 是另一种错误。它表示 flex 层级已满负载。

规划 Groq 用量预算

通过计算可以看出,免费限制很小。请针对您的工作负载,确认哪项限制会先阻止您。

  • 请求数:以每分钟 30 次请求计算,每天 1,000 次请求可满速使用约 34 分钟。
  • 每分钟 token 数:8,000 TPM 允许每分钟约 4 个请求,每个请求 2,000 个 token。一个 9,000 token 的请求会返回错误 413。
  • 每日 token 数:200,000 TPD 约等于 25 个请求,每个请求 8,000 个 token。编程智能体会发送大型提示词,因此 TPD 往往会先于 RPD 耗尽。
  • 组织:组织中的所有密钥和所有成员共享这些数值。

对于智能体工作,请保持提示词简短清晰,并经常清除旧的上下文。请将 Groq 用于快速、简短的调用。将长上下文调用发送给 token 限制更高的提供商。

Groq 满负载时进行故障切换

FreeLLMAPI 是一个在您计算机上运行的开源网关。它会为每个 Groq 模型和密钥保存 RPM、RPD、TPM 和 TPD 计数器,并在每个请求之前进行检查。当 Groq 满负载时,路由器会将请求发送给下一个免费提供商。

  • 分钟级限制触发的短暂 429,会使该密钥进入 90 秒冷却期。
  • 每日限制触发的 429 会使用更长的冷却期,如果 Groq 的重试时间更长,则使用 Groq 的重试时间。
  • 当 Groq 错误正文说明了实际限制时,路由器会保存该限制。例如,带有 Limit 30000, Requested 33476 的 413 会将 TPM 限制设为 30,000。
  • X-Fallback-Trail 标头会显示每个失败的跳转,例如 groq/llama-3.3-70b key1=rate_limited。

调用网关,而非直接调用 Groq

curl -i http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{"model": "auto:fast", "messages": [{"role": "user", "content": "hi"}]}'

auto:fast 会优先选择实测速度最快的模型。当 Groq 达到限制时,其他提供商会进行应答。它们的速度可能比 Groq 慢。

通过一个密钥使用以上每一个模型。 FreeLLMAPI 是一个开源的自托管路由器。它将所有这些免费套餐放在一个兼容 OpenAI 的端点之后,并在某个套餐被限速时自动切换。 浏览目录 或 立即开始.

常见问题

Groq 上的 'Rate limit reached for model' 是什么意思?

您的组织已用尽该模型的某项限制。消息会指明是哪项限制(RPM、RPD、TPM 或 TPD),以及需要等待的时间。

Groq 免费套餐的速率限制是多少?

不同模型的限制各不相同。在免费套餐中,openai/gpt-oss-120b 允许每分钟 30 次请求、每天 1,000 次请求、每分钟 8,000 个 token 以及每天 200,000 个 token。

为什么会出现 Groq 错误 413 Request too large?

一个请求的 token 数超过了该模型的 TPM 限制。请缩短提示词,或改用 TPM 限制更高的模型。等待无法解决此问题。

新的 Groq API 密钥会重置速率限制吗?

不会。Groq 对组织应用限制,因此组织中的所有密钥共享相同的限制。

如何提高我的 Groq 速率限制?

使用付款方式升级到 Developer 层级。如需保持免费,请通过网关添加其他提供商,使其在 Groq 满负载时进行故障切换。

相关指南

来源

全部指南 · 浏览所有免费模型