已达到 Groq 速率限制(429)
Groq 速度很快,因此免费的 Groq 密钥会很快达到其限制。达到限制时,Groq 会返回 HTTP 429,并附带一条指明限制的消息。本页说明该消息的含义、每个模型的免费限制、需要读取的标头,以及如何继续工作。
代码、模型名称和目录中的实时标签以英文显示。
阅读错误消息
Groq 的 429 消息会指明模型、组织、服务层级、限制类型和等待时间。以下示例来自一份公开的错误报告:
429 响应正文示例
Rate limit reached for model openai/gpt-oss-120b in organization org_<id>
service tier on_demand on tokens per day (TPD): Limit 200000, Used 193487,
Requested 7464. Please try again in 6m50.832s.| 消息中的限制 | 耗尽的配额 | 应采取的措施 |
|---|---|---|
| 每分钟请求数(RPM) | 60 秒内请求过多 | 等待几秒后重试 |
| 每分钟 token 数(TPM) | 60 秒内 token 过多 | 等待,或发送更短的提示词 |
| 每日请求数(RPD) | 每日请求配额 | 等待消息中给出的时间,或改用其他模型 |
| 每日 token 数(TPD) | 每日 token 配额 | 等待消息中给出的时间,或改用其他模型 |
另一种错误是 HTTP 413,并附带 "Request too large"。这表示单个请求超过了该模型的 TPM 限制。等待无济于事。请缩小请求,或改用 TPM 限制更高的模型。
Groq 免费套餐限制
Groq 对组织应用速率限制,而不是对每个用户或每个密钥。以下数值来自 Groq 速率限制页面的 Free Plan 选项卡。缓存的 token 不计入限制。
| 模型 | RPM | RPD | TPM | TPD |
|---|---|---|---|---|
openai/gpt-oss-120b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-20b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-safeguard-20b | 3 | 1,000 | 2,000 | 200,000 |
qwen/qwen3.8-27b | 30 | 1,000 | 8,000 | 200,000 |
meta-llama/llama-prompt-guard-2-86m | 30 | 14,400 | 15,000 | 500,000 |
whisper-large-v3 | 20 | 2,000 | - | - |
Whisper 模型还有音频限制:每小时 7,200 音频秒,每天 28,800 音频秒。下表列出了 FreeLLMAPI 目录中的 Groq 条目。如果目录中的数值与 Groq 页面不一致,以 Groq 页面为准。
| 模型 | 免费提供方 | 上下文 | 免费额度(最优惠) | 工具 | 视觉 |
|---|---|---|---|---|---|
| Qwen3.8 27B | Groq | 262K | 30 请求/分钟 250 请求/天 70,000 令牌/分钟 ~6M | 是 | 是 |
| GPT-OSS 120B | Groq | 131K | 30 请求/分钟 1,000 请求/天 8,000 令牌/分钟 200,000 令牌/天 ~6M | 是 | 否 |
| GPT-OSS 20B | Groq | 131K | 30 请求/分钟 1,000 请求/天 8,000 令牌/分钟 200,000 令牌/天 ~6M | 是 | 否 |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 请求/分钟 1,000 请求/天 8,000 令牌/分钟 200,000 令牌/天 ~6M | 是 | 否 |
| ALLaM 2 7B | Groq | 4K | 30 请求/分钟 1,000 请求/天 6,000 令牌/分钟 500,000 令牌/天 ~15M | 否 | 否 |
| Llama Prompt Guard 2 22M | Groq | 512 | 30 请求/分钟 14,400 请求/天 15,000 令牌/分钟 14.4K rpd | 否 | 否 |
| Llama Prompt Guard 2 86M | Groq | 512 | 30 请求/分钟 14,400 请求/天 15,000 令牌/分钟 14.4K rpd | 否 | 否 |
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
速率限制标头
每个 Groq 响应都包含速率限制标头。请读取这些标头,以便在收到 429 之前放慢速度。
| 标头 | 对应 | 含义 |
|---|---|---|
x-ratelimit-limit-requests | RPD | 每天允许的请求数 |
x-ratelimit-remaining-requests | RPD | 今天剩余的请求数 |
x-ratelimit-reset-requests | RPD | 请求限制重置前的剩余时间,例如 2m59.56s |
x-ratelimit-limit-tokens | TPM | 每分钟允许的 token 数 |
x-ratelimit-remaining-tokens | TPM | 本分钟剩余的 token 数 |
x-ratelimit-reset-tokens | TPM | token 限制重置前的剩余时间,例如 7.66s |
retry-after | 任意 | 需要等待的秒数。只有在触达限制后,Groq 才会设置该值。 |
查看标头
curl -s -D - -o /dev/null https://api.groq.com/openai/v1/chat/completions \
-H "Authorization: Bearer <groq-key>" \
-H "Content-Type: application/json" \
-d '{"model": "openai/gpt-oss-20b", "messages": [{"role": "user", "content": "hi"}]}' \
| grep -i -E 'x-ratelimit|retry-after'正确重试
当 Groq 发送 retry-after 时,请使用它。如果没有该标头,请使用设有上限的指数退避。请勿在紧密循环中重试每日限制。每次重试都是一个新请求。
使用 retry-after 重试(Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.groq.com/openai/v1", api_key="<groq-key>")
def ask(prompt, model="openai/gpt-oss-20b"):
for attempt in range(5):
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError as e:
wait = e.response.headers.get("retry-after")
time.sleep(float(wait) if wait else min(60, 2 ** attempt))
raise RuntimeError("Groq rate limit: retries used up")- 如果消息指明的是 RPD 或 TPD,且等待时间为几分钟,请改用其他模型或提供商。
- 如需从 Groq 获得更高的限制,请升级到 Developer 层级。该层级需要付款方式。
- HTTP 498 是另一种错误。它表示 flex 层级已满负载。
规划 Groq 用量预算
通过计算可以看出,免费限制很小。请针对您的工作负载,确认哪项限制会先阻止您。
- 请求数:以每分钟 30 次请求计算,每天 1,000 次请求可满速使用约 34 分钟。
- 每分钟 token 数:8,000 TPM 允许每分钟约 4 个请求,每个请求 2,000 个 token。一个 9,000 token 的请求会返回错误 413。
- 每日 token 数:200,000 TPD 约等于 25 个请求,每个请求 8,000 个 token。编程智能体会发送大型提示词,因此 TPD 往往会先于 RPD 耗尽。
- 组织:组织中的所有密钥和所有成员共享这些数值。
对于智能体工作,请保持提示词简短清晰,并经常清除旧的上下文。请将 Groq 用于快速、简短的调用。将长上下文调用发送给 token 限制更高的提供商。
Groq 满负载时进行故障切换
FreeLLMAPI 是一个在您计算机上运行的开源网关。它会为每个 Groq 模型和密钥保存 RPM、RPD、TPM 和 TPD 计数器,并在每个请求之前进行检查。当 Groq 满负载时,路由器会将请求发送给下一个免费提供商。
- 分钟级限制触发的短暂 429,会使该密钥进入 90 秒冷却期。
- 每日限制触发的 429 会使用更长的冷却期,如果 Groq 的重试时间更长,则使用 Groq 的重试时间。
- 当 Groq 错误正文说明了实际限制时,路由器会保存该限制。例如,带有
Limit 30000, Requested 33476的 413 会将 TPM 限制设为 30,000。 X-Fallback-Trail标头会显示每个失败的跳转,例如groq/llama-3.3-70b key1=rate_limited。
调用网关,而非直接调用 Groq
curl -i http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{"model": "auto:fast", "messages": [{"role": "user", "content": "hi"}]}'auto:fast 会优先选择实测速度最快的模型。当 Groq 达到限制时,其他提供商会进行应答。它们的速度可能比 Groq 慢。
常见问题
Groq 上的 'Rate limit reached for model' 是什么意思?
您的组织已用尽该模型的某项限制。消息会指明是哪项限制(RPM、RPD、TPM 或 TPD),以及需要等待的时间。
Groq 免费套餐的速率限制是多少?
不同模型的限制各不相同。在免费套餐中,openai/gpt-oss-120b 允许每分钟 30 次请求、每天 1,000 次请求、每分钟 8,000 个 token 以及每天 200,000 个 token。
为什么会出现 Groq 错误 413 Request too large?
一个请求的 token 数超过了该模型的 TPM 限制。请缩短提示词,或改用 TPM 限制更高的模型。等待无法解决此问题。
新的 Groq API 密钥会重置速率限制吗?
不会。Groq 对组织应用限制,因此组织中的所有密钥共享相同的限制。
如何提高我的 Groq 速率限制?
使用付款方式升级到 Developer 层级。如需保持免费,请通过网关添加其他提供商,使其在 Groq 满负载时进行故障切换。
相关指南
- 免费 LLM API 速率限制
- free groq api
- Gemini API 配额超限(429 RESOURCE_EXHAUSTED)
- NVIDIA NIM API 速率限制
- Groq 与 Cerebras 对比
来源
- GroqCloud: Rate limits (检查于 20 November 2026)
- GroqCloud: Errors (检查于 20 November 2026)
- GroqCloud: Billing FAQs (检查于 20 November 2026)
- Public report of the Groq TPD message (Discourse) (检查于 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (检查于 20 November 2026)
- FreeLLMAPI docs: Response headers (检查于 20 November 2026)