Groq rate limit पहुंच गई (429)
Groq तेज़ है, इसलिए मुफ़्त Groq key जल्दी अपनी limits तक पहुंचती है। ऐसा होने पर, Groq HTTP 429 लौटाता है, जिसके संदेश में limit का नाम होता है। यह पेज संदेश समझाता है, हर model की मुफ़्त limits, पढ़ने योग्य headers और काम जारी रखने का तरीका बताता है।
कोड, मॉडल नाम और लाइव कैटलॉग लेबल अंग्रेज़ी में दिखाए गए हैं।
Error संदेश पढ़ें
Groq के 429 संदेश में model, organization, service tier, limit का प्रकार और प्रतीक्षा समय होता है। यह उदाहरण एक सार्वजनिक bug report में पोस्ट किया गया था:
उदाहरण 429 body text
Rate limit reached for model openai/gpt-oss-120b in organization org_<id>
service tier on_demand on tokens per day (TPD): Limit 200000, Used 193487,
Requested 7464. Please try again in 6m50.832s.| संदेश में limit | क्या खत्म हुआ | क्या करें |
|---|---|---|
| प्रति मिनट requests (RPM) | 60 सेकंड में बहुत अधिक requests | कुछ सेकंड प्रतीक्षा करें और फिर प्रयास करें |
| प्रति मिनट tokens (TPM) | 60 सेकंड में बहुत अधिक tokens | प्रतीक्षा करें, या छोटे prompts भेजें |
| प्रति दिन requests (RPD) | दैनिक request quota | संदेश में दिया गया समय प्रतीक्षा करें, या कोई दूसरा model उपयोग करें |
| प्रति दिन tokens (TPD) | दैनिक token quota | संदेश में दिया गया समय प्रतीक्षा करें, या कोई दूसरा model उपयोग करें |
एक अलग error HTTP 413 है, जिसमें "Request too large" लिखा होता है। इसका अर्थ है कि एक अनुरोध उस model की TPM limit से बड़ा है। प्रतीक्षा से मदद नहीं मिलती। अनुरोध को छोटा करें, या अधिक TPM limit वाला model उपयोग करें।
Groq मुफ़्त plan की limits
Groq rate limits organization पर लागू करता है, हर उपयोगकर्ता या key पर नहीं। ये मान Groq के rate limits पेज के Free Plan tab से हैं। Cached tokens limits में नहीं गिने जाते।
| Model | RPM | RPD | TPM | TPD |
|---|---|---|---|---|
openai/gpt-oss-120b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-20b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-safeguard-20b | 3 | 1,000 | 2,000 | 200,000 |
qwen/qwen3.8-27b | 30 | 1,000 | 8,000 | 200,000 |
meta-llama/llama-prompt-guard-2-86m | 30 | 14,400 | 15,000 | 500,000 |
whisper-large-v3 | 20 | 2,000 | - | - |
Whisper models की audio limits भी हैं: प्रति घंटा 7,200 audio seconds और प्रति दिन 28,800। नीचे की तालिका FreeLLMAPI catalog में Groq पंक्तियां दिखाती है। यदि catalog का मान और Groq का पेज अलग हैं, तो Groq का पेज अधिकृत है।
| मॉडल | मुफ़्त उपलब्ध | कॉन्टेक्स्ट | मुफ़्त सीमाएँ (सबसे अच्छा विकल्प) | टूल | विज़न |
|---|---|---|---|---|---|
| Qwen3.8 27B | Groq | 262K | 30 अनुरोध/मिनट 250 अनुरोध/दिन 70,000 टोकन/मिनट ~6M | हाँ | हाँ |
| GPT-OSS 120B | Groq | 131K | 30 अनुरोध/मिनट 1,000 अनुरोध/दिन 8,000 टोकन/मिनट 200,000 टोकन/दिन ~6M | हाँ | नहीं |
| GPT-OSS 20B | Groq | 131K | 30 अनुरोध/मिनट 1,000 अनुरोध/दिन 8,000 टोकन/मिनट 200,000 टोकन/दिन ~6M | हाँ | नहीं |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 अनुरोध/मिनट 1,000 अनुरोध/दिन 8,000 टोकन/मिनट 200,000 टोकन/दिन ~6M | हाँ | नहीं |
| ALLaM 2 7B | Groq | 4K | 30 अनुरोध/मिनट 1,000 अनुरोध/दिन 6,000 टोकन/मिनट 500,000 टोकन/दिन ~15M | नहीं | नहीं |
| Llama Prompt Guard 2 22M | Groq | 512 | 30 अनुरोध/मिनट 14,400 अनुरोध/दिन 15,000 टोकन/मिनट 14.4K rpd | नहीं | नहीं |
| Llama Prompt Guard 2 86M | Groq | 512 | 30 अनुरोध/मिनट 14,400 अनुरोध/दिन 15,000 टोकन/मिनट 14.4K rpd | नहीं | नहीं |
FreeLLMAPI कैटलॉग से लाइव डेटा (संस्करण 2026.11.19, जाँच 2026-11-19)। मुफ़्त सीमाएँ अक्सर बदलती हैं। कैटलॉग की हर दिन जाँच होती है।
Rate limit headers
हर Groq response में rate limit headers होते हैं। 429 मिलने से पहले धीमे होने के लिए इन्हें पढ़ें।
| Header | किससे संबंधित | अर्थ |
|---|---|---|
x-ratelimit-limit-requests | RPD (प्रति दिन) | प्रति दिन अनुमत requests |
x-ratelimit-remaining-requests | RPD (प्रति दिन) | आज बची हुई requests |
x-ratelimit-reset-requests | RPD (प्रति दिन) | Request limit reset होने तक का समय, उदाहरण के लिए 2m59.56s |
x-ratelimit-limit-tokens | TPM (प्रति मिनट) | प्रति मिनट अनुमत tokens |
x-ratelimit-remaining-tokens | TPM (प्रति मिनट) | इस मिनट में बचे हुए tokens |
x-ratelimit-reset-tokens | TPM (प्रति मिनट) | Token limit reset होने तक का समय, उदाहरण के लिए 7.66s |
retry-after | कोई भी | प्रतीक्षा के सेकंड। Groq इसे केवल तब सेट करता है जब आप limit तक पहुंचते हैं। |
Headers देखें
curl -s -D - -o /dev/null https://api.groq.com/openai/v1/chat/completions \
-H "Authorization: Bearer <groq-key>" \
-H "Content-Type: application/json" \
-d '{"model": "openai/gpt-oss-20b", "messages": [{"role": "user", "content": "hi"}]}' \
| grep -i -E 'x-ratelimit|retry-after'सही तरीके से retry करें
जब Groq भेजे तो retry-after उपयोग करें। यदि यह न हो, तो सीमा के साथ exponential backoff उपयोग करें। दैनिक limits को तंग loop में retry न करें। हर retry एक नया अनुरोध है।
retry-after के साथ retry करें (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.groq.com/openai/v1", api_key="<groq-key>")
def ask(prompt, model="openai/gpt-oss-20b"):
for attempt in range(5):
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError as e:
wait = e.response.headers.get("retry-after")
time.sleep(float(wait) if wait else min(60, 2 ** attempt))
raise RuntimeError("Groq rate limit: retries used up")- यदि संदेश में RPD या TPD लिखा है और प्रतीक्षा मिनटों की है, तो किसी दूसरे model या provider पर जाएं।
- Groq से उच्च limits पाने के लिए, Developer tier पर अपग्रेड करें। इसके लिए payment method चाहिए।
- HTTP 498 एक अलग error है। इसका अर्थ है कि flex tier क्षमता पर है।
अपने Groq बजट की योजना बनाएं
गणना करने पर मुफ़्त limits छोटी हैं। अपने workload के लिए पहले कौन सी limit आपको रोकती है, यह जांचें।
- Requests: 30 requests प्रति मिनट पर, 1,000 requests प्रति दिन पूरी गति के उपयोग में लगभग 34 मिनट चलती हैं।
- Tokens प्रति मिनट: 8,000 TPM हर मिनट लगभग चार अनुरोध देता है, हर एक 2,000 tokens का। 9,000 tokens वाला एक अनुरोध error 413 लाता है।
- Tokens प्रति दिन: 200,000 TPD लगभग 25 अनुरोध है, हर एक 8,000 tokens का। Coding agents बड़े prompts भेजते हैं, इसलिए TPD अक्सर RPD से पहले खत्म हो जाता है।
- Organization: सभी keys और organization के सभी सदस्य ये संख्याएं साझा करते हैं।
Agent कार्य के लिए prompts छोटे और स्पष्ट रखें, और पुराना context बार-बार साफ़ करें। तेज़, छोटी calls के लिए Groq उपयोग करें। लंबे context वाली calls उच्च token limit वाले providers को भेजें।
Groq भरा होने पर failover करें
FreeLLMAPI एक open-source gateway है जो आपके कंप्यूटर पर चलता है। यह हर Groq model और key के लिए RPM, RPD, TPM और TPD counters रखता है। हर अनुरोध से पहले इनकी जांच करता है। जब Groq भरा होता है, तो router अनुरोध को अगले मुफ़्त provider को भेजता है।
- एक मिनट की limit पर छोटा 429 key को 90 सेकंड के cooldown पर डाल देता है।
- दैनिक limit पर 429 लंबा cooldown उपयोग करता है, या Groq का retry समय, यदि वह अधिक लंबा हो।
- जब Groq error body वास्तविक limit बताती है, तो router उसे सहेजता है। उदाहरण के लिए,
Limit 30000, Requested 33476वाला 413 TPM limit को 30,000 पर सेट करता है। X-Fallback-Trailheader हर विफल hop दिखाता है, उदाहरण के लिएgroq/llama-3.3-70b key1=rate_limited।
Groq के बजाय gateway को call करें
curl -i http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{"model": "auto:fast", "messages": [{"role": "user", "content": "hi"}]}'auto:fast सबसे अच्छी मापी गई गति वाले models को प्राथमिकता देता है। जब Groq अपनी limit पर होता है, तो दूसरे providers उत्तर देते हैं। वे Groq से धीमे हो सकते हैं।
अक्सर पूछे जाने वाले प्रश्न
Groq पर 'Rate limit reached for model' का क्या अर्थ है?
आपकी organization ने उस model के लिए एक limit पूरी तरह उपयोग कर ली है। संदेश limit (RPM, RPD, TPM या TPD) और प्रतीक्षा का समय बताता है।
Groq मुफ़्त tier की rate limits क्या हैं?
ये model के अनुसार अलग हैं। मुफ़्त plan पर openai/gpt-oss-120b प्रति मिनट 30 requests, प्रति दिन 1,000, प्रति मिनट 8,000 tokens और प्रति दिन 200,000 tokens देता है।
मुझे Groq error 413 Request too large क्यों मिलता है?
एक अनुरोध में model की TPM limit से अधिक tokens हैं। Prompt छोटा करें, या अधिक TPM limit वाला model उपयोग करें। प्रतीक्षा इसे ठीक नहीं करती।
क्या नई Groq API key rate limit रीसेट करती है?
नहीं। Groq limits organization पर लागू करता है, इसलिए उसकी सभी keys एक ही limits साझा करती हैं।
मैं अपनी Groq rate limit कैसे बढ़ाऊं?
payment method के साथ Developer tier पर अपग्रेड करें। मुफ़्त रहने के लिए, एक gateway के पीछे दूसरे providers जोड़ें जो Groq भरा होने पर failover करे।
संबंधित गाइड
- मुफ़्त LLM API रेट सीमाएँ
- free groq api
- Gemini API का quota खत्म (429 RESOURCE_EXHAUSTED)
- NVIDIA NIM API रेट सीमा
- Groq बनाम Cerebras
स्रोत
- GroqCloud: Rate limits (जाँचा गया 20 November 2026)
- GroqCloud: Errors (जाँचा गया 20 November 2026)
- GroqCloud: Billing FAQs (जाँचा गया 20 November 2026)
- Public report of the Groq TPD message (Discourse) (जाँचा गया 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (जाँचा गया 20 November 2026)
- FreeLLMAPI docs: Response headers (जाँचा गया 20 November 2026)