Groq రేట్ పరిమితి చేరింది (429)
Groq వేగంగా ఉంటుంది, కాబట్టి ఉచిత Groq కీ త్వరగా తన పరిమితులను చేరుతుంది. అలా జరిగినప్పుడు, Groq HTTP 429 ఇస్తుంది, దానితో పాటు ఏ పరిమితి అని పేర్కొన్న సందేశం ఉంటుంది. ఈ పేజీ ఆ సందేశాన్ని, మోడల్ ప్రకారం ఉచిత పరిమితులను, చదవాల్సిన హెడర్లను, మరియు పని కొనసాగించే విధానాన్ని వివరిస్తుంది.
కోడ్, మోడల్ పేర్లు మరియు ప్రత్యక్ష కేటలాగ్ లేబుల్లు ఇంగ్లీషులోనే చూపబడతాయి.
ఎర్రర్ సందేశాన్ని చదవండి
Groq యొక్క 429 సందేశం మోడల్, organization, service tier, పరిమితి రకం మరియు వేచి ఉండవలసిన సమయాన్ని పేర్కొంటుంది. ఈ ఉదాహరణ ఒక పబ్లిక్ bug report లో పోస్ట్ చేయబడింది:
ఉదాహరణ 429 body వచనం
Rate limit reached for model openai/gpt-oss-120b in organization org_<id>
service tier on_demand on tokens per day (TPD): Limit 200000, Used 193487,
Requested 7464. Please try again in 6m50.832s.| సందేశంలోని పరిమితి | ఏది అయిపోయింది | ఏమి చేయాలి |
|---|---|---|
| నిమిషానికి అభ్యర్థనలు (RPM) | 60 సెకన్లలో చాలా అభ్యర్థనలు | కొన్ని సెకన్లు వేచి ఉండి మళ్లీ ప్రయత్నించండి |
| నిమిషానికి tokens (TPM) | 60 సెకన్లలో చాలా tokens | వేచి ఉండండి, లేదా చిన్న prompts పంపండి |
| రోజుకు అభ్యర్థనలు (RPD) | రోజువారీ అభ్యర్థన కోటా | సందేశంలోని సమయం వేచి ఉండండి, లేదా వేరే మోడల్ ఉపయోగించండి |
| రోజుకు tokens (TPD) | రోజువారీ token కోటా | సందేశంలోని సమయం వేచి ఉండండి, లేదా వేరే మోడల్ ఉపయోగించండి |
మరో ఎర్రర్ HTTP 413, దానితో “Request too large” అని ఉంటుంది. అంటే ఒక అభ్యర్థన మోడల్ యొక్క TPM పరిమితి కంటే పెద్దది. వేచి ఉండటం సహాయపడదు. అభ్యర్థనను చిన్నదిగా చేయండి, లేదా ఎక్కువ TPM పరిమితి ఉన్న మోడల్ను ఉపయోగించండి.
Groq ఉచిత ప్లాన్ పరిమితులు
Groq rate limits ను ప్రతి వినియోగదారు లేదా కీకి కాకుండా organization కు వర్తింపజేస్తుంది. ఈ విలువలు Groq యొక్క rate limits పేజీలోని Free Plan ట్యాబ్ నుండి వచ్చాయి. Cached tokens పరిమితులలో లెక్కించబడవు.
| మోడల్ | RPM | RPD | TPM | TPD |
|---|---|---|---|---|
openai/gpt-oss-120b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-20b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-safeguard-20b | 3 | 1,000 | 2,000 | 200,000 |
qwen/qwen3.8-27b | 30 | 1,000 | 8,000 | 200,000 |
meta-llama/llama-prompt-guard-2-86m | 30 | 14,400 | 15,000 | 500,000 |
whisper-large-v3 | 20 | 2,000 | - | - |
Whisper మోడల్లకు audio పరిమితులు కూడా ఉన్నాయి: గంటకు 7,200 audio సెకన్లు మరియు రోజుకు 28,800. క్రింది పట్టిక FreeLLMAPI కేటలాగ్లోని Groq వరుసలను చూపుతుంది. కేటలాగ్ విలువ మరియు Groq పేజీ వేరుగా ఉంటే, Groq పేజీయే అధికారికం.
| మోడల్ | ఉచితంగా లభ్యం | కాంటెక్స్ట్ | ఉచిత పరిమితులు (ఉత్తమ ఆఫర్) | సాధనాలు | విజన్ |
|---|---|---|---|---|---|
| Qwen3.8 27B | Groq | 262K | 30 అభ్యర్థనలు/నిమిషం 250 అభ్యర్థనలు/రోజు 70,000 టోకెన్లు/నిమిషం ~6M | అవును | అవును |
| GPT-OSS 120B | Groq | 131K | 30 అభ్యర్థనలు/నిమిషం 1,000 అభ్యర్థనలు/రోజు 8,000 టోకెన్లు/నిమిషం 200,000 టోకెన్లు/రోజు ~6M | అవును | లేదు |
| GPT-OSS 20B | Groq | 131K | 30 అభ్యర్థనలు/నిమిషం 1,000 అభ్యర్థనలు/రోజు 8,000 టోకెన్లు/నిమిషం 200,000 టోకెన్లు/రోజు ~6M | అవును | లేదు |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 అభ్యర్థనలు/నిమిషం 1,000 అభ్యర్థనలు/రోజు 8,000 టోకెన్లు/నిమిషం 200,000 టోకెన్లు/రోజు ~6M | అవును | లేదు |
| ALLaM 2 7B | Groq | 4K | 30 అభ్యర్థనలు/నిమిషం 1,000 అభ్యర్థనలు/రోజు 6,000 టోకెన్లు/నిమిషం 500,000 టోకెన్లు/రోజు ~15M | లేదు | లేదు |
| Llama Prompt Guard 2 22M | Groq | 512 | 30 అభ్యర్థనలు/నిమిషం 14,400 అభ్యర్థనలు/రోజు 15,000 టోకెన్లు/నిమిషం 14.4K rpd | లేదు | లేదు |
| Llama Prompt Guard 2 86M | Groq | 512 | 30 అభ్యర్థనలు/నిమిషం 14,400 అభ్యర్థనలు/రోజు 15,000 టోకెన్లు/నిమిషం 14.4K rpd | లేదు | లేదు |
FreeLLMAPI కేటలాగ్ నుండి ప్రత్యక్ష డేటా (వెర్షన్ 2026.11.19, 2026-11-19 న తనిఖీ చేయబడింది). ఉచిత పరిమితులు తరచుగా మారుతాయి. కేటలాగ్ ప్రతి రోజు తనిఖీ చేయబడుతుంది.
rate limit హెడర్లు
ప్రతి Groq response లో rate limit హెడర్లు ఉంటాయి. 429 రాకముందే నెమ్మదించడానికి వాటిని చదవండి.
| హెడర్ | దేన్ని సూచిస్తుంది | అర్థం |
|---|---|---|
x-ratelimit-limit-requests | RPD | రోజుకు అనుమతించబడిన అభ్యర్థనలు |
x-ratelimit-remaining-requests | RPD | ఈ రోజు మిగిలిన అభ్యర్థనలు |
x-ratelimit-reset-requests | RPD | అభ్యర్థన పరిమితి రీసెట్ అయ్యే సమయం, ఉదాహరణకు 2m59.56s |
x-ratelimit-limit-tokens | TPM | నిమిషానికి అనుమతించబడిన tokens |
x-ratelimit-remaining-tokens | TPM | ఈ నిమిషంలో మిగిలిన tokens |
x-ratelimit-reset-tokens | TPM | token పరిమితి రీసెట్ అయ్యే సమయం, ఉదాహరణకు 7.66s |
retry-after | ఏదైనా | వేచి ఉండవలసిన సెకన్లు. మీరు పరిమితిని చేరిన తర్వాత మాత్రమే Groq దానిని సెట్ చేస్తుంది. |
హెడర్లను చూడండి
curl -s -D - -o /dev/null https://api.groq.com/openai/v1/chat/completions \
-H "Authorization: Bearer <groq-key>" \
-H "Content-Type: application/json" \
-d '{"model": "openai/gpt-oss-20b", "messages": [{"role": "user", "content": "hi"}]}' \
| grep -i -E 'x-ratelimit|retry-after'సరిగ్గా మళ్లీ ప్రయత్నించండి
Groq పంపినప్పుడు retry-after ఉపయోగించండి. అది లేకపోతే, cap తో exponential backoff ఉపయోగించండి. రోజువారీ పరిమితులను గట్టి loop లో మళ్లీ ప్రయత్నించవద్దు. ప్రతి retry ఒక కొత్త అభ్యర్థన.
retry-after తో మళ్లీ ప్రయత్నించండి (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.groq.com/openai/v1", api_key="<groq-key>")
def ask(prompt, model="openai/gpt-oss-20b"):
for attempt in range(5):
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError as e:
wait = e.response.headers.get("retry-after")
time.sleep(float(wait) if wait else min(60, 2 ** attempt))
raise RuntimeError("Groq rate limit: retries used up")- సందేశం RPD లేదా TPD ను పేర్కొని, వేచి ఉండాల్సిన సమయం నిమిషాలైతే, వేరే మోడల్ లేదా ప్రొవైడర్కు మారండి.
- Groq నుండి ఎక్కువ పరిమితులు పొందడానికి, Developer టియర్కు అప్గ్రేడ్ చేయండి. దానికి చెల్లింపు పద్ధతి అవసరం.
- HTTP 498 వేరే ఎర్రర్. అంటే flex టియర్ సామర్థ్య పరిమితిని చేరింది.
మీ Groq బడ్జెట్ను ప్లాన్ చేయండి
లెక్కలు చేసినప్పుడు ఉచిత పరిమితులు చిన్నవిగా ఉంటాయి. మీ పని కోసం ఏ పరిమితి ముందుగా మిమ్మల్ని ఆపుతుందో తనిఖీ చేయండి.
- అభ్యర్థనలు: నిమిషానికి 30 అభ్యర్థనలతో, రోజుకు 1,000 అభ్యర్థనలు పూర్తి వేగంతో సుమారు 34 నిమిషాల ఉపయోగం వరకు ఉంటాయి.
- నిమిషానికి tokens: 8,000 TPM ప్రతి నిమిషం సుమారు నాలుగు అభ్యర్థనలను, ఒక్కొక్కటి 2,000 tokens తో అనుమతిస్తుంది. 9,000 tokens ఉన్న ఒక అభ్యర్థన error 413 ఇస్తుంది.
- రోజుకు tokens: 200,000 TPD అంటే 8,000 tokens ఉన్న సుమారు 25 అభ్యర్థనలు. కోడింగ్ ఏజెంట్లు పెద్ద prompts పంపుతాయి, కాబట్టి RPD కంటే ముందు TPD తరచుగా అయిపోతుంది.
- Organization: organization లోని అన్ని కీలు మరియు సభ్యులు ఈ సంఖ్యలను పంచుకుంటారు.
ఏజెంట్ పని కోసం, prompts ను చిన్నగా మరియు స్పష్టంగా ఉంచండి, మరియు పాత సందర్భాన్ని తరచుగా తొలగించండి. వేగవంతమైన, చిన్న calls కోసం Groq ను ఉపయోగించండి. పొడవైన-context calls ను ఎక్కువ token పరిమితి ఉన్న ప్రొవైడర్లకు పంపండి.
Groq నిండినప్పుడు failover చేయండి
FreeLLMAPI మీ కంప్యూటర్లో నడిచే ఒక ఓపెన్-సోర్స్ గేట్వే. ఇది ప్రతి Groq మోడల్ మరియు కీ కోసం RPM, RPD, TPM మరియు TPD కౌంటర్లను ఉంచుతుంది. ప్రతి అభ్యర్థనకు ముందు వాటిని తనిఖీ చేస్తుంది. Groq నిండినప్పుడు, రౌటర్ అభ్యర్థనను తదుపరి ఉచిత ప్రొవైడర్కు పంపుతుంది.
- ఒక నిమిషం పరిమితిపై చిన్న 429 కీని 90 సెకన్ల cooldown లో ఉంచుతుంది.
- రోజువారీ పరిమితిపై 429 ఎక్కువ cooldown ను ఉపయోగిస్తుంది, లేదా Groq retry సమయం ఎక్కువైతే దానిని.
- Groq error body అసలు పరిమితిని పేర్కొన్నప్పుడు, రౌటర్ దానిని సేవ్ చేస్తుంది. ఉదాహరణకు,
Limit 30000, Requested 33476ఉన్న 413 TPM పరిమితిని 30,000 కు సెట్ చేస్తుంది. X-Fallback-Trailహెడర్ విఫలమైన ప్రతి hop ను చూపుతుంది, ఉదాహరణకుgroq/llama-3.3-70b key1=rate_limited.
Groq కు బదులుగా గేట్వేకు కాల్ చేయండి
curl -i http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{"model": "auto:fast", "messages": [{"role": "user", "content": "hi"}]}'auto:fast కొలిచిన అత్యుత్తమ వేగం ఉన్న మోడల్లను ఇష్టపడుతుంది. Groq పరిమితిలో ఉన్నప్పుడు, ఇతర ప్రొవైడర్లు సమాధానం ఇస్తారు. అవి Groq కంటే నెమ్మదిగా ఉండవచ్చు.
తరచుగా అడిగే ప్రశ్నలు
Groq లో “Rate limit reached for model” అంటే ఏమిటి?
మీ organization ఆ మోడల్ కోసం ఒక పరిమితిని పూర్తిగా ఉపయోగించింది. సందేశం పరిమితిని (RPM, RPD, TPM లేదా TPD) మరియు వేచి ఉండవలసిన సమయాన్ని పేర్కొంటుంది.
Groq ఉచిత టియర్ rate limits ఏమిటి?
అవి మోడల్ను బట్టి భిన్నంగా ఉంటాయి. ఉచిత ప్లాన్లో, openai/gpt-oss-120b నిమిషానికి 30 అభ్యర్థనలు, రోజుకు 1,000, నిమిషానికి 8,000 tokens మరియు రోజుకు 200,000 tokens అనుమతిస్తుంది.
నాకు Groq error 413 Request too large ఎందుకు వస్తుంది?
ఒక అభ్యర్థనలో మోడల్ యొక్క TPM పరిమితి కంటే ఎక్కువ tokens ఉన్నాయి. prompt ను చిన్నదిగా చేయండి, లేదా ఎక్కువ TPM పరిమితి ఉన్న మోడల్ను ఉపయోగించండి. వేచి ఉండటం దానిని పరిష్కరించదు.
కొత్త Groq API కీ rate limit ను రీసెట్ చేస్తుందా?
లేదు. Groq పరిమితులను organization కు వర్తింపజేస్తుంది, కాబట్టి అందులోని అన్ని కీలు ఒకే పరిమితులను పంచుకుంటాయి.
నా Groq rate limit ను ఎలా పెంచాలి?
చెల్లింపు పద్ధతితో Developer టియర్కు అప్గ్రేడ్ చేయండి. ఉచితంగా ఉండటానికి, Groq నిండినప్పుడు failover అయ్యే గేట్వే వెనుక ఇతర ప్రొవైడర్లను జోడించండి.
సంబంధిత గైడ్లు
- ఉచిత LLM API రేట్ పరిమితులు
- free groq api
- Gemini API కోటా మించింది (429 RESOURCE_EXHAUSTED)
- NVIDIA NIM API రేట్ పరిమితి
- Groq vs Cerebras
మూలాలు
- GroqCloud: Rate limits (20 November 2026 న తనిఖీ చేయబడింది)
- GroqCloud: Errors (20 November 2026 న తనిఖీ చేయబడింది)
- GroqCloud: Billing FAQs (20 November 2026 న తనిఖీ చేయబడింది)
- Public report of the Groq TPD message (Discourse) (20 November 2026 న తనిఖీ చేయబడింది)
- FreeLLMAPI docs: Quota and cooldown engine (20 November 2026 న తనిఖీ చేయబడింది)
- FreeLLMAPI docs: Response headers (20 November 2026 న తనిఖీ చేయబడింది)