Groq রেট লিমিট পৌঁছেছে (429)
Groq দ্রুত, তাই একটি ফ্রি Groq কী দ্রুত সীমায় পৌঁছায়। পৌঁছালে Groq এমন একটি বার্তাসহ HTTP 429 ফেরত দেয় যাতে সীমার নাম থাকে। এই পেজ বার্তাটি ব্যাখ্যা করে, প্রতি মডেলের ফ্রি সীমা, যে হেডারগুলো পড়তে হয় এবং কীভাবে কাজ চালিয়ে যাওয়া যায় তা দেখায়।
কোড, মডেলের নাম এবং লাইভ ক্যাটালগের লেবেল ইংরেজিতে দেখানো হয়।
ত্রুটি বার্তা পড়ুন
Groq-এর 429 বার্তায় মডেল, সংস্থা, সেবার টিয়ার, সীমার ধরন এবং অপেক্ষার সময়ের নাম থাকে। এই উদাহরণটি একটি পাবলিক বাগ রিপোর্টে পোস্ট করা হয়েছিল:
উদাহরণ 429 বডি টেক্সট
Rate limit reached for model openai/gpt-oss-120b in organization org_<id>
service tier on_demand on tokens per day (TPD): Limit 200000, Used 193487,
Requested 7464. Please try again in 6m50.832s.| বার্তায় সীমা | যা শেষ হয়েছে | কী করবেন |
|---|---|---|
| প্রতি মিনিটে অনুরোধ (RPM) | 60 সেকেন্ডে অনেক বেশি অনুরোধ | কয়েক সেকেন্ড অপেক্ষা করে আবার চেষ্টা করুন |
| প্রতি মিনিটে টোকেন (TPM) | 60 সেকেন্ডে অনেক বেশি টোকেন | অপেক্ষা করুন, অথবা ছোট প্রম্পট পাঠান |
| প্রতিদিনের অনুরোধ (RPD) | দৈনিক অনুরোধের কোটা | বার্তার সময়টুকু অপেক্ষা করুন, অথবা অন্য মডেল ব্যবহার করুন |
| প্রতিদিনের টোকেন (TPD) | দৈনিক টোকেন কোটা | বার্তার সময়টুকু অপেক্ষা করুন, অথবা অন্য মডেল ব্যবহার করুন |
"Request too large" বার্তাসহ একটি ভিন্ন ত্রুটি হলো HTTP 413। এর অর্থ একটি অনুরোধ মডেলের TPM সীমার চেয়ে বড়। অপেক্ষায় কাজ হয় না। অনুরোধ ছোট করুন, অথবা একটি উচ্চ TPM সীমার মডেল ব্যবহার করুন।
Groq ফ্রি প্ল্যানের সীমা
Groq রেট লিমিট প্রয়োগ করে সংস্থার উপর, প্রতি ব্যবহারকারী বা কীর উপর নয়। এই মানগুলো Groq-এর rate limits পেজের Free Plan ট্যাব থেকে নেওয়া। ক্যাশ করা টোকেন সীমায় গণনা হয় না।
| মডেল | RPM | RPD | TPM | TPD |
|---|---|---|---|---|
openai/gpt-oss-120b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-20b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-safeguard-20b | 3 | 1,000 | 2,000 | 200,000 |
qwen/qwen3.8-27b | 30 | 1,000 | 8,000 | 200,000 |
meta-llama/llama-prompt-guard-2-86m | 30 | 14,400 | 15,000 | 500,000 |
whisper-large-v3 | 20 | 2,000 | - | - |
Whisper মডেলেরও অডিও সীমা আছে: প্রতি ঘণ্টায় 7,200 অডিও সেকেন্ড এবং প্রতিদিন 28,800। নিচের টেবিলে FreeLLMAPI ক্যাটালগের Groq সারিগুলো দেখানো হয়েছে। ক্যাটালগের মান ও Groq-এর পেজ আলাদা হলে, Groq-এর পেজই কর্তৃত্বপূর্ণ।
| মডেল | বিনামূল্যে | কনটেক্সট | বিনামূল্যের সীমা (সেরা অফার) | টুল | ভিশন |
|---|---|---|---|---|---|
| Qwen3.8 27B | Groq | 262K | 30 অনুরোধ/মিনিট 250 অনুরোধ/দিন 70,000 টোকেন/মিনিট ~6M | হ্যাঁ | হ্যাঁ |
| GPT-OSS 120B | Groq | 131K | 30 অনুরোধ/মিনিট 1,000 অনুরোধ/দিন 8,000 টোকেন/মিনিট 200,000 টোকেন/দিন ~6M | হ্যাঁ | না |
| GPT-OSS 20B | Groq | 131K | 30 অনুরোধ/মিনিট 1,000 অনুরোধ/দিন 8,000 টোকেন/মিনিট 200,000 টোকেন/দিন ~6M | হ্যাঁ | না |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 অনুরোধ/মিনিট 1,000 অনুরোধ/দিন 8,000 টোকেন/মিনিট 200,000 টোকেন/দিন ~6M | হ্যাঁ | না |
| ALLaM 2 7B | Groq | 4K | 30 অনুরোধ/মিনিট 1,000 অনুরোধ/দিন 6,000 টোকেন/মিনিট 500,000 টোকেন/দিন ~15M | না | না |
| Llama Prompt Guard 2 22M | Groq | 512 | 30 অনুরোধ/মিনিট 14,400 অনুরোধ/দিন 15,000 টোকেন/মিনিট 14.4K rpd | না | না |
| Llama Prompt Guard 2 86M | Groq | 512 | 30 অনুরোধ/মিনিট 14,400 অনুরোধ/দিন 15,000 টোকেন/মিনিট 14.4K rpd | না | না |
FreeLLMAPI ক্যাটালগের লাইভ ডেটা (সংস্করণ 2026.11.19, যাচাই: 2026-11-19)। বিনামূল্যের সীমা প্রায়ই বদলায়। ক্যাটালগ প্রতিদিন যাচাই করা হয়।
রেট লিমিট হেডার
প্রতিটি Groq রেসপন্সে রেট লিমিট হেডার থাকে। 429 পাওয়ার আগে ধীর হতে এগুলো পড়ুন।
| হেডার | কোন সীমা | অর্থ |
|---|---|---|
x-ratelimit-limit-requests | RPD | প্রতিদিন অনুমোদিত অনুরোধ |
x-ratelimit-remaining-requests | RPD | আজ বাকি অনুরোধ |
x-ratelimit-reset-requests | RPD | অনুরোধ সীমা রিসেট হওয়ার সময়, যেমন 2m59.56s |
x-ratelimit-limit-tokens | TPM | প্রতি মিনিটে অনুমোদিত টোকেন |
x-ratelimit-remaining-tokens | TPM | এই মিনিটে বাকি টোকেন |
x-ratelimit-reset-tokens | TPM | টোকেন সীমা রিসেট হওয়ার সময়, যেমন 7.66s |
retry-after | যেকোনো | অপেক্ষা করার সেকেন্ড। আপনি একটি সীমায় পৌঁছানোর পরেই Groq এটি সেট করে। |
হেডারগুলো দেখুন
curl -s -D - -o /dev/null https://api.groq.com/openai/v1/chat/completions \
-H "Authorization: Bearer <groq-key>" \
-H "Content-Type: application/json" \
-d '{"model": "openai/gpt-oss-20b", "messages": [{"role": "user", "content": "hi"}]}' \
| grep -i -E 'x-ratelimit|retry-after'সঠিকভাবে আবার চেষ্টা করুন
Groq পাঠালে retry-after ব্যবহার করুন। না থাকলে একটি সীমাসহ exponential backoff ব্যবহার করুন। দৈনিক সীমা টাইট লুপে আবার চেষ্টা করবেন না। প্রতিটি আবার চেষ্টা একটি নতুন অনুরোধ।
retry-after সহ আবার চেষ্টা করুন (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.groq.com/openai/v1", api_key="<groq-key>")
def ask(prompt, model="openai/gpt-oss-20b"):
for attempt in range(5):
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError as e:
wait = e.response.headers.get("retry-after")
time.sleep(float(wait) if wait else min(60, 2 ** attempt))
raise RuntimeError("Groq rate limit: retries used up")- বার্তায় RPD বা TPD নাম থাকলে এবং অপেক্ষা কয়েক মিনিট হলে, অন্য মডেল বা প্রোভাইডারে যান।
- Groq থেকে বেশি সীমা পেতে Developer টিয়ারে আপগ্রেড করুন। এর জন্য একটি পেমেন্ট পদ্ধতি লাগে।
- HTTP 498 একটি ভিন্ন ত্রুটি। এর অর্থ flex টিয়ার ধারণক্ষমতার সীমায়।
Groq বাজেট পরিকল্পনা করুন
হিসাব করলে ফ্রি সীমা ছোট। আপনার কাজের জন্য কোন সীমা আগে থামায় তা পরীক্ষা করুন।
- অনুরোধ: প্রতি মিনিটে 30 অনুরোধে, প্রতিদিন 1,000 অনুরোধ পূর্ণ গতিতে প্রায় 34 মিনিট চলে।
- প্রতি মিনিটে টোকেন: 8,000 TPM প্রতি মিনিটে প্রায় চারটি 2,000 টোকেনের অনুরোধ দেয়। 9,000 টোকেনের একটি অনুরোধ error 413 পায়।
- প্রতিদিনের টোকেন: 200,000 TPD প্রায় 25টি 8,000 টোকেনের অনুরোধ। কোডিং এজেন্ট বড় প্রম্পট পাঠায়, তাই TPD প্রায়ই RPD-এর আগে শেষ হয়।
- সংস্থা: সব কী ও সংস্থার সব সদস্য এই সংখ্যাগুলো ভাগ করে।
এজেন্টের কাজের জন্য প্রম্পট ছোট ও স্পষ্ট রাখুন, এবং পুরনো কনটেক্সট ঘন ঘন পরিষ্কার করুন। দ্রুত, ছোট কলের জন্য Groq ব্যবহার করুন। দীর্ঘ-কনটেক্সট কলের জন্য বেশি টোকেন সীমার প্রোভাইডারে পাঠান।
Groq ভরা থাকলে ফেইলওভার
FreeLLMAPI একটি ওপেন-সোর্স গেটওয়ে, যা আপনার কম্পিউটারে চলে। এটি প্রতিটি Groq মডেল ও কীর জন্য RPM, RPD, TPM ও TPD কাউন্টার রাখে। প্রতিটি অনুরোধের আগে এগুলো যাচাই করে। Groq ভরা থাকলে রাউটার অনুরোধটি পরবর্তী ফ্রি প্রোভাইডারে পাঠায়।
- প্রতি মিনিটের সীমায় একটি ছোট 429 কীটিকে 90 সেকেন্ডের কুলডাউনে রাখে।
- দৈনিক সীমায় 429 একটি দীর্ঘ কুলডাউন ব্যবহার করে, অথবা Groq-এর রিট্রাই সময় যদি আরও দীর্ঘ হয়, সেটি ব্যবহার করে।
- Groq-এর ত্রুটি বডি প্রকৃত সীমা বললে, রাউটার সেটি সংরক্ষণ করে। উদাহরণস্বরূপ,
Limit 30000, Requested 33476সহ একটি 413 TPM সীমা 30,000-এ সেট করে। X-Fallback-Trailহেডার প্রতিটি ব্যর্থ ধাপ দেখায়, উদাহরণস্বরূপgroq/llama-3.3-70b key1=rate_limited।
Groq-এর বদলে গেটওয়ে কল করুন
curl -i http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{"model": "auto:fast", "messages": [{"role": "user", "content": "hi"}]}'auto:fast মাপা সবচেয়ে ভালো গতির মডেলগুলোকে অগ্রাধিকার দেয়। Groq সীমায় থাকলে অন্য প্রোভাইডার উত্তর দেয়। তারা Groq-এর চেয়ে ধীর হতে পারে।
সাধারণ প্রশ্ন
Groq-এ 'Rate limit reached for model' মানে কী?
আপনার সংস্থা সেই মডেলের একটি সীমা পুরোটাই ব্যবহার করে ফেলেছে। বার্তায় সীমার নাম (RPM, RPD, TPM বা TPD) এবং অপেক্ষার সময় থাকে।
Groq ফ্রি টিয়ারের রেট লিমিট কত?
মডেল অনুযায়ী আলাদা। ফ্রি প্ল্যানে openai/gpt-oss-120b প্রতি মিনিটে 30 অনুরোধ, প্রতিদিন 1,000, প্রতি মিনিটে 8,000 টোকেন এবং প্রতিদিন 200,000 টোকেন অনুমোদন করে।
কেন আমি Groq error 413 Request too large পাই?
একটি অনুরোধে মডেলের TPM সীমার চেয়ে বেশি টোকেন আছে। প্রম্পট ছোট করুন, অথবা উচ্চ TPM সীমার মডেল ব্যবহার করুন। অপেক্ষা করলে এটি ঠিক হয় না।
নতুন Groq API কী কি রেট লিমিট রিসেট করে?
না। Groq সংস্থার উপর সীমা প্রয়োগ করে, তাই তার সব কী একই সীমা ভাগ করে।
কীভাবে আমার Groq রেট লিমিট বাড়াব?
একটি পেমেন্ট পদ্ধতিসহ Developer টিয়ারে আপগ্রেড করুন। ফ্রি থাকতে, একটি গেটওয়ের পিছনে অন্য প্রোভাইডার যোগ করুন যা Groq ভরা থাকলে ফেইলওভার করে।
সম্পর্কিত গাইড
- বিনামূল্যের LLM API রেট লিমিট
- free groq api
- Gemini API কোটা শেষ (429 RESOURCE_EXHAUSTED)
- NVIDIA NIM API রেট লিমিট
- Groq বনাম Cerebras
উৎস
- GroqCloud: Rate limits (যাচাই: 20 November 2026)
- GroqCloud: Errors (যাচাই: 20 November 2026)
- GroqCloud: Billing FAQs (যাচাই: 20 November 2026)
- Public report of the Groq TPD message (Discourse) (যাচাই: 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (যাচাই: 20 November 2026)
- FreeLLMAPI docs: Response headers (যাচাই: 20 November 2026)