Groq đạt giới hạn tốc độ (429)
Groq rất nhanh, nên một khóa Groq miễn phí chạm giới hạn rất nhanh. Khi điều đó xảy ra, Groq trả về HTTP 429 kèm một thông báo nêu tên giới hạn. Trang này giải thích thông báo đó, các giới hạn miễn phí theo từng mô hình, các header cần đọc và cách tiếp tục hoạt động.
Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.
Đọc thông báo lỗi
Thông báo 429 của Groq nêu tên mô hình, tổ chức, cấp dịch vụ, loại giới hạn và thời gian chờ. Ví dụ này được đăng trong một báo cáo lỗi công khai:
Nội dung mẫu của phản hồi 429
Rate limit reached for model openai/gpt-oss-120b in organization org_<id>
service tier on_demand on tokens per day (TPD): Limit 200000, Used 193487,
Requested 7464. Please try again in 6m50.832s.| Giới hạn trong thông báo | Hạn mức đã hết | Cần làm gì |
|---|---|---|
| requests per minute (RPM) | Quá nhiều yêu cầu trong 60 giây | Chờ vài giây rồi thử lại |
| tokens per minute (TPM) | Quá nhiều token trong 60 giây | Chờ, hoặc gửi prompt ngắn hơn |
| requests per day (RPD) | Hạn mức yêu cầu hằng ngày | Chờ khoảng thời gian trong thông báo, hoặc dùng mô hình khác |
| tokens per day (TPD) | Hạn mức token hằng ngày | Chờ khoảng thời gian trong thông báo, hoặc dùng mô hình khác |
Một lỗi khác là HTTP 413 với "Request too large". Nó có nghĩa là một yêu cầu lớn hơn giới hạn TPM của mô hình. Chờ không giúp ích. Hãy làm yêu cầu nhỏ hơn, hoặc dùng một mô hình có giới hạn TPM cao hơn.
Giới hạn gói miễn phí của Groq
Groq áp dụng giới hạn tốc độ cho tổ chức, không phải cho từng người dùng hay từng khóa. Các giá trị này lấy từ tab Free Plan trên trang giới hạn tốc độ của Groq. Token trong bộ nhớ đệm không tính vào giới hạn.
| Mô hình | RPM | RPD | TPM | TPD |
|---|---|---|---|---|
openai/gpt-oss-120b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-20b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-safeguard-20b | 3 | 1,000 | 2,000 | 200,000 |
qwen/qwen3.8-27b | 30 | 1,000 | 8,000 | 200,000 |
meta-llama/llama-prompt-guard-2-86m | 30 | 14,400 | 15,000 | 500,000 |
whisper-large-v3 | 20 | 2,000 | - | - |
Các mô hình Whisper cũng có giới hạn âm thanh: 7.200 giây âm thanh mỗi giờ và 28.800 mỗi ngày. Bảng dưới đây hiển thị các dòng Groq trong danh mục FreeLLMAPI. Nếu giá trị trong danh mục và trang của Groq khác nhau, thì trang của Groq là nguồn chuẩn.
| Mô hình | Miễn phí trên | Ngữ cảnh | Giới hạn miễn phí (ưu đãi tốt nhất) | Công cụ | Thị giác |
|---|---|---|---|---|---|
| Qwen3.8 27B | Groq | 262K | 30 yêu cầu/phút 250 yêu cầu/ngày 70,000 token/phút ~6M | Có | Có |
| GPT-OSS 120B | Groq | 131K | 30 yêu cầu/phút 1,000 yêu cầu/ngày 8,000 token/phút 200,000 token/ngày ~6M | Có | Không |
| GPT-OSS 20B | Groq | 131K | 30 yêu cầu/phút 1,000 yêu cầu/ngày 8,000 token/phút 200,000 token/ngày ~6M | Có | Không |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 yêu cầu/phút 1,000 yêu cầu/ngày 8,000 token/phút 200,000 token/ngày ~6M | Có | Không |
| ALLaM 2 7B | Groq | 4K | 30 yêu cầu/phút 1,000 yêu cầu/ngày 6,000 token/phút 500,000 token/ngày ~15M | Không | Không |
| Llama Prompt Guard 2 22M | Groq | 512 | 30 yêu cầu/phút 14,400 yêu cầu/ngày 15,000 token/phút 14.4K rpd | Không | Không |
| Llama Prompt Guard 2 86M | Groq | 512 | 30 yêu cầu/phút 14,400 yêu cầu/ngày 15,000 token/phút 14.4K rpd | Không | Không |
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
Các header giới hạn tốc độ
Mỗi phản hồi của Groq có các header giới hạn tốc độ. Đọc chúng để giảm tốc trước khi bạn nhận được 429.
| Header | Liên quan đến | Ý nghĩa |
|---|---|---|
x-ratelimit-limit-requests | RPD | Số yêu cầu được phép mỗi ngày |
x-ratelimit-remaining-requests | RPD | Số yêu cầu còn lại trong hôm nay |
x-ratelimit-reset-requests | RPD | Thời gian cho đến khi giới hạn yêu cầu được đặt lại, ví dụ 2m59.56s |
x-ratelimit-limit-tokens | TPM | Số token được phép mỗi phút |
x-ratelimit-remaining-tokens | TPM | Số token còn lại trong phút này |
x-ratelimit-reset-tokens | TPM | Thời gian cho đến khi giới hạn token được đặt lại, ví dụ 7.66s |
retry-after | Bất kỳ | Số giây cần chờ. Groq chỉ đặt giá trị này sau khi bạn chạm một giới hạn. |
Xem các header
curl -s -D - -o /dev/null https://api.groq.com/openai/v1/chat/completions \
-H "Authorization: Bearer <groq-key>" \
-H "Content-Type: application/json" \
-d '{"model": "openai/gpt-oss-20b", "messages": [{"role": "user", "content": "hi"}]}' \
| grep -i -E 'x-ratelimit|retry-after'Thử lại đúng cách
Dùng retry-after khi Groq gửi nó. Nếu thiếu, dùng exponential backoff có giới hạn trên. Đừng thử lại giới hạn hằng ngày trong vòng lặp dày đặc. Mỗi lần thử lại là một yêu cầu mới.
Thử lại với retry-after (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.groq.com/openai/v1", api_key="<groq-key>")
def ask(prompt, model="openai/gpt-oss-20b"):
for attempt in range(5):
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError as e:
wait = e.response.headers.get("retry-after")
time.sleep(float(wait) if wait else min(60, 2 ** attempt))
raise RuntimeError("Groq rate limit: retries used up")- Nếu thông báo nêu RPD hoặc TPD và thời gian chờ tính bằng phút, hãy chuyển sang mô hình hoặc nhà cung cấp khác.
- Để có giới hạn cao hơn từ Groq, nâng cấp lên bậc Developer. Bậc này cần phương thức thanh toán.
- HTTP 498 là một lỗi khác. Nó có nghĩa là bậc flex đã đầy.
Lập kế hoạch ngân sách Groq
Các giới hạn miễn phí khá nhỏ khi bạn tính toán. Kiểm tra giới hạn nào dừng bạn trước đối với khối lượng công việc của bạn.
- Yêu cầu: với 30 yêu cầu mỗi phút, 1.000 yêu cầu mỗi ngày kéo dài khoảng 34 phút sử dụng hết tốc độ.
- Token mỗi phút: 8.000 TPM cho phép khoảng bốn yêu cầu 2.000 token mỗi phút. Một yêu cầu 9.000 token nhận lỗi 413.
- Token mỗi ngày: 200.000 TPD tương đương khoảng 25 yêu cầu 8.000 token. Các agent lập trình gửi prompt lớn, nên TPD thường hết trước RPD.
- Tổ chức: mọi khóa và mọi thành viên của tổ chức đều dùng chung các con số này.
Với công việc agent, giữ prompt ngắn và gọn, và thường xuyên xóa ngữ cảnh cũ. Dùng Groq cho các lệnh gọi nhanh, ngắn. Gửi các lệnh gọi ngữ cảnh dài tới nhà cung cấp có giới hạn token cao hơn.
Chuyển dự phòng khi Groq đầy
FreeLLMAPI là một gateway mã nguồn mở chạy trên máy tính của bạn. Nó giữ bộ đếm RPM, RPD, TPM và TPD cho từng mô hình và khóa Groq. Nó kiểm tra các bộ đếm này trước mỗi yêu cầu. Khi Groq đầy, bộ định tuyến gửi yêu cầu tới nhà cung cấp miễn phí tiếp theo.
- Một lỗi 429 ngắn trên giới hạn theo phút đưa khóa vào thời gian nghỉ 90 giây.
- Một lỗi 429 trên giới hạn theo ngày dùng thời gian nghỉ dài hơn, hoặc thời gian thử lại của Groq nếu nó dài hơn.
- Khi nội dung lỗi của Groq nêu giới hạn thực, bộ định tuyến lưu lại giới hạn đó. Ví dụ, lỗi 413 với
Limit 30000, Requested 33476đặt giới hạn TPM thành 30.000. - Header
X-Fallback-Trailcho biết từng bước thất bại, ví dụgroq/llama-3.3-70b key1=rate_limited.
Gọi gateway thay vì Groq
curl -i http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{"model": "auto:fast", "messages": [{"role": "user", "content": "hi"}]}'auto:fast ưu tiên các mô hình có tốc độ đo được tốt nhất. Khi Groq đạt giới hạn, các nhà cung cấp khác trả lời. Họ có thể chậm hơn Groq.
Câu hỏi thường gặp
Thông báo 'Rate limit reached for model' trên Groq có nghĩa là gì?
Tổ chức của bạn đã dùng hết một giới hạn cho mô hình đó. Thông báo nêu tên giới hạn (RPM, RPD, TPM hoặc TPD) và thời gian cần chờ.
Giới hạn tốc độ của gói miễn phí Groq là bao nhiêu?
Chúng khác nhau theo mô hình. Trên gói miễn phí, openai/gpt-oss-120b cho phép 30 yêu cầu mỗi phút, 1.000 mỗi ngày, 8.000 token mỗi phút và 200.000 token mỗi ngày.
Tại sao tôi nhận lỗi 413 Request too large của Groq?
Một yêu cầu có nhiều token hơn giới hạn TPM của mô hình. Làm prompt ngắn hơn, hoặc dùng mô hình có giới hạn TPM cao hơn. Chờ không khắc phục được.
Khóa API Groq mới có đặt lại giới hạn tốc độ không?
Không. Groq áp dụng giới hạn cho tổ chức, nên mọi khóa trong tổ chức đó dùng chung các giới hạn giống nhau.
Làm sao tăng giới hạn tốc độ Groq của tôi?
Nâng cấp lên bậc Developer với phương thức thanh toán. Để tiếp tục miễn phí, thêm các nhà cung cấp khác phía sau một gateway có chuyển dự phòng khi Groq đầy.
Hướng dẫn liên quan
- Giới hạn tốc độ API LLM miễn phí
- free groq api
- Gemini API vượt hạn mức (429 RESOURCE_EXHAUSTED)
- Giới hạn tốc độ API NVIDIA NIM
- Groq so với Cerebras
Nguồn
- GroqCloud: Rate limits (đã kiểm tra 20 November 2026)
- GroqCloud: Errors (đã kiểm tra 20 November 2026)
- GroqCloud: Billing FAQs (đã kiểm tra 20 November 2026)
- Public report of the Groq TPD message (Discourse) (đã kiểm tra 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (đã kiểm tra 20 November 2026)
- FreeLLMAPI docs: Response headers (đã kiểm tra 20 November 2026)