Trang chủ / Hướng dẫn / Groq đạt giới hạn tốc độ (429)

Groq đạt giới hạn tốc độ (429)

Groq rất nhanh, nên một khóa Groq miễn phí chạm giới hạn rất nhanh. Khi điều đó xảy ra, Groq trả về HTTP 429 kèm một thông báo nêu tên giới hạn. Trang này giải thích thông báo đó, các giới hạn miễn phí theo từng mô hình, các header cần đọc và cách tiếp tục hoạt động.

Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.

Đọc thông báo lỗi

Thông báo 429 của Groq nêu tên mô hình, tổ chức, cấp dịch vụ, loại giới hạn và thời gian chờ. Ví dụ này được đăng trong một báo cáo lỗi công khai:

Nội dung mẫu của phản hồi 429

Rate limit reached for model openai/gpt-oss-120b in organization org_<id>
service tier on_demand on tokens per day (TPD): Limit 200000, Used 193487,
Requested 7464. Please try again in 6m50.832s.
Giới hạn trong thông báoHạn mức đã hếtCần làm gì
requests per minute (RPM)Quá nhiều yêu cầu trong 60 giâyChờ vài giây rồi thử lại
tokens per minute (TPM)Quá nhiều token trong 60 giâyChờ, hoặc gửi prompt ngắn hơn
requests per day (RPD)Hạn mức yêu cầu hằng ngàyChờ khoảng thời gian trong thông báo, hoặc dùng mô hình khác
tokens per day (TPD)Hạn mức token hằng ngàyChờ khoảng thời gian trong thông báo, hoặc dùng mô hình khác

Một lỗi khác là HTTP 413 với "Request too large". Nó có nghĩa là một yêu cầu lớn hơn giới hạn TPM của mô hình. Chờ không giúp ích. Hãy làm yêu cầu nhỏ hơn, hoặc dùng một mô hình có giới hạn TPM cao hơn.

Giới hạn gói miễn phí của Groq

Groq áp dụng giới hạn tốc độ cho tổ chức, không phải cho từng người dùng hay từng khóa. Các giá trị này lấy từ tab Free Plan trên trang giới hạn tốc độ của Groq. Token trong bộ nhớ đệm không tính vào giới hạn.

Giới hạn Free Plan của Groq, đã kiểm tra ngày 20 tháng 11 năm 2026
Mô hìnhRPMRPDTPMTPD
openai/gpt-oss-120b301,0008,000200,000
openai/gpt-oss-20b301,0008,000200,000
openai/gpt-oss-safeguard-20b31,0002,000200,000
qwen/qwen3.8-27b301,0008,000200,000
meta-llama/llama-prompt-guard-2-86m3014,40015,000500,000
whisper-large-v3202,000--

Các mô hình Whisper cũng có giới hạn âm thanh: 7.200 giây âm thanh mỗi giờ và 28.800 mỗi ngày. Bảng dưới đây hiển thị các dòng Groq trong danh mục FreeLLMAPI. Nếu giá trị trong danh mục và trang của Groq khác nhau, thì trang của Groq là nguồn chuẩn.

Mô hình Groq trong danh mục miễn phí hiện nay
Mô hìnhMiễn phí trênNgữ cảnhGiới hạn miễn phí (ưu đãi tốt nhất)Công cụThị giác
Qwen3.8 27BGroq262K30 yêu cầu/phút
250 yêu cầu/ngày
70,000 token/phút
~6M
CóCó
GPT-OSS 120BGroq131K30 yêu cầu/phút
1,000 yêu cầu/ngày
8,000 token/phút
200,000 token/ngày
~6M
CóKhông
GPT-OSS 20BGroq131K30 yêu cầu/phút
1,000 yêu cầu/ngày
8,000 token/phút
200,000 token/ngày
~6M
CóKhông
GPT-OSS Safeguard 20BGroq131K30 yêu cầu/phút
1,000 yêu cầu/ngày
8,000 token/phút
200,000 token/ngày
~6M
CóKhông
ALLaM 2 7BGroq4K30 yêu cầu/phút
1,000 yêu cầu/ngày
6,000 token/phút
500,000 token/ngày
~15M
KhôngKhông
Llama Prompt Guard 2 22MGroq51230 yêu cầu/phút
14,400 yêu cầu/ngày
15,000 token/phút
14.4K rpd
KhôngKhông
Llama Prompt Guard 2 86MGroq51230 yêu cầu/phút
14,400 yêu cầu/ngày
15,000 token/phút
14.4K rpd
KhôngKhông

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Các header giới hạn tốc độ

Mỗi phản hồi của Groq có các header giới hạn tốc độ. Đọc chúng để giảm tốc trước khi bạn nhận được 429.

HeaderLiên quan đếnÝ nghĩa
x-ratelimit-limit-requestsRPDSố yêu cầu được phép mỗi ngày
x-ratelimit-remaining-requestsRPDSố yêu cầu còn lại trong hôm nay
x-ratelimit-reset-requestsRPDThời gian cho đến khi giới hạn yêu cầu được đặt lại, ví dụ 2m59.56s
x-ratelimit-limit-tokensTPMSố token được phép mỗi phút
x-ratelimit-remaining-tokensTPMSố token còn lại trong phút này
x-ratelimit-reset-tokensTPMThời gian cho đến khi giới hạn token được đặt lại, ví dụ 7.66s
retry-afterBất kỳSố giây cần chờ. Groq chỉ đặt giá trị này sau khi bạn chạm một giới hạn.

Xem các header

curl -s -D - -o /dev/null https://api.groq.com/openai/v1/chat/completions \
  -H "Authorization: Bearer <groq-key>" \
  -H "Content-Type: application/json" \
  -d '{"model": "openai/gpt-oss-20b", "messages": [{"role": "user", "content": "hi"}]}' \
  | grep -i -E 'x-ratelimit|retry-after'

Thử lại đúng cách

Dùng retry-after khi Groq gửi nó. Nếu thiếu, dùng exponential backoff có giới hạn trên. Đừng thử lại giới hạn hằng ngày trong vòng lặp dày đặc. Mỗi lần thử lại là một yêu cầu mới.

Thử lại với retry-after (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.groq.com/openai/v1", api_key="<groq-key>")

def ask(prompt, model="openai/gpt-oss-20b"):
    for attempt in range(5):
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError as e:
            wait = e.response.headers.get("retry-after")
            time.sleep(float(wait) if wait else min(60, 2 ** attempt))
    raise RuntimeError("Groq rate limit: retries used up")
  • Nếu thông báo nêu RPD hoặc TPD và thời gian chờ tính bằng phút, hãy chuyển sang mô hình hoặc nhà cung cấp khác.
  • Để có giới hạn cao hơn từ Groq, nâng cấp lên bậc Developer. Bậc này cần phương thức thanh toán.
  • HTTP 498 là một lỗi khác. Nó có nghĩa là bậc flex đã đầy.

Lập kế hoạch ngân sách Groq

Các giới hạn miễn phí khá nhỏ khi bạn tính toán. Kiểm tra giới hạn nào dừng bạn trước đối với khối lượng công việc của bạn.

  • Yêu cầu: với 30 yêu cầu mỗi phút, 1.000 yêu cầu mỗi ngày kéo dài khoảng 34 phút sử dụng hết tốc độ.
  • Token mỗi phút: 8.000 TPM cho phép khoảng bốn yêu cầu 2.000 token mỗi phút. Một yêu cầu 9.000 token nhận lỗi 413.
  • Token mỗi ngày: 200.000 TPD tương đương khoảng 25 yêu cầu 8.000 token. Các agent lập trình gửi prompt lớn, nên TPD thường hết trước RPD.
  • Tổ chức: mọi khóa và mọi thành viên của tổ chức đều dùng chung các con số này.

Với công việc agent, giữ prompt ngắn và gọn, và thường xuyên xóa ngữ cảnh cũ. Dùng Groq cho các lệnh gọi nhanh, ngắn. Gửi các lệnh gọi ngữ cảnh dài tới nhà cung cấp có giới hạn token cao hơn.

Chuyển dự phòng khi Groq đầy

FreeLLMAPI là một gateway mã nguồn mở chạy trên máy tính của bạn. Nó giữ bộ đếm RPM, RPD, TPM và TPD cho từng mô hình và khóa Groq. Nó kiểm tra các bộ đếm này trước mỗi yêu cầu. Khi Groq đầy, bộ định tuyến gửi yêu cầu tới nhà cung cấp miễn phí tiếp theo.

  • Một lỗi 429 ngắn trên giới hạn theo phút đưa khóa vào thời gian nghỉ 90 giây.
  • Một lỗi 429 trên giới hạn theo ngày dùng thời gian nghỉ dài hơn, hoặc thời gian thử lại của Groq nếu nó dài hơn.
  • Khi nội dung lỗi của Groq nêu giới hạn thực, bộ định tuyến lưu lại giới hạn đó. Ví dụ, lỗi 413 với Limit 30000, Requested 33476 đặt giới hạn TPM thành 30.000.
  • Header X-Fallback-Trail cho biết từng bước thất bại, ví dụ groq/llama-3.3-70b key1=rate_limited.

Gọi gateway thay vì Groq

curl -i http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{"model": "auto:fast", "messages": [{"role": "user", "content": "hi"}]}'

auto:fast ưu tiên các mô hình có tốc độ đo được tốt nhất. Khi Groq đạt giới hạn, các nhà cung cấp khác trả lời. Họ có thể chậm hơn Groq.

Dùng tất cả các mô hình này qua một khóa duy nhất. FreeLLMAPI là bộ định tuyến mã nguồn mở, tự lưu trữ. Nó đặt tất cả các gói miễn phí này sau một endpoint duy nhất tương thích OpenAI, và tự chuyển sang nhà cung cấp khác khi một nhà cung cấp bị giới hạn tốc độ. Xem danh mục hoặc bắt đầu.

Câu hỏi thường gặp

Thông báo 'Rate limit reached for model' trên Groq có nghĩa là gì?

Tổ chức của bạn đã dùng hết một giới hạn cho mô hình đó. Thông báo nêu tên giới hạn (RPM, RPD, TPM hoặc TPD) và thời gian cần chờ.

Giới hạn tốc độ của gói miễn phí Groq là bao nhiêu?

Chúng khác nhau theo mô hình. Trên gói miễn phí, openai/gpt-oss-120b cho phép 30 yêu cầu mỗi phút, 1.000 mỗi ngày, 8.000 token mỗi phút và 200.000 token mỗi ngày.

Tại sao tôi nhận lỗi 413 Request too large của Groq?

Một yêu cầu có nhiều token hơn giới hạn TPM của mô hình. Làm prompt ngắn hơn, hoặc dùng mô hình có giới hạn TPM cao hơn. Chờ không khắc phục được.

Khóa API Groq mới có đặt lại giới hạn tốc độ không?

Không. Groq áp dụng giới hạn cho tổ chức, nên mọi khóa trong tổ chức đó dùng chung các giới hạn giống nhau.

Làm sao tăng giới hạn tốc độ Groq của tôi?

Nâng cấp lên bậc Developer với phương thức thanh toán. Để tiếp tục miễn phí, thêm các nhà cung cấp khác phía sau một gateway có chuyển dự phòng khi Groq đầy.

Hướng dẫn liên quan

Nguồn

Tất cả hướng dẫn · Xem tất cả mô hình miễn phí