Batas laju Groq tercapai (429)
Groq cepat, jadi kunci Groq gratis cepat mencapai batasnya. Saat itu terjadi, Groq mengembalikan HTTP 429 dengan pesan yang menyebutkan batasnya. Halaman ini menjelaskan pesan tersebut, batas gratis per model, header yang perlu dibaca, dan cara tetap bekerja.
Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.
Baca pesan error
Pesan 429 Groq menyebutkan model, organisasi, tier layanan, jenis batas, dan waktu tunggu. Contoh ini diposting di laporan bug publik:
Contoh isi body 429
Rate limit reached for model openai/gpt-oss-120b in organization org_<id>
service tier on_demand on tokens per day (TPD): Limit 200000, Used 193487,
Requested 7464. Please try again in 6m50.832s.| Batas dalam pesan | Yang habis | Yang harus dilakukan |
|---|---|---|
| permintaan per menit (RPM) | Terlalu banyak permintaan dalam 60 detik | Tunggu beberapa detik lalu coba lagi |
| token per menit (TPM) | Terlalu banyak token dalam 60 detik | Tunggu, atau kirim prompt yang lebih pendek |
| permintaan per hari (RPD) | Kuota permintaan harian | Tunggu sesuai waktu dalam pesan, atau gunakan model lain |
| token per hari (TPD) | Kuota token harian | Tunggu sesuai waktu dalam pesan, atau gunakan model lain |
Error lain adalah HTTP 413 dengan "Request too large". Ini berarti satu permintaan lebih besar dari batas TPM model. Menunggu tidak membantu. Perkecil permintaan, atau gunakan model dengan batas TPM yang lebih tinggi.
Batas paket gratis Groq
Groq menerapkan batas laju pada organisasi, bukan pada setiap pengguna atau kunci. Nilai ini berasal dari tab Free Plan di halaman batas laju Groq. Token yang di-cache tidak dihitung dalam batas.
| Model | RPM | RPD | TPM | TPD |
|---|---|---|---|---|
openai/gpt-oss-120b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-20b | 30 | 1,000 | 8,000 | 200,000 |
openai/gpt-oss-safeguard-20b | 3 | 1,000 | 2,000 | 200,000 |
qwen/qwen3.8-27b | 30 | 1,000 | 8,000 | 200,000 |
meta-llama/llama-prompt-guard-2-86m | 30 | 14,400 | 15,000 | 500,000 |
whisper-large-v3 | 20 | 2,000 | - | - |
Model Whisper juga memiliki batas audio: 7.200 detik audio per jam dan 28.800 per hari. Tabel di bawah menunjukkan baris Groq di katalog FreeLLMAPI. Jika nilai katalog dan halaman Groq berbeda, halaman Groq adalah acuan utama.
| Model | Gratis di | Konteks | Batas gratis (penawaran terbaik) | Alat | Pemrosesan gambar |
|---|---|---|---|---|---|
| Qwen3.8 27B | Groq | 262K | 30 permintaan/menit 250 permintaan/hari 70,000 token/menit ~6M | Ya | Ya |
| GPT-OSS 120B | Groq | 131K | 30 permintaan/menit 1,000 permintaan/hari 8,000 token/menit 200,000 token/hari ~6M | Ya | Tidak |
| GPT-OSS 20B | Groq | 131K | 30 permintaan/menit 1,000 permintaan/hari 8,000 token/menit 200,000 token/hari ~6M | Ya | Tidak |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 permintaan/menit 1,000 permintaan/hari 8,000 token/menit 200,000 token/hari ~6M | Ya | Tidak |
| ALLaM 2 7B | Groq | 4K | 30 permintaan/menit 1,000 permintaan/hari 6,000 token/menit 500,000 token/hari ~15M | Tidak | Tidak |
| Llama Prompt Guard 2 22M | Groq | 512 | 30 permintaan/menit 14,400 permintaan/hari 15,000 token/menit 14.4K rpd | Tidak | Tidak |
| Llama Prompt Guard 2 86M | Groq | 512 | 30 permintaan/menit 14,400 permintaan/hari 15,000 token/menit 14.4K rpd | Tidak | Tidak |
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
Header batas laju
Setiap respons Groq memiliki header batas laju. Baca header tersebut untuk memperlambat sebelum Anda mendapat 429.
| Header | Merujuk ke | Arti |
|---|---|---|
x-ratelimit-limit-requests | RPD | Permintaan yang diizinkan per hari |
x-ratelimit-remaining-requests | RPD | Permintaan yang tersisa hari ini |
x-ratelimit-reset-requests | RPD | Waktu hingga batas permintaan di-reset, misalnya 2m59.56s |
x-ratelimit-limit-tokens | TPM | Token yang diizinkan per menit |
x-ratelimit-remaining-tokens | TPM | Token yang tersisa dalam menit ini |
x-ratelimit-reset-tokens | TPM | Waktu hingga batas token di-reset, misalnya 7.66s |
retry-after | Apa pun | Detik untuk menunggu. Groq hanya mengatur nilai ini setelah Anda mencapai batas. |
Lihat header
curl -s -D - -o /dev/null https://api.groq.com/openai/v1/chat/completions \
-H "Authorization: Bearer <groq-key>" \
-H "Content-Type: application/json" \
-d '{"model": "openai/gpt-oss-20b", "messages": [{"role": "user", "content": "hi"}]}' \
| grep -i -E 'x-ratelimit|retry-after'Coba lagi dengan benar
Gunakan retry-after saat Groq mengirimkannya. Jika tidak ada, gunakan exponential backoff dengan batas maksimum. Jangan mencoba ulang batas harian dalam loop yang rapat. Setiap percobaan ulang adalah permintaan baru.
Coba lagi dengan retry-after (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.groq.com/openai/v1", api_key="<groq-key>")
def ask(prompt, model="openai/gpt-oss-20b"):
for attempt in range(5):
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError as e:
wait = e.response.headers.get("retry-after")
time.sleep(float(wait) if wait else min(60, 2 ** attempt))
raise RuntimeError("Groq rate limit: retries used up")- Jika pesan menyebutkan RPD atau TPD dan waktu tunggunya beberapa menit, ganti ke model atau penyedia lain.
- Untuk mendapatkan batas yang lebih tinggi dari Groq, tingkatkan ke tier Developer. Tier ini memerlukan metode pembayaran.
- HTTP 498 adalah error yang berbeda. Ini berarti tier flex sudah penuh.
Rencanakan anggaran Groq Anda
Batas gratis sangat kecil jika dihitung. Periksa batas mana yang menghentikan Anda lebih dulu untuk beban kerja Anda.
- Permintaan: dengan 30 permintaan per menit, 1.000 permintaan per hari bertahan sekitar 34 menit penggunaan dengan kecepatan penuh.
- Token per menit: 8.000 TPM mengizinkan sekitar empat permintaan berisi 2.000 token setiap menit. Satu permintaan berisi 9.000 token mendapat error 413.
- Token per hari: 200.000 TPD setara sekitar 25 permintaan berisi 8.000 token. Agent coding mengirim prompt besar, sehingga TPD sering habis sebelum RPD.
- Organisasi: semua kunci dan semua anggota organisasi berbagi angka ini.
Untuk pekerjaan agent, jaga prompt tetap singkat dan jelas, dan sering hapus konteks lama. Gunakan Groq untuk panggilan yang cepat dan singkat. Kirim panggilan dengan konteks panjang ke penyedia yang memiliki batas token lebih tinggi.
Failover saat Groq penuh
FreeLLMAPI adalah gateway open source yang berjalan di komputer Anda. Gateway ini menyimpan penghitung RPM, RPD, TPM, dan TPD untuk setiap model dan kunci Groq. Gateway memeriksanya sebelum setiap permintaan. Saat Groq penuh, router mengirim permintaan ke penyedia gratis berikutnya.
- 429 singkat pada batas per menit membuat kunci masuk cooldown 90 detik.
- 429 pada batas harian menggunakan cooldown yang lebih lama, atau waktu retry Groq jika lebih lama.
- Saat isi error Groq menyatakan batas yang sebenarnya, router menyimpannya. Misalnya, 413 dengan
Limit 30000, Requested 33476mengatur batas TPM menjadi 30.000. - Header
X-Fallback-Trailmenunjukkan setiap hop yang gagal, misalnyagroq/llama-3.3-70b key1=rate_limited.
Panggil gateway, bukan Groq secara langsung
curl -i http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{"model": "auto:fast", "messages": [{"role": "user", "content": "hi"}]}'auto:fast memilih model dengan kecepatan terukur terbaik. Saat Groq mencapai batasnya, penyedia lain yang menjawab. Penyedia tersebut dapat lebih lambat daripada Groq.
Pertanyaan yang sering diajukan
Apa arti 'Rate limit reached for model' di Groq?
Organisasi Anda telah menghabiskan seluruh satu batas untuk model tersebut. Pesan menyebutkan batasnya (RPM, RPD, TPM, atau TPD) dan waktu tunggu.
Berapa batas laju tier gratis Groq?
Nilainya berbeda untuk setiap model. Pada paket gratis, openai/gpt-oss-120b mengizinkan 30 permintaan per menit, 1.000 per hari, 8.000 token per menit, dan 200.000 token per hari.
Mengapa saya mendapat error Groq 413 Request too large?
Satu permintaan memiliki lebih banyak token daripada batas TPM model. Perpendek prompt atau gunakan model dengan batas TPM yang lebih tinggi. Menunggu tidak memperbaikinya.
Apakah kunci API Groq baru mengatur ulang batas laju?
Tidak. Groq menerapkan batas pada organisasi, sehingga semua kunci di dalamnya berbagi batas yang sama.
Bagaimana cara menaikkan batas laju Groq saya?
Tingkatkan ke tier Developer dengan metode pembayaran. Untuk tetap gratis, tambahkan penyedia lain di belakang gateway yang melakukan failover saat Groq penuh.
Panduan terkait
- Batas rate limit API LLM gratis
- free groq api
- Kuota Gemini API terlampaui (429 RESOURCE_EXHAUSTED)
- Batas rate limit API NVIDIA NIM
- Groq vs Cerebras
Sumber
- GroqCloud: Rate limits (diperiksa 20 November 2026)
- GroqCloud: Errors (diperiksa 20 November 2026)
- GroqCloud: Billing FAQs (diperiksa 20 November 2026)
- Public report of the Groq TPD message (Discourse) (diperiksa 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (diperiksa 20 November 2026)
- FreeLLMAPI docs: Response headers (diperiksa 20 November 2026)