Batas rate limit API NVIDIA NIM
API Catalog NVIDIA gratis di build.nvidia.com memiliki batas rate limit, bukan saldo kredit. Banyak akun gratis melaporkan batas 40 permintaan per menit. Halaman ini menjelaskan apa yang dikatakan NVIDIA tentang batas tersebut, mengapa permintaan untuk menaikkannya jarang berhasil, dan cara tetap berada di bawah batas.
Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.
Apa yang dikatakan NVIDIA tentang batas
Pada September 2025, seorang staf NVIDIA menulis di forum developer: "We no longer use a credit-based system for build.nvidia.com." Batas rate limit untuk penggunaan trial menggantikan kredit. Balasan yang sama menyatakan bahwa batasnya berbeda untuk setiap model dan NVIDIA tidak mempublikasikannya. Anda dapat melihat batas rate limit maksimum Anda di pojok kanan atas build.nvidia.com.
FAQ NIM menyatakan bahwa jumlah panggilan yang diizinkan dalam satu periode "is designed to serve evaluation and prototyping needs only". Anggota NVIDIA Developer Program mendapat akses gratis ke endpoint NIM API untuk prototipe.
Bisakah batas 40 RPM dinaikkan?
Forum developer NVIDIA memiliki banyak postingan yang meminta 200 RPM atau lebih. Kami tidak menemukan proses resmi yang menaikkan batas untuk akun gratis. Satu balasan di forum menyatakan bahwa NVIDIA tidak dapat menaikkan batas secara manual untuk akun pribadi gratis. Kami tidak dapat memastikan bahwa balasan ini berasal dari staf NVIDIA.
FAQ NIM memberikan pilihan lain untuk kapasitas yang lebih besar:
- Jalankan NIM sendiri di penyedia cloud Anda atau di GPU milik Anda.
- Gunakan API NIM serverless produksi dari mitra, misalnya Hugging Face, dengan harga bayar per penggunaan.
- Mulai trial NVIDIA AI Enterprise 90 hari, yang ditujukan untuk deployment produksi.
Jangan membuat lebih banyak akun NVIDIA untuk mendapat lebih banyak permintaan. Ketentuan trial memungkinkan NVIDIA menetapkan batas penggunaan, dan akses gratis hanya untuk tujuan trial yang terbatas.
| Pilihan | Biaya | Lebih banyak permintaan? |
|---|---|---|
| Minta batas gratis yang lebih tinggi di forum | Gratis | Tidak ditemukan proses resmi |
| Atur ritme permintaan di bawah batas | Gratis | Tidak, tetapi error 429 lebih sedikit |
| Tambahkan penyedia gratis lain dengan failover | Gratis | Ya, dari penyedia lain |
| NIM serverless dari mitra | Bayar per penggunaan | Ya |
| Jalankan NIM sendiri | GPU Anda | Ya |
Yang diizinkan ketentuan trial
Bagian 1.2 dari NVIDIA API Trial Terms memberi akses "for limited trial purposes only". Ketentuan itu mengecualikan penggunaan layanan atau outputnya dalam produksi. Bagian 1.4 menyatakan bahwa tanpa langganan, Anda hanya boleh menggunakan layanan untuk pengujian dan evaluasi internal.
Bagian 3.3 menyatakan bahwa NVIDIA mengumpulkan konten Anda dan konten yang dihasilkan untuk meningkatkan produknya, termasuk model AI. Jangan kirim data pribadi ke layanan trial. Baca penggunaan komersial API LLM gratis untuk penyedia lain.
Model NIM gratis saat ini
Katalog mencantumkan model NVIDIA gratis berikut. Batasnya berlaku per akun, sehingga semua model berbagi permintaan per menit yang sama.
| Model | Gratis di | Konteks | Batas gratis (penawaran terbaik) | Alat | Pemrosesan gambar |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 permintaan/menit 40 RPM | Ya | Tidak |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | Tidak | Tidak |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 permintaan/menit 40 RPM | Ya | Tidak |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 permintaan/menit 40 RPM | Ya | Ya |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 permintaan/menit 40 RPM | Tidak | Tidak |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 permintaan/menit 40 RPM | Ya | Tidak |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 permintaan/menit 40 RPM | Ya | Tidak |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 permintaan/menit 40 RPM | Ya | Tidak |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 permintaan/menit 40 RPM | Tidak | Ya |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 permintaan/menit 40 RPM | Ya | Tidak |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 permintaan/menit 40 RPM | Tidak | Ya |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 permintaan/menit 40 RPM | Tidak | Ya |
Menampilkan 12 dari 19 model gratis yang cocok. Lihat semua model.
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
| Penyedia | Masalah yang diketahui | Yang harus dilakukan |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
Cara tetap di bawah batas
Dengan 40 permintaan per menit, Anda dapat mengirim satu permintaan setiap 1.5 detik secara rata-rata. Serangkaian permintaan paralel mencapai batas dalam hitungan detik. Gunakan aturan berikut:
- Batasi jumlah permintaan paralel di klien Anda. Dua atau tiga sekaligus aman untuk sebagian besar agen.
- Coba lagi setiap 429 dengan exponential backoff dan jitter. Berhenti setelah jumlah percobaan ulang yang tetap.
- Hitung permintaan di semua model. Batasnya untuk akun, bukan untuk setiap model.
- Kirim tugas yang singkat dan sederhana ke penyedia lain. Simpan NVIDIA untuk model besar yang hanya disajikan gratis oleh NVIDIA.
Pengaturan ritme sisi klien sederhana (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")Bagi beban dengan FreeLLMAPI
FreeLLMAPI adalah gateway sumber terbuka yang berjalan di komputer Anda. Gateway memperlakukan NVIDIA sebagai satu kumpulan 40 permintaan per menit untuk seluruh akun. Sebelum mengirim permintaan, gateway memeriksa kumpulan itu. Saat kumpulan penuh, gateway mengirim permintaan ke penyedia gratis berikutnya dalam rantai Anda.
- Batas per menit untuk seluruh akun diatur dengan
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Turunkan nilainya jika akun Anda menampilkan batas yang lebih kecil. - Untuk membatasi permintaan paralel ke NVIDIA, atur
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA. - 429 dari NVIDIA memasukkan kunci ke masa jeda singkat. Router kemudian mencoba penyedia lain.
- Header
X-Routed-Viamenampilkan penyedia yang menjawab setiap permintaan.
~/freellmapi/.env (instalasi Docker)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dInstaller satu baris menyimpan pengaturannya di ~/freellmapi/.env. Tambahkan kedua baris ke file itu, lalu jalankan ulang container. Batas default NVIDIA adalah 40 permintaan per menit. Nilai 0 mematikan gerbang untuk seluruh akun pada penyedia tersebut.
Failover tidak menaikkan batas NVIDIA. Failover menggunakan tier gratis lain, misalnya Groq, Gemini, dan Cloudflare, saat NVIDIA penuh.
Pertanyaan yang sering diajukan
Berapa rate limit API NVIDIA NIM?
NVIDIA tidak mempublikasikan satu angka. Staf menyatakan bahwa batas berbeda untuk setiap model, dan Anda dapat melihat batas Anda di pojok kanan atas build.nvidia.com. Sebagian besar akun gratis melaporkan 40 permintaan per menit.
Bagaimana cara menaikkan rate limit NVIDIA NIM dari 40 RPM?
Kami tidak menemukan proses resmi untuk akun gratis. FAQ NVIDIA menunjuk ke self-hosting, mitra serverless berbayar seperti Hugging Face, atau trial NVIDIA AI Enterprise untuk kapasitas yang lebih besar.
Apakah NVIDIA NIM masih menggunakan kredit?
Tidak. Staf NVIDIA menyatakan pada September 2025 bahwa build.nvidia.com tidak lagi menggunakan kredit. Penggunaan trial kini dikendalikan oleh rate limit.
Bisakah saya menggunakan API NVIDIA gratis untuk produksi?
Tidak. NVIDIA API Trial Terms hanya mengizinkan penggunaan trial terbatas, bukan produksi. Penggunaan produksi memerlukan lisensi NVIDIA AI Enterprise atau penyedia berbayar.
Apakah batas 40 RPM NVIDIA berlaku per model atau per akun?
Pengguna gratis melaporkan satu batas untuk seluruh akun. Rencanakan agar semua model berbagi batas tersebut, dan atur ritme permintaan di setiap model yang Anda panggil.
Panduan terkait
- free nvidia api
- Batas rate limit API LLM gratis
- Batas laju Groq tercapai (429)
- Kuota Gemini API terlampaui (429 RESOURCE_EXHAUSTED)
- Free LLM API untuk penggunaan komersial
Sumber
- NVIDIA developer forum: credit system replaced by rate limits (diperiksa 20 November 2026)
- NVIDIA NIM FAQ (diperiksa 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (diperiksa 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (diperiksa 20 November 2026)
- NVIDIA API Catalog: API reference (diperiksa 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (diperiksa 20 November 2026)