Beranda / Panduan / Batas rate limit API NVIDIA NIM

Batas rate limit API NVIDIA NIM

API Catalog NVIDIA gratis di build.nvidia.com memiliki batas rate limit, bukan saldo kredit. Banyak akun gratis melaporkan batas 40 permintaan per menit. Halaman ini menjelaskan apa yang dikatakan NVIDIA tentang batas tersebut, mengapa permintaan untuk menaikkannya jarang berhasil, dan cara tetap berada di bawah batas.

Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.

Apa yang dikatakan NVIDIA tentang batas

Pada September 2025, seorang staf NVIDIA menulis di forum developer: "We no longer use a credit-based system for build.nvidia.com." Batas rate limit untuk penggunaan trial menggantikan kredit. Balasan yang sama menyatakan bahwa batasnya berbeda untuk setiap model dan NVIDIA tidak mempublikasikannya. Anda dapat melihat batas rate limit maksimum Anda di pojok kanan atas build.nvidia.com.

FAQ NIM menyatakan bahwa jumlah panggilan yang diizinkan dalam satu periode "is designed to serve evaluation and prototyping needs only". Anggota NVIDIA Developer Program mendapat akses gratis ke endpoint NIM API untuk prototipe.

Tentang nilai 40 RPM: 40 permintaan per menit adalah nilai yang paling sering dilaporkan oleh akun gratis di forum NVIDIA. Nilai ini tidak ada di halaman resmi NVIDIA mana pun. Periksa akun Anda untuk batas yang sebenarnya.

Bisakah batas 40 RPM dinaikkan?

Forum developer NVIDIA memiliki banyak postingan yang meminta 200 RPM atau lebih. Kami tidak menemukan proses resmi yang menaikkan batas untuk akun gratis. Satu balasan di forum menyatakan bahwa NVIDIA tidak dapat menaikkan batas secara manual untuk akun pribadi gratis. Kami tidak dapat memastikan bahwa balasan ini berasal dari staf NVIDIA.

FAQ NIM memberikan pilihan lain untuk kapasitas yang lebih besar:

  • Jalankan NIM sendiri di penyedia cloud Anda atau di GPU milik Anda.
  • Gunakan API NIM serverless produksi dari mitra, misalnya Hugging Face, dengan harga bayar per penggunaan.
  • Mulai trial NVIDIA AI Enterprise 90 hari, yang ditujukan untuk deployment produksi.

Jangan membuat lebih banyak akun NVIDIA untuk mendapat lebih banyak permintaan. Ketentuan trial memungkinkan NVIDIA menetapkan batas penggunaan, dan akses gratis hanya untuk tujuan trial yang terbatas.

Cara mendapat throughput lebih banyak
PilihanBiayaLebih banyak permintaan?
Minta batas gratis yang lebih tinggi di forumGratisTidak ditemukan proses resmi
Atur ritme permintaan di bawah batasGratisTidak, tetapi error 429 lebih sedikit
Tambahkan penyedia gratis lain dengan failoverGratisYa, dari penyedia lain
NIM serverless dari mitraBayar per penggunaanYa
Jalankan NIM sendiriGPU AndaYa

Yang diizinkan ketentuan trial

Bagian 1.2 dari NVIDIA API Trial Terms memberi akses "for limited trial purposes only". Ketentuan itu mengecualikan penggunaan layanan atau outputnya dalam produksi. Bagian 1.4 menyatakan bahwa tanpa langganan, Anda hanya boleh menggunakan layanan untuk pengujian dan evaluasi internal.

Bagian 3.3 menyatakan bahwa NVIDIA mengumpulkan konten Anda dan konten yang dihasilkan untuk meningkatkan produknya, termasuk model AI. Jangan kirim data pribadi ke layanan trial. Baca penggunaan komersial API LLM gratis untuk penyedia lain.

Model NIM gratis saat ini

Katalog mencantumkan model NVIDIA gratis berikut. Batasnya berlaku per akun, sehingga semua model berbagi permintaan per menit yang sama.

Model NVIDIA NIM gratis dalam katalog saat ini
ModelGratis diKonteksBatas gratis (penawaran terbaik)AlatPemrosesan gambar
GLM 5.3 FlashNVIDIA NIM1M40 permintaan/menit
40 RPM
YaTidak
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingTidakTidak
Nemotron-3 Ultra 550BNVIDIA NIM1M40 permintaan/menit
40 RPM
YaTidak
Muse Glimmer 30BNVIDIA NIM131K40 permintaan/menit
40 RPM
YaYa
Gemma 4 31BNVIDIA NIM262K40 permintaan/menit
40 RPM
TidakTidak
Poolside Laguna XS 2.1NVIDIA NIM262K40 permintaan/menit
40 RPM
YaTidak
Nemotron 3 Super 120BNVIDIA NIM262K40 permintaan/menit
40 RPM
YaTidak
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 permintaan/menit
40 RPM
YaTidak
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 permintaan/menit
40 RPM
TidakYa
GPT-OSS 20BNVIDIA NIM131K40 permintaan/menit
40 RPM
YaTidak
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 permintaan/menit
40 RPM
TidakYa
Ising Calibration 1.5 31BNVIDIA NIM131K40 permintaan/menit
40 RPM
TidakYa

Menampilkan 12 dari 19 model gratis yang cocok. Lihat semua model.

Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.

PenyediaMasalah yang diketahuiYang harus dilakukan
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.

Cara tetap di bawah batas

Dengan 40 permintaan per menit, Anda dapat mengirim satu permintaan setiap 1.5 detik secara rata-rata. Serangkaian permintaan paralel mencapai batas dalam hitungan detik. Gunakan aturan berikut:

  1. Batasi jumlah permintaan paralel di klien Anda. Dua atau tiga sekaligus aman untuk sebagian besar agen.
  2. Coba lagi setiap 429 dengan exponential backoff dan jitter. Berhenti setelah jumlah percobaan ulang yang tetap.
  3. Hitung permintaan di semua model. Batasnya untuk akun, bukan untuk setiap model.
  4. Kirim tugas yang singkat dan sederhana ke penyedia lain. Simpan NVIDIA untuk model besar yang hanya disajikan gratis oleh NVIDIA.

Pengaturan ritme sisi klien sederhana (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

Bagi beban dengan FreeLLMAPI

FreeLLMAPI adalah gateway sumber terbuka yang berjalan di komputer Anda. Gateway memperlakukan NVIDIA sebagai satu kumpulan 40 permintaan per menit untuk seluruh akun. Sebelum mengirim permintaan, gateway memeriksa kumpulan itu. Saat kumpulan penuh, gateway mengirim permintaan ke penyedia gratis berikutnya dalam rantai Anda.

  • Batas per menit untuk seluruh akun diatur dengan PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Turunkan nilainya jika akun Anda menampilkan batas yang lebih kecil.
  • Untuk membatasi permintaan paralel ke NVIDIA, atur MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA.
  • 429 dari NVIDIA memasukkan kunci ke masa jeda singkat. Router kemudian mencoba penyedia lain.
  • Header X-Routed-Via menampilkan penyedia yang menjawab setiap permintaan.

~/freellmapi/.env (instalasi Docker)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

Installer satu baris menyimpan pengaturannya di ~/freellmapi/.env. Tambahkan kedua baris ke file itu, lalu jalankan ulang container. Batas default NVIDIA adalah 40 permintaan per menit. Nilai 0 mematikan gerbang untuk seluruh akun pada penyedia tersebut.

Failover tidak menaikkan batas NVIDIA. Failover menggunakan tier gratis lain, misalnya Groq, Gemini, dan Cloudflare, saat NVIDIA penuh.

Gunakan semua ini melalui satu kunci. FreeLLMAPI adalah router sumber terbuka yang Anda hosting sendiri. Router ini menempatkan semua paket gratis ini di balik satu endpoint yang kompatibel dengan OpenAI, dan beralih ke penyedia lain saat batas permintaan tercapai. Lihat katalog atau mulai.

Pertanyaan yang sering diajukan

Berapa rate limit API NVIDIA NIM?

NVIDIA tidak mempublikasikan satu angka. Staf menyatakan bahwa batas berbeda untuk setiap model, dan Anda dapat melihat batas Anda di pojok kanan atas build.nvidia.com. Sebagian besar akun gratis melaporkan 40 permintaan per menit.

Bagaimana cara menaikkan rate limit NVIDIA NIM dari 40 RPM?

Kami tidak menemukan proses resmi untuk akun gratis. FAQ NVIDIA menunjuk ke self-hosting, mitra serverless berbayar seperti Hugging Face, atau trial NVIDIA AI Enterprise untuk kapasitas yang lebih besar.

Apakah NVIDIA NIM masih menggunakan kredit?

Tidak. Staf NVIDIA menyatakan pada September 2025 bahwa build.nvidia.com tidak lagi menggunakan kredit. Penggunaan trial kini dikendalikan oleh rate limit.

Bisakah saya menggunakan API NVIDIA gratis untuk produksi?

Tidak. NVIDIA API Trial Terms hanya mengizinkan penggunaan trial terbatas, bukan produksi. Penggunaan produksi memerlukan lisensi NVIDIA AI Enterprise atau penyedia berbayar.

Apakah batas 40 RPM NVIDIA berlaku per model atau per akun?

Pengguna gratis melaporkan satu batas untuk seluruh akun. Rencanakan agar semua model berbagi batas tersebut, dan atur ritme permintaan di setiap model yang Anda panggil.

Panduan terkait

Sumber

Semua panduan · Lihat semua model gratis