Laman utama / Panduan / Had kadar NVIDIA NIM API

Had kadar NVIDIA NIM API

API Catalog NVIDIA percuma di build.nvidia.com mempunyai had kadar, bukan baki kredit. Ramai akaun percuma melaporkan had 40 permintaan seminit. Halaman ini menerangkan apa yang NVIDIA nyatakan tentang had itu, mengapa permintaan untuk menaikkannya jarang berjaya, dan cara kekal di bawahnya.

Kod, nama model dan label katalog langsung dipaparkan dalam bahasa Inggeris.

Apa yang NVIDIA nyatakan tentang had itu

Pada September 2025, seorang kakitangan NVIDIA menulis di forum pembangun: "We no longer use a credit-based system for build.nvidia.com." Had kadar untuk penggunaan percubaan menggantikan kredit. Balasan yang sama menyatakan bahawa had berbeza bagi setiap model dan NVIDIA tidak menerbitkannya. Anda boleh melihat had kadar maksimum anda di penjuru kanan atas build.nvidia.com.

FAQ NIM menyatakan bahawa bilangan panggilan yang dibenarkan dalam satu tempoh "is designed to serve evaluation and prototyping needs only". Ahli NVIDIA Developer Program mendapat akses percuma kepada titik akhir NIM API untuk prototaip.

Mengenai nilai 40 RPM: 40 permintaan seminit ialah nilai yang kebanyakan akaun percuma laporkan di forum NVIDIA. Ia tidak terdapat pada halaman rasmi NVIDIA. Semak akaun anda sendiri untuk had sebenar anda.

Bolehkah anda menaikkan had 40 RPM?

Forum pembangun NVIDIA mempunyai banyak siaran yang meminta 200 RPM atau lebih. Kami tidak menemui proses rasmi yang menaikkan had untuk akaun percuma. Satu balasan forum menyatakan bahawa NVIDIA tidak boleh menaikkan had secara manual untuk akaun peribadi percuma. Kami tidak dapat mengesahkan bahawa balasan ini datang daripada kakitangan NVIDIA.

FAQ NIM memberikan pilihan lain untuk kapasiti yang lebih besar:

  • Hoskan NIM sendiri pada penyedia awan anda atau pada GPU anda sendiri.
  • Gunakan API NIM tanpa pelayan pengeluaran daripada rakan kongsi, contohnya Hugging Face, dengan harga bayar mengikut penggunaan.
  • Mulakan percubaan NVIDIA AI Enterprise selama 90 hari, yang bertujuan untuk penempatan pengeluaran.

Jangan buat lebih banyak akaun NVIDIA untuk mendapat lebih banyak permintaan. Terma percubaan membenarkan NVIDIA menetapkan had penggunaan, dan akses percuma hanya untuk tujuan percubaan yang terhad.

Cara untuk mendapat lebih banyak daya pemprosesan
PilihanKosLebih banyak permintaan?
Minta had percuma yang lebih tinggi di forumPercumaTiada proses rasmi ditemui
Atur kadar permintaan di bawah hadPercumaTidak, tetapi ralat 429 kurang
Tambah pembekal percuma lain dengan sandaranPercumaYa, daripada pembekal lain
NIM tanpa pelayan daripada rakan kongsiBayar mengikut penggunaanYa
Hoskan NIM sendiriGPU andaYa

Apa yang dibenarkan oleh terma percubaan

Seksyen 1.2 bagi NVIDIA API Trial Terms memberikan akses "for limited trial purposes only". Ia mengecualikan penggunaan perkhidmatan atau outputnya dalam pengeluaran. Seksyen 1.4 menyatakan bahawa tanpa langganan, anda hanya boleh menggunakan perkhidmatan untuk ujian dan penilaian dalaman.

Seksyen 3.3 menyatakan bahawa NVIDIA mengumpul kandungan anda dan kandungan yang dijana untuk memperbaiki produknya, termasuk model AI. Jangan hantar data peribadi kepada perkhidmatan percubaan. Baca free LLM API commercial use untuk pembekal lain.

Model NIM percuma hari ini

Katalog menyenaraikan model NVIDIA percuma ini. Had adalah bagi setiap akaun, jadi semua model berkongsi bilangan permintaan seminit yang sama.

Model NVIDIA NIM percuma dalam katalog hari ini
ModelPercuma padaKonteksHad percuma (tawaran terbaik)AlatPenglihatan
GLM 5.3 FlashNVIDIA NIM1M40 permintaan/minit
40 RPM
YaTidak
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingTidakTidak
Nemotron-3 Ultra 550BNVIDIA NIM1M40 permintaan/minit
40 RPM
YaTidak
Muse Glimmer 30BNVIDIA NIM131K40 permintaan/minit
40 RPM
YaYa
Gemma 4 31BNVIDIA NIM262K40 permintaan/minit
40 RPM
TidakTidak
Poolside Laguna XS 2.1NVIDIA NIM262K40 permintaan/minit
40 RPM
YaTidak
Nemotron 3 Super 120BNVIDIA NIM262K40 permintaan/minit
40 RPM
YaTidak
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 permintaan/minit
40 RPM
YaTidak
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 permintaan/minit
40 RPM
TidakYa
GPT-OSS 20BNVIDIA NIM131K40 permintaan/minit
40 RPM
YaTidak
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 permintaan/minit
40 RPM
TidakYa
Ising Calibration 1.5 31BNVIDIA NIM131K40 permintaan/minit
40 RPM
TidakYa

Memaparkan 12 daripada 19 model percuma yang sepadan. Lihat semua model.

Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.

PembekalIsu diketahuiApa yang perlu dilakukan
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.

Cara kekal di bawah had

Pada 40 permintaan seminit, anda boleh menghantar satu permintaan setiap 1.5 saat secara purata. Letupan permintaan serentak mencapai had dalam beberapa saat. Gunakan peraturan ini:

  1. Hadkan bilangan permintaan serentak dalam klien anda. Dua atau tiga pada satu masa selamat untuk kebanyakan ejen.
  2. Cuba semula setiap 429 dengan backoff eksponen dan jitter. Berhenti selepas bilangan cubaan semula yang tetap.
  3. Kira permintaan merentasi semua model. Had adalah untuk akaun, bukan untuk setiap model.
  4. Hantar tugas yang pendek dan mudah kepada pembekal lain. Kekalkan NVIDIA untuk model besar yang hanya NVIDIA sediakan secara percuma.

Pengawalan kadar mudah di bahagian klien (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

Agihkan beban dengan FreeLLMAPI

FreeLLMAPI ialah get laluan sumber terbuka yang berjalan pada komputer anda. Ia menganggap NVIDIA sebagai satu kumpulan 40 permintaan seminit untuk seluruh akaun. Sebelum menghantar permintaan, ia menyemak kumpulan itu. Apabila kumpulan penuh, ia menghantar permintaan kepada pembekal percuma seterusnya dalam rantaian anda.

  • Had seminit untuk seluruh akaun ditetapkan dengan PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Turunkannya jika akaun anda menunjukkan had yang lebih kecil.
  • Untuk menghadkan permintaan serentak ke NVIDIA, tetapkan MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA.
  • Ralat 429 daripada NVIDIA meletakkan kunci dalam tempoh rehat yang pendek. Penghala kemudian mencuba pembekal lain.
  • Pengepala X-Routed-Via menunjukkan pembekal yang menjawab setiap permintaan.

~/freellmapi/.env (pemasangan Docker)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

Pemasang satu baris menyimpan tetapannya dalam ~/freellmapi/.env. Tambah dua baris itu pada fail tersebut, kemudian mulakan semula kontena. Had NVIDIA lalai ialah 40 permintaan seminit. Nilai 0 mematikan get seluruh akaun bagi pembekal itu.

Sandaran tidak menaikkan had NVIDIA. Ia menggunakan tier percuma lain, contohnya Groq, Gemini dan Cloudflare, apabila NVIDIA penuh.

Guna setiap satu daripada ini melalui satu kunci. FreeLLMAPI ialah penghala sumber terbuka yang anda hoskan sendiri. Ia meletakkan semua peringkat percuma ini di belakang satu titik akhir serasi OpenAI dan beralih ke pembekal lain apabila had kadar dicapai. Layari katalog atau mula sekarang.

Soalan lazim

Apakah had kadar NVIDIA NIM API?

NVIDIA tidak menerbitkan satu nombor. Kakitangan menyatakan bahawa had berbeza mengikut model, dan anda boleh melihat had anda di penjuru kanan atas build.nvidia.com. Kebanyakan akaun percuma melaporkan 40 permintaan seminit.

Bagaimana saya menaikkan had kadar NVIDIA NIM daripada 40 RPM?

Kami tidak menemui proses rasmi untuk akaun percuma. FAQ NVIDIA menunjuk kepada hosting sendiri, pembekal tanpa pelayan berbayar rakan kongsi seperti Hugging Face, atau percubaan NVIDIA AI Enterprise untuk kapasiti yang lebih besar.

Adakah NVIDIA NIM masih menggunakan kredit?

Tidak. Kakitangan NVIDIA menyatakan pada September 2025 bahawa build.nvidia.com tidak lagi menggunakan kredit. Penggunaan percubaan kini dikawal oleh had kadar.

Bolehkah saya menggunakan API NVIDIA percuma dalam pengeluaran?

Tidak. NVIDIA API Trial Terms hanya membenarkan penggunaan percubaan yang terhad, bukan pengeluaran. Penggunaan pengeluaran memerlukan lesen NVIDIA AI Enterprise atau pembekal berbayar.

Adakah had 40 RPM NVIDIA bagi setiap model atau bagi setiap akaun?

Pengguna percuma melaporkan satu had merentasi akaun. Rancang supaya semua model berkongsinya, dan atur kadar permintaan merentasi setiap model yang anda panggil.

Panduan berkaitan

Sumber

Semua panduan · Lihat semua model percuma