Had kadar NVIDIA NIM API
API Catalog NVIDIA percuma di build.nvidia.com mempunyai had kadar, bukan baki kredit. Ramai akaun percuma melaporkan had 40 permintaan seminit. Halaman ini menerangkan apa yang NVIDIA nyatakan tentang had itu, mengapa permintaan untuk menaikkannya jarang berjaya, dan cara kekal di bawahnya.
Kod, nama model dan label katalog langsung dipaparkan dalam bahasa Inggeris.
Apa yang NVIDIA nyatakan tentang had itu
Pada September 2025, seorang kakitangan NVIDIA menulis di forum pembangun: "We no longer use a credit-based system for build.nvidia.com." Had kadar untuk penggunaan percubaan menggantikan kredit. Balasan yang sama menyatakan bahawa had berbeza bagi setiap model dan NVIDIA tidak menerbitkannya. Anda boleh melihat had kadar maksimum anda di penjuru kanan atas build.nvidia.com.
FAQ NIM menyatakan bahawa bilangan panggilan yang dibenarkan dalam satu tempoh "is designed to serve evaluation and prototyping needs only". Ahli NVIDIA Developer Program mendapat akses percuma kepada titik akhir NIM API untuk prototaip.
Bolehkah anda menaikkan had 40 RPM?
Forum pembangun NVIDIA mempunyai banyak siaran yang meminta 200 RPM atau lebih. Kami tidak menemui proses rasmi yang menaikkan had untuk akaun percuma. Satu balasan forum menyatakan bahawa NVIDIA tidak boleh menaikkan had secara manual untuk akaun peribadi percuma. Kami tidak dapat mengesahkan bahawa balasan ini datang daripada kakitangan NVIDIA.
FAQ NIM memberikan pilihan lain untuk kapasiti yang lebih besar:
- Hoskan NIM sendiri pada penyedia awan anda atau pada GPU anda sendiri.
- Gunakan API NIM tanpa pelayan pengeluaran daripada rakan kongsi, contohnya Hugging Face, dengan harga bayar mengikut penggunaan.
- Mulakan percubaan NVIDIA AI Enterprise selama 90 hari, yang bertujuan untuk penempatan pengeluaran.
Jangan buat lebih banyak akaun NVIDIA untuk mendapat lebih banyak permintaan. Terma percubaan membenarkan NVIDIA menetapkan had penggunaan, dan akses percuma hanya untuk tujuan percubaan yang terhad.
| Pilihan | Kos | Lebih banyak permintaan? |
|---|---|---|
| Minta had percuma yang lebih tinggi di forum | Percuma | Tiada proses rasmi ditemui |
| Atur kadar permintaan di bawah had | Percuma | Tidak, tetapi ralat 429 kurang |
| Tambah pembekal percuma lain dengan sandaran | Percuma | Ya, daripada pembekal lain |
| NIM tanpa pelayan daripada rakan kongsi | Bayar mengikut penggunaan | Ya |
| Hoskan NIM sendiri | GPU anda | Ya |
Apa yang dibenarkan oleh terma percubaan
Seksyen 1.2 bagi NVIDIA API Trial Terms memberikan akses "for limited trial purposes only". Ia mengecualikan penggunaan perkhidmatan atau outputnya dalam pengeluaran. Seksyen 1.4 menyatakan bahawa tanpa langganan, anda hanya boleh menggunakan perkhidmatan untuk ujian dan penilaian dalaman.
Seksyen 3.3 menyatakan bahawa NVIDIA mengumpul kandungan anda dan kandungan yang dijana untuk memperbaiki produknya, termasuk model AI. Jangan hantar data peribadi kepada perkhidmatan percubaan. Baca free LLM API commercial use untuk pembekal lain.
Model NIM percuma hari ini
Katalog menyenaraikan model NVIDIA percuma ini. Had adalah bagi setiap akaun, jadi semua model berkongsi bilangan permintaan seminit yang sama.
| Model | Percuma pada | Konteks | Had percuma (tawaran terbaik) | Alat | Penglihatan |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 permintaan/minit 40 RPM | Ya | Tidak |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | Tidak | Tidak |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 permintaan/minit 40 RPM | Ya | Tidak |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 permintaan/minit 40 RPM | Ya | Ya |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 permintaan/minit 40 RPM | Tidak | Tidak |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 permintaan/minit 40 RPM | Ya | Tidak |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 permintaan/minit 40 RPM | Ya | Tidak |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 permintaan/minit 40 RPM | Ya | Tidak |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 permintaan/minit 40 RPM | Tidak | Ya |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 permintaan/minit 40 RPM | Ya | Tidak |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 permintaan/minit 40 RPM | Tidak | Ya |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 permintaan/minit 40 RPM | Tidak | Ya |
Memaparkan 12 daripada 19 model percuma yang sepadan. Lihat semua model.
Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.
| Pembekal | Isu diketahui | Apa yang perlu dilakukan |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.
Cara kekal di bawah had
Pada 40 permintaan seminit, anda boleh menghantar satu permintaan setiap 1.5 saat secara purata. Letupan permintaan serentak mencapai had dalam beberapa saat. Gunakan peraturan ini:
- Hadkan bilangan permintaan serentak dalam klien anda. Dua atau tiga pada satu masa selamat untuk kebanyakan ejen.
- Cuba semula setiap 429 dengan backoff eksponen dan jitter. Berhenti selepas bilangan cubaan semula yang tetap.
- Kira permintaan merentasi semua model. Had adalah untuk akaun, bukan untuk setiap model.
- Hantar tugas yang pendek dan mudah kepada pembekal lain. Kekalkan NVIDIA untuk model besar yang hanya NVIDIA sediakan secara percuma.
Pengawalan kadar mudah di bahagian klien (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")Agihkan beban dengan FreeLLMAPI
FreeLLMAPI ialah get laluan sumber terbuka yang berjalan pada komputer anda. Ia menganggap NVIDIA sebagai satu kumpulan 40 permintaan seminit untuk seluruh akaun. Sebelum menghantar permintaan, ia menyemak kumpulan itu. Apabila kumpulan penuh, ia menghantar permintaan kepada pembekal percuma seterusnya dalam rantaian anda.
- Had seminit untuk seluruh akaun ditetapkan dengan
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Turunkannya jika akaun anda menunjukkan had yang lebih kecil. - Untuk menghadkan permintaan serentak ke NVIDIA, tetapkan
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA. - Ralat 429 daripada NVIDIA meletakkan kunci dalam tempoh rehat yang pendek. Penghala kemudian mencuba pembekal lain.
- Pengepala
X-Routed-Viamenunjukkan pembekal yang menjawab setiap permintaan.
~/freellmapi/.env (pemasangan Docker)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dPemasang satu baris menyimpan tetapannya dalam ~/freellmapi/.env. Tambah dua baris itu pada fail tersebut, kemudian mulakan semula kontena. Had NVIDIA lalai ialah 40 permintaan seminit. Nilai 0 mematikan get seluruh akaun bagi pembekal itu.
Sandaran tidak menaikkan had NVIDIA. Ia menggunakan tier percuma lain, contohnya Groq, Gemini dan Cloudflare, apabila NVIDIA penuh.
Soalan lazim
Apakah had kadar NVIDIA NIM API?
NVIDIA tidak menerbitkan satu nombor. Kakitangan menyatakan bahawa had berbeza mengikut model, dan anda boleh melihat had anda di penjuru kanan atas build.nvidia.com. Kebanyakan akaun percuma melaporkan 40 permintaan seminit.
Bagaimana saya menaikkan had kadar NVIDIA NIM daripada 40 RPM?
Kami tidak menemui proses rasmi untuk akaun percuma. FAQ NVIDIA menunjuk kepada hosting sendiri, pembekal tanpa pelayan berbayar rakan kongsi seperti Hugging Face, atau percubaan NVIDIA AI Enterprise untuk kapasiti yang lebih besar.
Adakah NVIDIA NIM masih menggunakan kredit?
Tidak. Kakitangan NVIDIA menyatakan pada September 2025 bahawa build.nvidia.com tidak lagi menggunakan kredit. Penggunaan percubaan kini dikawal oleh had kadar.
Bolehkah saya menggunakan API NVIDIA percuma dalam pengeluaran?
Tidak. NVIDIA API Trial Terms hanya membenarkan penggunaan percubaan yang terhad, bukan pengeluaran. Penggunaan pengeluaran memerlukan lesen NVIDIA AI Enterprise atau pembekal berbayar.
Adakah had 40 RPM NVIDIA bagi setiap model atau bagi setiap akaun?
Pengguna percuma melaporkan satu had merentasi akaun. Rancang supaya semua model berkongsinya, dan atur kadar permintaan merentasi setiap model yang anda panggil.
Panduan berkaitan
- free nvidia api
- Had kadar Free LLM API
- Had kadar Groq dicapai (429)
- Kuota Gemini API melebihi (429 RESOURCE_EXHAUSTED)
- API LLM percuma untuk kegunaan komersial
Sumber
- NVIDIA developer forum: credit system replaced by rate limits (disemak 20 November 2026)
- NVIDIA NIM FAQ (disemak 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (disemak 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (disemak 20 November 2026)
- NVIDIA API Catalog: API reference (disemak 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (disemak 20 November 2026)