Limita de rată NVIDIA NIM API
NVIDIA API Catalog gratuit de pe build.nvidia.com are o limită de rată, nu un sold de credite. Multe conturi gratuite raportează un plafon de 40 de cereri pe minut. Această pagină explică ce spune NVIDIA despre limită, de ce cererea de creștere a limitei funcționează rar și cum rămâneți sub ea.
Codul, numele modelelor și etichetele live din catalog sunt afișate în engleză.
Ce spune NVIDIA despre limită
În septembrie 2025, un membru al personalului NVIDIA a scris pe forumul pentru dezvoltatori: "We no longer use a credit-based system for build.nvidia.com." Limitele de rată pentru utilizarea de probă au înlocuit creditele. Același răspuns spune că limitele diferă pentru fiecare model și că NVIDIA nu le publică. Puteți vedea limita maximă a contului în dreapta sus, pe build.nvidia.com.
FAQ-ul NIM spune că numărul de apeluri permise într-o perioadă "is designed to serve evaluation and prototyping needs only". Membrii NVIDIA Developer Program primesc acces gratuit la punctele finale NIM API pentru prototipare.
Puteți crește limita de 40 RPM?
Forumul pentru dezvoltatori NVIDIA are multe postări care cer 200 RPM sau mai mult. Nu am găsit un proces oficial care să ridice limita pentru un cont gratuit. Un răspuns de pe forum spune că NVIDIA nu poate mări manual limitele pentru conturile personale gratuite. Nu am putut confirma că răspunsul vine de la personalul NVIDIA.
FAQ-ul NIM oferă alte opțiuni pentru mai multă capacitate:
- Găzduiți NIM singur, la furnizorul dumneavoastră de cloud sau pe propriile GPU-uri.
- Folosiți un API NIM serverless de producție de la un partener, de exemplu Hugging Face, cu plată în funcție de utilizare.
- Porniți proba NVIDIA AI Enterprise de 90 de zile, destinată implementărilor de producție.
Nu creați mai multe conturi NVIDIA ca să obțineți mai multe cereri. Termenii de probă permit NVIDIA să stabilească limite de utilizare, iar accesul gratuit este doar pentru scopuri limitate de probă.
| Opțiune | Cost | Mai multe cereri? |
|---|---|---|
| Cereți pe forum o limită gratuită mai mare | Gratuit | Nu s-a găsit niciun proces oficial |
| Reglați ritmul cererilor sub limită | Gratuit | Nu, dar mai puține erori 429 |
| Adăugați alți furnizori gratuiți cu rezervă | Gratuit | Da, de la alți furnizori |
| NIM serverless de la un partener | Plată în funcție de utilizare | Da |
| Găzduiți NIM singur | GPU-urile dumneavoastră | Da |
Ce permit termenii de probă
Secțiunea 1.2 din NVIDIA API Trial Terms acordă acces "for limited trial purposes only". Exclude utilizarea serviciului sau a rezultatelor sale în producție. Secțiunea 1.4 spune că, fără abonament, puteți folosi serviciul doar pentru testare și evaluare internă.
Secțiunea 3.3 spune că NVIDIA colectează conținutul dumneavoastră și conținutul generat pentru a îmbunătăți produsele sale, inclusiv modelele AI. Nu trimiteți date private către serviciul de probă. Citiți utilizarea comercială a API-urilor LLM gratuite pentru alți furnizori.
Modele NIM gratuite, astăzi
Catalogul listează aceste modele NVIDIA gratuite. Limita este pe cont, deci toate modelele împart aceleași cereri pe minut.
| Model | Gratuit pe | Context | Limite gratuite (cea mai bună ofertă) | Instrumente | Viziune |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 cereri/min 40 RPM | Da | Nu |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | Nu | Nu |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 cereri/min 40 RPM | Da | Nu |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 cereri/min 40 RPM | Da | Da |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 cereri/min 40 RPM | Nu | Nu |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 cereri/min 40 RPM | Da | Nu |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 cereri/min 40 RPM | Da | Nu |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 cereri/min 40 RPM | Da | Nu |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 cereri/min 40 RPM | Nu | Da |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 cereri/min 40 RPM | Da | Nu |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 cereri/min 40 RPM | Nu | Da |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 cereri/min 40 RPM | Nu | Da |
Se afișează 12 din 19 modele gratuite care se potrivesc. Vezi toate modelele.
Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.
| Furnizor | Problemă cunoscută | Ce trebuie făcut |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.
Cum rămâneți sub limită
La 40 de cereri pe minut, puteți trimite în medie câte o cerere la 1.5 secunde. O rafală de cereri paralele atinge limita în câteva secunde. Folosiți aceste reguli:
- Limitați numărul de cereri paralele din clientul dumneavoastră. Două sau trei odată sunt sigure pentru majoritatea agenților.
- Reîncercați fiecare 429 cu backoff exponențial și jitter. Opriți după un număr fix de reîncercări.
- Numărați cererile pentru toate modelele. Limita este pentru cont, nu pentru fiecare model.
- Trimiteți sarcinile scurte și simple către alți furnizori. Păstrați NVIDIA pentru modelele mari pe care doar NVIDIA le servește gratuit.
Reglarea simplă a ritmului în client (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")Distribuiți sarcina cu FreeLLMAPI
FreeLLMAPI este un gateway cu cod deschis care rulează pe calculatorul dumneavoastră. Tratează NVIDIA ca pe un fond de 40 de cereri pe minut pentru tot contul. Înainte să trimită o cerere, verifică acest fond. Când fondul este plin, trimite cererea către următorul furnizor gratuit din lanț.
- Plafonul pe minut al contului se setează cu
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Micșorați-l dacă contul dumneavoastră arată o limită mai mică. - Ca să limitați cererile paralele către NVIDIA, setați
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA. - Un 429 de la NVIDIA pune cheia într-o pauză scurtă. Routerul încearcă apoi alți furnizori.
- Antetul
X-Routed-Viaarată ce furnizor a răspuns la fiecare cerere.
~/freellmapi/.env (instalare Docker)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dInstalatorul dintr-o linie își păstrează setările în ~/freellmapi/.env. Adăugați cele două linii în acest fișier, apoi porniți din nou containerul. Plafonul implicit NVIDIA este de 40 de cereri pe minut. Valoarea 0 dezactivează poarta pe cont pentru acel furnizor.
Rezerva nu mărește limita NVIDIA. Folosește alte niveluri gratuite, de exemplu Groq, Gemini și Cloudflare, când NVIDIA este plin.
Întrebări frecvente
Care este limita de rată a NVIDIA NIM API?
NVIDIA nu publică un singur număr. Personalul spune că limitele diferă în funcție de model, iar limita dumneavoastră se vede în dreapta sus, pe build.nvidia.com. Majoritatea conturilor gratuite raportează 40 de cereri pe minut.
Cum măresc limita NVIDIA NIM de 40 RPM?
Nu am găsit un proces oficial pentru conturile gratuite. FAQ-ul NVIDIA trimite către găzduirea proprie, către un partener serverless plătit, de exemplu Hugging Face, sau către proba NVIDIA AI Enterprise, pentru mai multă capacitate.
Mai folosește NVIDIA NIM credite?
Nu. Personalul NVIDIA a spus în septembrie 2025 că build.nvidia.com nu mai folosește credite. Utilizarea de probă este acum controlată prin limite de rată.
Pot folosi API-ul NVIDIA gratuit în producție?
Nu. NVIDIA API Trial Terms permit doar utilizare de probă limitată, nu producție. Utilizarea în producție cere o licență NVIDIA AI Enterprise sau un furnizor plătit.
Limita NVIDIA de 40 RPM este pe model sau pe cont?
Utilizatorii gratuiți raportează o singură limită pentru tot contul. Planificați ca toate modelele să o împartă și distribuiți cererile între toate modelele pe care le apelați.
Ghiduri înrudite
- free nvidia api
- Limite de rată pentru Free LLM API
- Limita de rată Groq atinsă (429)
- Cotă Gemini API depășită (429 RESOURCE_EXHAUSTED)
- Free LLM API pentru uz comercial
Surse
- NVIDIA developer forum: credit system replaced by rate limits (verificat 20 November 2026)
- NVIDIA NIM FAQ (verificat 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (verificat 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (verificat 20 November 2026)
- NVIDIA API Catalog: API reference (verificat 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (verificat 20 November 2026)