Acasă / Ghiduri / Limita de rată NVIDIA NIM API

Limita de rată NVIDIA NIM API

NVIDIA API Catalog gratuit de pe build.nvidia.com are o limită de rată, nu un sold de credite. Multe conturi gratuite raportează un plafon de 40 de cereri pe minut. Această pagină explică ce spune NVIDIA despre limită, de ce cererea de creștere a limitei funcționează rar și cum rămâneți sub ea.

Codul, numele modelelor și etichetele live din catalog sunt afișate în engleză.

Ce spune NVIDIA despre limită

În septembrie 2025, un membru al personalului NVIDIA a scris pe forumul pentru dezvoltatori: "We no longer use a credit-based system for build.nvidia.com." Limitele de rată pentru utilizarea de probă au înlocuit creditele. Același răspuns spune că limitele diferă pentru fiecare model și că NVIDIA nu le publică. Puteți vedea limita maximă a contului în dreapta sus, pe build.nvidia.com.

FAQ-ul NIM spune că numărul de apeluri permise într-o perioadă "is designed to serve evaluation and prototyping needs only". Membrii NVIDIA Developer Program primesc acces gratuit la punctele finale NIM API pentru prototipare.

Despre valoarea de 40 RPM: 40 de cereri pe minut este valoarea pe care o raportează majoritatea conturilor gratuite pe forumul NVIDIA. Nu se află pe o pagină oficială NVIDIA. Verificați contul propriu pentru limita reală.

Puteți crește limita de 40 RPM?

Forumul pentru dezvoltatori NVIDIA are multe postări care cer 200 RPM sau mai mult. Nu am găsit un proces oficial care să ridice limita pentru un cont gratuit. Un răspuns de pe forum spune că NVIDIA nu poate mări manual limitele pentru conturile personale gratuite. Nu am putut confirma că răspunsul vine de la personalul NVIDIA.

FAQ-ul NIM oferă alte opțiuni pentru mai multă capacitate:

  • Găzduiți NIM singur, la furnizorul dumneavoastră de cloud sau pe propriile GPU-uri.
  • Folosiți un API NIM serverless de producție de la un partener, de exemplu Hugging Face, cu plată în funcție de utilizare.
  • Porniți proba NVIDIA AI Enterprise de 90 de zile, destinată implementărilor de producție.

Nu creați mai multe conturi NVIDIA ca să obțineți mai multe cereri. Termenii de probă permit NVIDIA să stabilească limite de utilizare, iar accesul gratuit este doar pentru scopuri limitate de probă.

Modalități de a obține mai mult debit
OpțiuneCostMai multe cereri?
Cereți pe forum o limită gratuită mai mareGratuitNu s-a găsit niciun proces oficial
Reglați ritmul cererilor sub limităGratuitNu, dar mai puține erori 429
Adăugați alți furnizori gratuiți cu rezervăGratuitDa, de la alți furnizori
NIM serverless de la un partenerPlată în funcție de utilizareDa
Găzduiți NIM singurGPU-urile dumneavoastrăDa

Ce permit termenii de probă

Secțiunea 1.2 din NVIDIA API Trial Terms acordă acces "for limited trial purposes only". Exclude utilizarea serviciului sau a rezultatelor sale în producție. Secțiunea 1.4 spune că, fără abonament, puteți folosi serviciul doar pentru testare și evaluare internă.

Secțiunea 3.3 spune că NVIDIA colectează conținutul dumneavoastră și conținutul generat pentru a îmbunătăți produsele sale, inclusiv modelele AI. Nu trimiteți date private către serviciul de probă. Citiți utilizarea comercială a API-urilor LLM gratuite pentru alți furnizori.

Modele NIM gratuite, astăzi

Catalogul listează aceste modele NVIDIA gratuite. Limita este pe cont, deci toate modelele împart aceleași cereri pe minut.

Modele NVIDIA NIM gratuite din catalog, astăzi
ModelGratuit peContextLimite gratuite (cea mai bună ofertă)InstrumenteViziune
GLM 5.3 FlashNVIDIA NIM1M40 cereri/min
40 RPM
DaNu
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingNuNu
Nemotron-3 Ultra 550BNVIDIA NIM1M40 cereri/min
40 RPM
DaNu
Muse Glimmer 30BNVIDIA NIM131K40 cereri/min
40 RPM
DaDa
Gemma 4 31BNVIDIA NIM262K40 cereri/min
40 RPM
NuNu
Poolside Laguna XS 2.1NVIDIA NIM262K40 cereri/min
40 RPM
DaNu
Nemotron 3 Super 120BNVIDIA NIM262K40 cereri/min
40 RPM
DaNu
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 cereri/min
40 RPM
DaNu
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 cereri/min
40 RPM
NuDa
GPT-OSS 20BNVIDIA NIM131K40 cereri/min
40 RPM
DaNu
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 cereri/min
40 RPM
NuDa
Ising Calibration 1.5 31BNVIDIA NIM131K40 cereri/min
40 RPM
NuDa

Se afișează 12 din 19 modele gratuite care se potrivesc. Vezi toate modelele.

Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.

FurnizorProblemă cunoscutăCe trebuie făcut
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.

Cum rămâneți sub limită

La 40 de cereri pe minut, puteți trimite în medie câte o cerere la 1.5 secunde. O rafală de cereri paralele atinge limita în câteva secunde. Folosiți aceste reguli:

  1. Limitați numărul de cereri paralele din clientul dumneavoastră. Două sau trei odată sunt sigure pentru majoritatea agenților.
  2. Reîncercați fiecare 429 cu backoff exponențial și jitter. Opriți după un număr fix de reîncercări.
  3. Numărați cererile pentru toate modelele. Limita este pentru cont, nu pentru fiecare model.
  4. Trimiteți sarcinile scurte și simple către alți furnizori. Păstrați NVIDIA pentru modelele mari pe care doar NVIDIA le servește gratuit.

Reglarea simplă a ritmului în client (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

Distribuiți sarcina cu FreeLLMAPI

FreeLLMAPI este un gateway cu cod deschis care rulează pe calculatorul dumneavoastră. Tratează NVIDIA ca pe un fond de 40 de cereri pe minut pentru tot contul. Înainte să trimită o cerere, verifică acest fond. Când fondul este plin, trimite cererea către următorul furnizor gratuit din lanț.

  • Plafonul pe minut al contului se setează cu PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Micșorați-l dacă contul dumneavoastră arată o limită mai mică.
  • Ca să limitați cererile paralele către NVIDIA, setați MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA.
  • Un 429 de la NVIDIA pune cheia într-o pauză scurtă. Routerul încearcă apoi alți furnizori.
  • Antetul X-Routed-Via arată ce furnizor a răspuns la fiecare cerere.

~/freellmapi/.env (instalare Docker)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

Instalatorul dintr-o linie își păstrează setările în ~/freellmapi/.env. Adăugați cele două linii în acest fișier, apoi porniți din nou containerul. Plafonul implicit NVIDIA este de 40 de cereri pe minut. Valoarea 0 dezactivează poarta pe cont pentru acel furnizor.

Rezerva nu mărește limita NVIDIA. Folosește alte niveluri gratuite, de exemplu Groq, Gemini și Cloudflare, când NVIDIA este plin.

Folosiți fiecare dintre aceste modele printr-o singură cheie. FreeLLMAPI este un router open-source, găzduit de dumneavoastră, care pune toate aceste niveluri gratuite în spatele unui singur endpoint compatibil cu OpenAI și trece la alt furnizor când un furnizor este limitat la rată. Vezi catalogul sau trece live.

Întrebări frecvente

Care este limita de rată a NVIDIA NIM API?

NVIDIA nu publică un singur număr. Personalul spune că limitele diferă în funcție de model, iar limita dumneavoastră se vede în dreapta sus, pe build.nvidia.com. Majoritatea conturilor gratuite raportează 40 de cereri pe minut.

Cum măresc limita NVIDIA NIM de 40 RPM?

Nu am găsit un proces oficial pentru conturile gratuite. FAQ-ul NVIDIA trimite către găzduirea proprie, către un partener serverless plătit, de exemplu Hugging Face, sau către proba NVIDIA AI Enterprise, pentru mai multă capacitate.

Mai folosește NVIDIA NIM credite?

Nu. Personalul NVIDIA a spus în septembrie 2025 că build.nvidia.com nu mai folosește credite. Utilizarea de probă este acum controlată prin limite de rată.

Pot folosi API-ul NVIDIA gratuit în producție?

Nu. NVIDIA API Trial Terms permit doar utilizare de probă limitată, nu producție. Utilizarea în producție cere o licență NVIDIA AI Enterprise sau un furnizor plătit.

Limita NVIDIA de 40 RPM este pe model sau pe cont?

Utilizatorii gratuiți raportează o singură limită pentru tot contul. Planificați ca toate modelele să o împartă și distribuiți cererile între toate modelele pe care le apelați.

Ghiduri înrudite

Surse

Toate ghidurile · Vezi toate modelele gratuite