Home / Gidsen / NVIDIA NIM API-rate limit

NVIDIA NIM API-rate limit

De gratis NVIDIA API Catalog op build.nvidia.com heeft een rate limit, geen creditsaldo. Veel gratis accounts melden een limiet van 40 verzoeken per minuut. Deze pagina legt uit wat NVIDIA zegt over de limiet, waarom een verhoging zelden werkt en hoe je eronder blijft.

Code, modelnamen en labels uit de live catalogus worden in het Engels getoond.

Wat NVIDIA zegt over de limiet

In september 2025 schreef een medewerker van NVIDIA op het ontwikkelaarsforum: "We gebruiken niet langer een systeem op basis van credits voor build.nvidia.com." Rate limits voor proefgebruik vervingen de credits. Hetzelfde antwoord zegt dat de limieten per model verschillen en dat NVIDIA ze niet publiceert. Je ziet je maximale rate limit rechtsboven op build.nvidia.com.

De NIM FAQ zegt dat het aantal toegestane aanroepen in een periode "alleen bedoeld is voor evaluatie en prototyping". Leden van het NVIDIA Developer Program krijgen gratis toegang tot de NIM API-eindpunten voor prototyping.

Over de waarde van 40 RPM: 40 verzoeken per minuut is de waarde die de meeste gratis accounts melden op het forum van NVIDIA. Die staat niet op een officiële pagina van NVIDIA. Controleer je eigen account voor je echte limiet.

Kun je de limiet van 40 RPM verhogen?

Het ontwikkelaarsforum van NVIDIA heeft veel berichten die om 200 RPM of meer vragen. We vonden geen officieel proces dat de limiet voor een gratis account verhoogt. Een antwoord op het forum zegt dat NVIDIA de limieten voor gratis persoonlijke accounts niet handmatig kan verhogen. We konden niet bevestigen dat dit antwoord van een medewerker van NVIDIA is.

De NIM FAQ geeft andere opties voor meer capaciteit:

  • Host NIM zelf bij je cloudprovider of op je eigen GPU's.
  • Gebruik een serverless NIM API voor productie van een partner, bijvoorbeeld Hugging Face, met betalen per gebruik.
  • Start de proef van 90 dagen van NVIDIA AI Enterprise, die bedoeld is voor productie-installaties.

Maak geen extra NVIDIA-accounts om meer verzoeken te krijgen. De proefvoorwaarden laten NVIDIA gebruikslimieten instellen, en de gratis toegang is alleen bedoeld voor beperkte proefdoeleinden.

Manieren om meer doorvoer te krijgen
OptieKostenMeer verzoeken?
Vraag op het forum om een hogere gratis limietGratisGeen officieel proces gevonden
Verdeel verzoeken binnen de limietGratisNee, maar minder 429-fouten
Voeg andere gratis providers toe met failoverGratisJa, van andere providers
Serverless NIM van een partnerBetalen per gebruikJa
NIM zelf hostenJe GPU'sJa

Wat de proefvoorwaarden toestaan

Artikel 1.2 van de NVIDIA API Trial Terms geeft toegang "alleen voor beperkte proefdoeleinden". Het sluit gebruik van de dienst of de output ervan in productie uit. Artikel 1.4 zegt dat je zonder abonnement de dienst alleen mag gebruiken voor interne tests en evaluatie.

Artikel 3.3 zegt dat NVIDIA je content en de gegenereerde content verzamelt om haar producten te verbeteren, inclusief AI-modellen. Stuur geen privégegevens naar de proefdienst. Lees gratis LLM API commercieel gebruik voor andere providers.

Gratis NIM-modellen van dit moment

De catalogus vermeldt deze gratis NVIDIA-modellen. De limiet geldt per account, dus alle modellen delen dezelfde verzoeken per minuut.

Gratis NVIDIA NIM-modellen in de catalogus van vandaag
ModelGratis opContextGratis limieten (beste aanbod)ToolsVision
GLM 5.3 FlashNVIDIA NIM1M40 aanvragen/min
40 RPM
JaNee
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingNeeNee
Nemotron-3 Ultra 550BNVIDIA NIM1M40 aanvragen/min
40 RPM
JaNee
Muse Glimmer 30BNVIDIA NIM131K40 aanvragen/min
40 RPM
JaJa
Gemma 4 31BNVIDIA NIM262K40 aanvragen/min
40 RPM
NeeNee
Poolside Laguna XS 2.1NVIDIA NIM262K40 aanvragen/min
40 RPM
JaNee
Nemotron 3 Super 120BNVIDIA NIM262K40 aanvragen/min
40 RPM
JaNee
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 aanvragen/min
40 RPM
JaNee
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 aanvragen/min
40 RPM
NeeJa
GPT-OSS 20BNVIDIA NIM131K40 aanvragen/min
40 RPM
JaNee
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 aanvragen/min
40 RPM
NeeJa
Ising Calibration 1.5 31BNVIDIA NIM131K40 aanvragen/min
40 RPM
NeeJa

Toont 12 van 19 overeenkomende gratis modellen. Bekijk alle modellen.

Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.

AanbiederBekend probleemWat u kunt doen
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.

Hoe je onder de limiet blijft

Bij 40 verzoeken per minuut kun je gemiddeld elke 1,5 seconde één verzoek sturen. Een stoot parallelle verzoeken bereikt de limiet binnen seconden. Gebruik deze regels:

  1. Beperk het aantal parallelle verzoeken in je client. Twee of drie tegelijk is voor de meeste agents veilig.
  2. Probeer elke 429 opnieuw met exponentiële backoff en jitter. Stop na een vast aantal pogingen.
  3. Tel verzoeken over alle modellen samen. De limiet geldt voor het account, niet voor elk model.
  4. Stuur korte, eenvoudige taken naar andere providers. Houd NVIDIA voor de grote modellen die alleen NVIDIA gratis aanbiedt.

Eenvoudige pacing aan de clientzijde (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

Verdeel de belasting met FreeLLMAPI

FreeLLMAPI is een open-source gateway die op je computer draait. Het behandelt NVIDIA als één pool van 40 verzoeken per minuut voor het hele account. Voordat het een verzoek stuurt, controleert het die pool. Wanneer de pool vol is, stuurt het het verzoek naar de volgende gratis provider in je keten.

  • De limiet per minuut voor het hele account stel je in met PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Verlaag hem als je account een kleinere limiet toont.
  • Om parallelle verzoeken naar NVIDIA te beperken, stel je MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA in.
  • Een 429 van NVIDIA zet de sleutel in een korte cooldown. De router probeert dan andere providers.
  • De header X-Routed-Via toont welke provider elk verzoek beantwoordde.

~/freellmapi/.env (Docker-installatie)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

Het installatieprogramma van één regel bewaart de instellingen in ~/freellmapi/.env. Voeg de twee regels toe aan dat bestand en start de container daarna opnieuw. De standaardlimiet van NVIDIA is 40 verzoeken per minuut. Een waarde van 0 schakelt de limiet voor het hele account uit voor die provider.

Failover verhoogt de limiet van NVIDIA niet. Het gebruikt andere gratis tiers, bijvoorbeeld Groq, Gemini en Cloudflare, wanneer NVIDIA vol is.

Gebruik elk van deze met één sleutel. FreeLLMAPI is een open-source router die u zelf host. Die zet al deze gratis tarieven achter één eindpunt dat compatibel is met OpenAI. Bij een snelheidslimiet schakelt de router automatisch over. Bekijk de catalogus of live gaan.

Veelgestelde vragen

Wat is de rate limit van de NVIDIA NIM API?

NVIDIA publiceert geen vast getal. Medewerkers zeggen dat limieten per model verschillen, en je ziet die van jou rechtsboven op build.nvidia.com. De meeste gratis accounts melden 40 verzoeken per minuut.

Hoe verhoog ik de NVIDIA NIM rate limit van 40 RPM?

We vonden geen officieel proces voor gratis accounts. De FAQ van NVIDIA verwijst naar zelf hosten, een betaalde serverless partner zoals Hugging Face, of de proef van NVIDIA AI Enterprise voor meer capaciteit.

Gebruikt NVIDIA NIM nog credits?

Nee. Medewerkers van NVIDIA zeiden in september 2025 dat build.nvidia.com niet langer credits gebruikt. Proefgebruik wordt nu bepaald door rate limits.

Kan ik de gratis NVIDIA API in productie gebruiken?

Nee. De NVIDIA API Trial Terms staan alleen beperkt proefgebruik toe, niet productie. Productiegebruik vereist een licentie van NVIDIA AI Enterprise of een betaalde provider.

Is de limiet van 40 RPM van NVIDIA per model of per account?

Gratis gebruikers melden één limiet voor het hele account. Houd er rekening mee dat alle modellen die limiet delen, en verdeel verzoeken over elk model dat je aanroept.

Gerelateerde gidsen

Bronnen

Alle gidsen · Bekijk alle gratis modellen