NVIDIA NIM API-rate limit
De gratis NVIDIA API Catalog op build.nvidia.com heeft een rate limit, geen creditsaldo. Veel gratis accounts melden een limiet van 40 verzoeken per minuut. Deze pagina legt uit wat NVIDIA zegt over de limiet, waarom een verhoging zelden werkt en hoe je eronder blijft.
Code, modelnamen en labels uit de live catalogus worden in het Engels getoond.
Wat NVIDIA zegt over de limiet
In september 2025 schreef een medewerker van NVIDIA op het ontwikkelaarsforum: "We gebruiken niet langer een systeem op basis van credits voor build.nvidia.com." Rate limits voor proefgebruik vervingen de credits. Hetzelfde antwoord zegt dat de limieten per model verschillen en dat NVIDIA ze niet publiceert. Je ziet je maximale rate limit rechtsboven op build.nvidia.com.
De NIM FAQ zegt dat het aantal toegestane aanroepen in een periode "alleen bedoeld is voor evaluatie en prototyping". Leden van het NVIDIA Developer Program krijgen gratis toegang tot de NIM API-eindpunten voor prototyping.
Kun je de limiet van 40 RPM verhogen?
Het ontwikkelaarsforum van NVIDIA heeft veel berichten die om 200 RPM of meer vragen. We vonden geen officieel proces dat de limiet voor een gratis account verhoogt. Een antwoord op het forum zegt dat NVIDIA de limieten voor gratis persoonlijke accounts niet handmatig kan verhogen. We konden niet bevestigen dat dit antwoord van een medewerker van NVIDIA is.
De NIM FAQ geeft andere opties voor meer capaciteit:
- Host NIM zelf bij je cloudprovider of op je eigen GPU's.
- Gebruik een serverless NIM API voor productie van een partner, bijvoorbeeld Hugging Face, met betalen per gebruik.
- Start de proef van 90 dagen van NVIDIA AI Enterprise, die bedoeld is voor productie-installaties.
Maak geen extra NVIDIA-accounts om meer verzoeken te krijgen. De proefvoorwaarden laten NVIDIA gebruikslimieten instellen, en de gratis toegang is alleen bedoeld voor beperkte proefdoeleinden.
| Optie | Kosten | Meer verzoeken? |
|---|---|---|
| Vraag op het forum om een hogere gratis limiet | Gratis | Geen officieel proces gevonden |
| Verdeel verzoeken binnen de limiet | Gratis | Nee, maar minder 429-fouten |
| Voeg andere gratis providers toe met failover | Gratis | Ja, van andere providers |
| Serverless NIM van een partner | Betalen per gebruik | Ja |
| NIM zelf hosten | Je GPU's | Ja |
Wat de proefvoorwaarden toestaan
Artikel 1.2 van de NVIDIA API Trial Terms geeft toegang "alleen voor beperkte proefdoeleinden". Het sluit gebruik van de dienst of de output ervan in productie uit. Artikel 1.4 zegt dat je zonder abonnement de dienst alleen mag gebruiken voor interne tests en evaluatie.
Artikel 3.3 zegt dat NVIDIA je content en de gegenereerde content verzamelt om haar producten te verbeteren, inclusief AI-modellen. Stuur geen privégegevens naar de proefdienst. Lees gratis LLM API commercieel gebruik voor andere providers.
Gratis NIM-modellen van dit moment
De catalogus vermeldt deze gratis NVIDIA-modellen. De limiet geldt per account, dus alle modellen delen dezelfde verzoeken per minuut.
| Model | Gratis op | Context | Gratis limieten (beste aanbod) | Tools | Vision |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 aanvragen/min 40 RPM | Ja | Nee |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | Nee | Nee |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 aanvragen/min 40 RPM | Ja | Nee |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 aanvragen/min 40 RPM | Ja | Ja |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 aanvragen/min 40 RPM | Nee | Nee |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 aanvragen/min 40 RPM | Ja | Nee |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 aanvragen/min 40 RPM | Ja | Nee |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 aanvragen/min 40 RPM | Ja | Nee |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 aanvragen/min 40 RPM | Nee | Ja |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 aanvragen/min 40 RPM | Ja | Nee |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 aanvragen/min 40 RPM | Nee | Ja |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 aanvragen/min 40 RPM | Nee | Ja |
Toont 12 van 19 overeenkomende gratis modellen. Bekijk alle modellen.
Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.
| Aanbieder | Bekend probleem | Wat u kunt doen |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.
Hoe je onder de limiet blijft
Bij 40 verzoeken per minuut kun je gemiddeld elke 1,5 seconde één verzoek sturen. Een stoot parallelle verzoeken bereikt de limiet binnen seconden. Gebruik deze regels:
- Beperk het aantal parallelle verzoeken in je client. Twee of drie tegelijk is voor de meeste agents veilig.
- Probeer elke 429 opnieuw met exponentiële backoff en jitter. Stop na een vast aantal pogingen.
- Tel verzoeken over alle modellen samen. De limiet geldt voor het account, niet voor elk model.
- Stuur korte, eenvoudige taken naar andere providers. Houd NVIDIA voor de grote modellen die alleen NVIDIA gratis aanbiedt.
Eenvoudige pacing aan de clientzijde (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")Verdeel de belasting met FreeLLMAPI
FreeLLMAPI is een open-source gateway die op je computer draait. Het behandelt NVIDIA als één pool van 40 verzoeken per minuut voor het hele account. Voordat het een verzoek stuurt, controleert het die pool. Wanneer de pool vol is, stuurt het het verzoek naar de volgende gratis provider in je keten.
- De limiet per minuut voor het hele account stel je in met
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Verlaag hem als je account een kleinere limiet toont. - Om parallelle verzoeken naar NVIDIA te beperken, stel je
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIAin. - Een 429 van NVIDIA zet de sleutel in een korte cooldown. De router probeert dan andere providers.
- De header
X-Routed-Viatoont welke provider elk verzoek beantwoordde.
~/freellmapi/.env (Docker-installatie)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dHet installatieprogramma van één regel bewaart de instellingen in ~/freellmapi/.env. Voeg de twee regels toe aan dat bestand en start de container daarna opnieuw. De standaardlimiet van NVIDIA is 40 verzoeken per minuut. Een waarde van 0 schakelt de limiet voor het hele account uit voor die provider.
Failover verhoogt de limiet van NVIDIA niet. Het gebruikt andere gratis tiers, bijvoorbeeld Groq, Gemini en Cloudflare, wanneer NVIDIA vol is.
Veelgestelde vragen
Wat is de rate limit van de NVIDIA NIM API?
NVIDIA publiceert geen vast getal. Medewerkers zeggen dat limieten per model verschillen, en je ziet die van jou rechtsboven op build.nvidia.com. De meeste gratis accounts melden 40 verzoeken per minuut.
Hoe verhoog ik de NVIDIA NIM rate limit van 40 RPM?
We vonden geen officieel proces voor gratis accounts. De FAQ van NVIDIA verwijst naar zelf hosten, een betaalde serverless partner zoals Hugging Face, of de proef van NVIDIA AI Enterprise voor meer capaciteit.
Gebruikt NVIDIA NIM nog credits?
Nee. Medewerkers van NVIDIA zeiden in september 2025 dat build.nvidia.com niet langer credits gebruikt. Proefgebruik wordt nu bepaald door rate limits.
Kan ik de gratis NVIDIA API in productie gebruiken?
Nee. De NVIDIA API Trial Terms staan alleen beperkt proefgebruik toe, niet productie. Productiegebruik vereist een licentie van NVIDIA AI Enterprise of een betaalde provider.
Is de limiet van 40 RPM van NVIDIA per model of per account?
Gratis gebruikers melden één limiet voor het hele account. Houd er rekening mee dat alle modellen die limiet delen, en verdeel verzoeken over elk model dat je aanroept.
Gerelateerde gidsen
- free nvidia api
- Rate limits van de gratis LLM API
- Groq-limiet bereikt (429)
- Gemini API-quota overschreden (429 RESOURCE_EXHAUSTED)
- Gratis LLM-API voor commercieel gebruik
Bronnen
- NVIDIA developer forum: credit system replaced by rate limits (gecontroleerd 20 November 2026)
- NVIDIA NIM FAQ (gecontroleerd 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (gecontroleerd 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (gecontroleerd 20 November 2026)
- NVIDIA API Catalog: API reference (gecontroleerd 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (gecontroleerd 20 November 2026)