NVIDIA NIM API Rate-Limit
Der kostenlose NVIDIA API Catalog auf build.nvidia.com hat ein Rate-Limit, kein Guthaben. Viele kostenlose Konten melden eine Obergrenze von 40 Anfragen pro Minute. Diese Seite erklärt, was NVIDIA zum Limit sagt, warum eine Erhöhung selten funktioniert und wie Sie darunter bleiben.
Code, Modellnamen und Bezeichnungen aus dem Live-Katalog werden auf Englisch angezeigt.
Was NVIDIA zum Limit sagt
Im September 2025 schrieb ein Mitarbeiter von NVIDIA im Entwicklerforum: "Wir verwenden für build.nvidia.com kein guthabenbasiertes System mehr." Rate-Limits für die Testnutzung haben die Guthaben ersetzt. Dieselbe Antwort sagt, dass die Limits je Modell verschieden sind und dass NVIDIA sie nicht veröffentlicht. Ihr maximales Rate-Limit sehen Sie oben rechts auf build.nvidia.com.
Die FAQ zu NIM sagt, dass die Anzahl der Aufrufe in einem Zeitraum "nur dem Bedarf an Auswertung und Prototyping dienen soll" ist. Mitglieder des NVIDIA Developer Program erhalten kostenlosen Zugriff auf NIM-API-Endpunkte für Prototypen.
Lässt sich das Limit von 40 RPM erhöhen?
Das NVIDIA-Entwicklerforum enthält viele Beiträge, die 200 RPM oder mehr verlangen. Wir fanden kein offizielles Verfahren, das das Limit für ein kostenloses Konto erhöht. Eine Antwort im Forum sagt, dass NVIDIA die Limits für kostenlose persönliche Konten nicht manuell erhöhen kann. Wir konnten nicht bestätigen, dass diese Antwort von NVIDIA-Mitarbeitern stammt.
Die FAQ zu NIM nennt andere Optionen für mehr Kapazität:
- Betreiben Sie NIM selbst bei Ihrem Cloud-Anbieter oder auf Ihren eigenen GPUs.
- Verwenden Sie eine NIM-Serverless-API für den Produktivbetrieb von einem Partner, zum Beispiel Hugging Face, mit Abrechnung nach Nutzung.
- Starten Sie die 90-tägige Testphase von NVIDIA AI Enterprise, die für Produktivbereitstellungen gedacht ist.
Legen Sie keine weiteren NVIDIA-Konten an, um mehr Anfragen zu bekommen. Die Testbedingungen erlauben NVIDIA, Nutzungslimits festzulegen, und der kostenlose Zugriff dient nur begrenzten Testzwecken.
| Option | Kosten | Mehr Anfragen? |
|---|---|---|
| Im Forum um ein höheres kostenloses Limit bitten | Kostenlos | Kein offizielles Verfahren gefunden |
| Anfragen unter dem Limit verteilen | Kostenlos | Nein, aber weniger Fehler 429 |
| Weitere kostenlose Anbieter mit Failover hinzufügen | Kostenlos | Ja, von anderen Anbietern |
| Serverless NIM von einem Partner | Abrechnung nach Nutzung | Ja |
| NIM selbst betreiben | Ihre GPUs | Ja |
Was die Testbedingungen erlauben
Abschnitt 1.2 der NVIDIA API Trial Terms gewährt Zugriff "nur für begrenzte Testzwecke". Er schließt die Nutzung des Dienstes oder seiner Ausgabe im Produktivbetrieb aus. Abschnitt 1.4 sagt, dass Sie ohne Abonnement den Dienst nur für interne Tests und Auswertungen nutzen dürfen.
Abschnitt 3.3 sagt, dass NVIDIA Ihre Inhalte und die erzeugten Inhalte erhebt, um seine Produkte zu verbessern, einschließlich der KI-Modelle. Senden Sie keine privaten Daten an den Testdienst. Zu anderen Anbietern lesen Sie kostenlose LLM-API für die kommerzielle Nutzung.
Kostenlose NIM-Modelle heute
Der Katalog listet diese kostenlosen NVIDIA-Modelle. Das Limit gilt pro Konto, daher teilen sich alle Modelle dieselben Anfragen pro Minute.
| Modell | Kostenlos bei | Kontext | Kostenlose Limits (bestes Angebot) | Tools | Bildverarbeitung |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 Anfragen/Min. 40 RPM | Ja | Nein |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | Nein | Nein |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 Anfragen/Min. 40 RPM | Ja | Nein |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 Anfragen/Min. 40 RPM | Ja | Ja |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 Anfragen/Min. 40 RPM | Nein | Nein |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 Anfragen/Min. 40 RPM | Ja | Nein |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 Anfragen/Min. 40 RPM | Ja | Nein |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 Anfragen/Min. 40 RPM | Ja | Nein |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 Anfragen/Min. 40 RPM | Nein | Ja |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 Anfragen/Min. 40 RPM | Ja | Nein |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 Anfragen/Min. 40 RPM | Nein | Ja |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 Anfragen/Min. 40 RPM | Nein | Ja |
Es werden 12 von 19 passenden kostenlosen Modellen angezeigt. Alle Modelle ansehen.
Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.
| Anbieter | Bekanntes Problem | Was zu tun ist |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.
So bleiben Sie unter dem Limit
Bei 40 Anfragen pro Minute können Sie im Mittel alle 1.5 Sekunden eine Anfrage senden. Ein Schwall paralleler Anfragen erreicht das Limit in Sekunden. Halten Sie sich an diese Regeln:
- Begrenzen Sie die Anzahl paralleler Anfragen in Ihrem Client. Zwei oder drei gleichzeitig sind für die meisten Agenten sicher.
- Wiederholen Sie jeden Fehler 429 mit exponentiellem Backoff und Jitter. Stoppen Sie nach einer festen Anzahl von Wiederholungen.
- Zählen Sie Anfragen über alle Modelle hinweg. Das Limit gilt für das Konto, nicht für jedes Modell.
- Senden Sie kurze, einfache Aufgaben an andere Anbieter. Behalten Sie NVIDIA für die großen Modelle, die nur NVIDIA kostenlos anbietet.
Einfache Taktung auf dem Client (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")Last mit FreeLLMAPI verteilen
FreeLLMAPI ist ein Open-Source-Gateway, das auf Ihrem Computer läuft. Es behandelt NVIDIA als einen Pool mit 40 Anfragen pro Minute für das gesamte Konto. Bevor es eine Anfrage sendet, prüft es diesen Pool. Ist der Pool voll, sendet es die Anfrage an den nächsten kostenlosen Anbieter in Ihrer Kette.
- Die kontoweite Obergrenze pro Minute legen Sie mit
PROVIDER_MINUTE_REQUEST_CAP_NVIDIAfest. Senken Sie sie, wenn Ihr Konto ein kleineres Limit anzeigt. - Um parallele Anfragen an NVIDIA zu begrenzen, setzen Sie
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA. - Ein Fehler 429 von NVIDIA setzt den Schlüssel in eine kurze Abkühlzeit. Der Router probiert dann andere Anbieter.
- Der Header
X-Routed-Viazeigt, welcher Anbieter jede Anfrage beantwortet hat.
~/freellmapi/.env (Docker-Installation)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dDer Ein-Zeilen-Installer speichert seine Einstellungen in ~/freellmapi/.env. Fügen Sie die beiden Zeilen in diese Datei ein und starten Sie den Container dann neu. Die Standard-Obergrenze für NVIDIA liegt bei 40 Anfragen pro Minute. Der Wert 0 schaltet die kontoweite Sperre für diesen Anbieter aus.
Failover erhöht das Limit von NVIDIA nicht. Es nutzt andere kostenlose Tarife, zum Beispiel Groq, Gemini und Cloudflare, wenn NVIDIA voll ist.
Häufig gestellte Fragen
Wie hoch ist das Rate-Limit der NVIDIA-NIM-API?
NVIDIA veröffentlicht keine einzelne Zahl. Mitarbeiter sagen, dass die Limits je Modell verschieden sind. Ihr eigenes Limit sehen Sie oben rechts auf build.nvidia.com. Die meisten kostenlosen Konten melden 40 Anfragen pro Minute.
Wie erhöhe ich das Rate-Limit von NVIDIA NIM von 40 RPM?
Wir fanden kein offizielles Verfahren für kostenlose Konten. Die FAQ von NVIDIA verweist für mehr Kapazität auf den Selbstbetrieb, einen kostenpflichtigen Serverless-Partner wie Hugging Face oder die Testphase von NVIDIA AI Enterprise.
Verwendet NVIDIA NIM noch Guthaben?
Nein. Mitarbeiter von NVIDIA sagten im September 2025, dass build.nvidia.com keine Guthaben mehr verwendet. Die Testnutzung wird jetzt über Rate-Limits gesteuert.
Kann ich die kostenlose NVIDIA-API im Produktivbetrieb nutzen?
Nein. Die NVIDIA API Trial Terms erlauben nur eine begrenzte Testnutzung, keinen Produktivbetrieb. Für den Produktivbetrieb brauchen Sie eine Lizenz für NVIDIA AI Enterprise oder einen kostenpflichtigen Anbieter.
Gilt das NVIDIA-Limit von 40 RPM pro Modell oder pro Konto?
Kostenlose Nutzer melden ein Limit für das gesamte Konto. Rechnen Sie damit, dass sich alle Modelle es teilen, und verteilen Sie Anfragen über alle Modelle, die Sie aufrufen.
Verwandte Anleitungen
- free nvidia api
- Rate-Limits kostenloser LLM-APIs
- Groq-Ratenlimit erreicht (429)
- Gemini-API-Kontingent überschritten (429 RESOURCE_EXHAUSTED)
- Kostenlose LLM-API für die kommerzielle Nutzung
Quellen
- NVIDIA developer forum: credit system replaced by rate limits (geprüft 20 November 2026)
- NVIDIA NIM FAQ (geprüft 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (geprüft 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (geprüft 20 November 2026)
- NVIDIA API Catalog: API reference (geprüft 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (geprüft 20 November 2026)