Startseite / Anleitungen / NVIDIA NIM API Rate-Limit

NVIDIA NIM API Rate-Limit

Der kostenlose NVIDIA API Catalog auf build.nvidia.com hat ein Rate-Limit, kein Guthaben. Viele kostenlose Konten melden eine Obergrenze von 40 Anfragen pro Minute. Diese Seite erklärt, was NVIDIA zum Limit sagt, warum eine Erhöhung selten funktioniert und wie Sie darunter bleiben.

Code, Modellnamen und Bezeichnungen aus dem Live-Katalog werden auf Englisch angezeigt.

Was NVIDIA zum Limit sagt

Im September 2025 schrieb ein Mitarbeiter von NVIDIA im Entwicklerforum: "Wir verwenden für build.nvidia.com kein guthabenbasiertes System mehr." Rate-Limits für die Testnutzung haben die Guthaben ersetzt. Dieselbe Antwort sagt, dass die Limits je Modell verschieden sind und dass NVIDIA sie nicht veröffentlicht. Ihr maximales Rate-Limit sehen Sie oben rechts auf build.nvidia.com.

Die FAQ zu NIM sagt, dass die Anzahl der Aufrufe in einem Zeitraum "nur dem Bedarf an Auswertung und Prototyping dienen soll" ist. Mitglieder des NVIDIA Developer Program erhalten kostenlosen Zugriff auf NIM-API-Endpunkte für Prototypen.

Zum Wert 40 RPM: 40 Anfragen pro Minute ist der Wert, den die meisten kostenlosen Konten im NVIDIA-Forum melden. Er steht nicht auf einer offiziellen Seite von NVIDIA. Prüfen Sie Ihr eigenes Konto, um Ihr echtes Limit zu kennen.

Lässt sich das Limit von 40 RPM erhöhen?

Das NVIDIA-Entwicklerforum enthält viele Beiträge, die 200 RPM oder mehr verlangen. Wir fanden kein offizielles Verfahren, das das Limit für ein kostenloses Konto erhöht. Eine Antwort im Forum sagt, dass NVIDIA die Limits für kostenlose persönliche Konten nicht manuell erhöhen kann. Wir konnten nicht bestätigen, dass diese Antwort von NVIDIA-Mitarbeitern stammt.

Die FAQ zu NIM nennt andere Optionen für mehr Kapazität:

  • Betreiben Sie NIM selbst bei Ihrem Cloud-Anbieter oder auf Ihren eigenen GPUs.
  • Verwenden Sie eine NIM-Serverless-API für den Produktivbetrieb von einem Partner, zum Beispiel Hugging Face, mit Abrechnung nach Nutzung.
  • Starten Sie die 90-tägige Testphase von NVIDIA AI Enterprise, die für Produktivbereitstellungen gedacht ist.

Legen Sie keine weiteren NVIDIA-Konten an, um mehr Anfragen zu bekommen. Die Testbedingungen erlauben NVIDIA, Nutzungslimits festzulegen, und der kostenlose Zugriff dient nur begrenzten Testzwecken.

Wege zu mehr Durchsatz
OptionKostenMehr Anfragen?
Im Forum um ein höheres kostenloses Limit bittenKostenlosKein offizielles Verfahren gefunden
Anfragen unter dem Limit verteilenKostenlosNein, aber weniger Fehler 429
Weitere kostenlose Anbieter mit Failover hinzufügenKostenlosJa, von anderen Anbietern
Serverless NIM von einem PartnerAbrechnung nach NutzungJa
NIM selbst betreibenIhre GPUsJa

Was die Testbedingungen erlauben

Abschnitt 1.2 der NVIDIA API Trial Terms gewährt Zugriff "nur für begrenzte Testzwecke". Er schließt die Nutzung des Dienstes oder seiner Ausgabe im Produktivbetrieb aus. Abschnitt 1.4 sagt, dass Sie ohne Abonnement den Dienst nur für interne Tests und Auswertungen nutzen dürfen.

Abschnitt 3.3 sagt, dass NVIDIA Ihre Inhalte und die erzeugten Inhalte erhebt, um seine Produkte zu verbessern, einschließlich der KI-Modelle. Senden Sie keine privaten Daten an den Testdienst. Zu anderen Anbietern lesen Sie kostenlose LLM-API für die kommerzielle Nutzung.

Kostenlose NIM-Modelle heute

Der Katalog listet diese kostenlosen NVIDIA-Modelle. Das Limit gilt pro Konto, daher teilen sich alle Modelle dieselben Anfragen pro Minute.

Kostenlose NVIDIA-NIM-Modelle im heutigen Katalog
ModellKostenlos beiKontextKostenlose Limits (bestes Angebot)ToolsBildverarbeitung
GLM 5.3 FlashNVIDIA NIM1M40 Anfragen/Min.
40 RPM
JaNein
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingNeinNein
Nemotron-3 Ultra 550BNVIDIA NIM1M40 Anfragen/Min.
40 RPM
JaNein
Muse Glimmer 30BNVIDIA NIM131K40 Anfragen/Min.
40 RPM
JaJa
Gemma 4 31BNVIDIA NIM262K40 Anfragen/Min.
40 RPM
NeinNein
Poolside Laguna XS 2.1NVIDIA NIM262K40 Anfragen/Min.
40 RPM
JaNein
Nemotron 3 Super 120BNVIDIA NIM262K40 Anfragen/Min.
40 RPM
JaNein
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 Anfragen/Min.
40 RPM
JaNein
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 Anfragen/Min.
40 RPM
NeinJa
GPT-OSS 20BNVIDIA NIM131K40 Anfragen/Min.
40 RPM
JaNein
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 Anfragen/Min.
40 RPM
NeinJa
Ising Calibration 1.5 31BNVIDIA NIM131K40 Anfragen/Min.
40 RPM
NeinJa

Es werden 12 von 19 passenden kostenlosen Modellen angezeigt. Alle Modelle ansehen.

Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.

AnbieterBekanntes ProblemWas zu tun ist
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.

So bleiben Sie unter dem Limit

Bei 40 Anfragen pro Minute können Sie im Mittel alle 1.5 Sekunden eine Anfrage senden. Ein Schwall paralleler Anfragen erreicht das Limit in Sekunden. Halten Sie sich an diese Regeln:

  1. Begrenzen Sie die Anzahl paralleler Anfragen in Ihrem Client. Zwei oder drei gleichzeitig sind für die meisten Agenten sicher.
  2. Wiederholen Sie jeden Fehler 429 mit exponentiellem Backoff und Jitter. Stoppen Sie nach einer festen Anzahl von Wiederholungen.
  3. Zählen Sie Anfragen über alle Modelle hinweg. Das Limit gilt für das Konto, nicht für jedes Modell.
  4. Senden Sie kurze, einfache Aufgaben an andere Anbieter. Behalten Sie NVIDIA für die großen Modelle, die nur NVIDIA kostenlos anbietet.

Einfache Taktung auf dem Client (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

Last mit FreeLLMAPI verteilen

FreeLLMAPI ist ein Open-Source-Gateway, das auf Ihrem Computer läuft. Es behandelt NVIDIA als einen Pool mit 40 Anfragen pro Minute für das gesamte Konto. Bevor es eine Anfrage sendet, prüft es diesen Pool. Ist der Pool voll, sendet es die Anfrage an den nächsten kostenlosen Anbieter in Ihrer Kette.

  • Die kontoweite Obergrenze pro Minute legen Sie mit PROVIDER_MINUTE_REQUEST_CAP_NVIDIA fest. Senken Sie sie, wenn Ihr Konto ein kleineres Limit anzeigt.
  • Um parallele Anfragen an NVIDIA zu begrenzen, setzen Sie MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA.
  • Ein Fehler 429 von NVIDIA setzt den Schlüssel in eine kurze Abkühlzeit. Der Router probiert dann andere Anbieter.
  • Der Header X-Routed-Via zeigt, welcher Anbieter jede Anfrage beantwortet hat.

~/freellmapi/.env (Docker-Installation)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

Der Ein-Zeilen-Installer speichert seine Einstellungen in ~/freellmapi/.env. Fügen Sie die beiden Zeilen in diese Datei ein und starten Sie den Container dann neu. Die Standard-Obergrenze für NVIDIA liegt bei 40 Anfragen pro Minute. Der Wert 0 schaltet die kontoweite Sperre für diesen Anbieter aus.

Failover erhöht das Limit von NVIDIA nicht. Es nutzt andere kostenlose Tarife, zum Beispiel Groq, Gemini und Cloudflare, wenn NVIDIA voll ist.

Nutzen Sie alle diese Modelle über einen einzigen Schlüssel. FreeLLMAPI ist ein Open-Source-Router, den Sie selbst hosten. Er stellt alle diese kostenlosen Angebote hinter einem einzigen OpenAI-kompatiblen Endpunkt bereit und wechselt zum nächsten Anbieter, wenn ein Anbieter das Limit erreicht. Katalog ansehen oder Jetzt starten.

Häufig gestellte Fragen

Wie hoch ist das Rate-Limit der NVIDIA-NIM-API?

NVIDIA veröffentlicht keine einzelne Zahl. Mitarbeiter sagen, dass die Limits je Modell verschieden sind. Ihr eigenes Limit sehen Sie oben rechts auf build.nvidia.com. Die meisten kostenlosen Konten melden 40 Anfragen pro Minute.

Wie erhöhe ich das Rate-Limit von NVIDIA NIM von 40 RPM?

Wir fanden kein offizielles Verfahren für kostenlose Konten. Die FAQ von NVIDIA verweist für mehr Kapazität auf den Selbstbetrieb, einen kostenpflichtigen Serverless-Partner wie Hugging Face oder die Testphase von NVIDIA AI Enterprise.

Verwendet NVIDIA NIM noch Guthaben?

Nein. Mitarbeiter von NVIDIA sagten im September 2025, dass build.nvidia.com keine Guthaben mehr verwendet. Die Testnutzung wird jetzt über Rate-Limits gesteuert.

Kann ich die kostenlose NVIDIA-API im Produktivbetrieb nutzen?

Nein. Die NVIDIA API Trial Terms erlauben nur eine begrenzte Testnutzung, keinen Produktivbetrieb. Für den Produktivbetrieb brauchen Sie eine Lizenz für NVIDIA AI Enterprise oder einen kostenpflichtigen Anbieter.

Gilt das NVIDIA-Limit von 40 RPM pro Modell oder pro Konto?

Kostenlose Nutzer melden ein Limit für das gesamte Konto. Rechnen Sie damit, dass sich alle Modelle es teilen, und verteilen Sie Anfragen über alle Modelle, die Sie aufrufen.

Verwandte Anleitungen

Quellen

Alle Anleitungen · Alle kostenlosen Modelle ansehen