Accueil / Guides / Limite de débit de l'API NVIDIA NIM

Limite de débit de l'API NVIDIA NIM

Le catalogue d'API NVIDIA gratuit sur build.nvidia.com a une limite de débit, et non un solde de crédits. De nombreux comptes gratuits signalent un plafond de 40 requêtes par minute. Cette page explique ce que NVIDIA indique sur cette limite, pourquoi demander une hausse fonctionne rarement, et comment rester en dessous.

Le code, les noms de modèles et les libellés du catalogue en direct sont affichés en anglais.

Ce que NVIDIA indique sur la limite

En septembre 2025, un membre du personnel de NVIDIA a écrit sur le forum développeurs : « We no longer use a credit-based system for build.nvidia.com. » Les limites de débit pour l'usage d'essai ont remplacé les crédits. La même réponse indique que les limites varient selon le modèle et que NVIDIA ne les publie pas. Vous pouvez voir votre limite de débit maximale en haut à droite de build.nvidia.com.

La FAQ de NIM indique que le nombre d'appels autorisés sur une période « is designed to serve evaluation and prototyping needs only ». Les membres du NVIDIA Developer Program ont un accès gratuit aux endpoints NIM API pour le prototypage.

À propos de la valeur de 40 RPM : 40 requêtes par minute est la valeur que la plupart des comptes gratuits signalent sur le forum NVIDIA. Elle ne figure sur aucune page officielle de NVIDIA. Vérifiez votre propre compte pour connaître votre vraie limite.

Peut-on augmenter la limite de 40 RPM ?

Le forum développeurs de NVIDIA compte de nombreux messages qui demandent 200 RPM ou plus. Nous n'avons trouvé aucune procédure officielle qui relève la limite d'un compte gratuit. Une réponse du forum indique que NVIDIA ne peut pas relever manuellement les limites des comptes personnels gratuits. Nous n'avons pas pu confirmer que cette réponse vient du personnel de NVIDIA.

La FAQ de NIM propose d'autres options pour plus de capacité :

  • Auto-hébergez NIM chez votre fournisseur cloud ou sur vos propres GPU.
  • Utilisez une API NIM serverless de production chez un partenaire, par exemple Hugging Face, avec une tarification à l'usage.
  • Lancez l'essai NVIDIA AI Enterprise de 90 jours, destiné aux déploiements de production.

Ne créez pas davantage de comptes NVIDIA pour obtenir plus de requêtes. Les conditions d'essai permettent à NVIDIA de fixer des limites d'usage, et l'accès gratuit ne sert qu'à des fins d'essai limitées.

Moyens d'obtenir plus de débit
OptionCoûtPlus de requêtes ?
Demander une limite gratuite plus élevée sur le forumGratuitAucune procédure officielle trouvée
Cadencer les requêtes sous la limiteGratuitNon, mais moins d'erreurs 429
Ajouter d'autres fournisseurs gratuits avec basculementGratuitOui, grâce aux autres fournisseurs
NIM serverless chez un partenairePaiement à l'usageOui
Auto-héberger NIMVos GPUOui

Ce que permettent les conditions d'essai

La section 1.2 des conditions d'essai de l'API NVIDIA donne un accès « for limited trial purposes only ». Elle exclut l'usage du service ou de ses sorties en production. La section 1.4 indique que, sans abonnement, vous ne pouvez utiliser le service que pour des tests et évaluations internes.

La section 3.3 indique que NVIDIA collecte votre contenu et le contenu généré pour améliorer ses produits, y compris ses modèles d'IA. N'envoyez pas de données privées au service d'essai. Lisez free LLM API commercial use pour les autres fournisseurs.

Modèles NIM gratuits aujourd'hui

Le catalogue liste ces modèles NVIDIA gratuits. La limite s'applique par compte, donc tous les modèles partagent le même nombre de requêtes par minute.

Modèles NVIDIA NIM gratuits dans le catalogue aujourd'hui
ModèleGratuit surContexteLimites gratuites (meilleure offre)OutilsVision
GLM 5.3 FlashNVIDIA NIM1M40 req/min
40 RPM
OuiNon
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingNonNon
Nemotron-3 Ultra 550BNVIDIA NIM1M40 req/min
40 RPM
OuiNon
Muse Glimmer 30BNVIDIA NIM131K40 req/min
40 RPM
OuiOui
Gemma 4 31BNVIDIA NIM262K40 req/min
40 RPM
NonNon
Poolside Laguna XS 2.1NVIDIA NIM262K40 req/min
40 RPM
OuiNon
Nemotron 3 Super 120BNVIDIA NIM262K40 req/min
40 RPM
OuiNon
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 req/min
40 RPM
OuiNon
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 req/min
40 RPM
NonOui
GPT-OSS 20BNVIDIA NIM131K40 req/min
40 RPM
OuiNon
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 req/min
40 RPM
NonOui
Ising Calibration 1.5 31BNVIDIA NIM131K40 req/min
40 RPM
NonOui

Affichage de 12 modèles gratuits sur 19 correspondants. Voir tous les modèles.

Données en direct du catalogue FreeLLMAPI (version 2026.11.19, vérifié le 2026-11-19). Les limites gratuites changent souvent. Le catalogue est vérifié chaque jour.

FournisseurProblème connuQue faire
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

Données en direct du catalogue FreeLLMAPI (version 2026.11.19, vérifié le 2026-11-19). Les limites gratuites changent souvent. Le catalogue est vérifié chaque jour.

Comment rester sous la limite

À 40 requêtes par minute, vous pouvez envoyer une requête toutes les 1.5 secondes en moyenne. Une rafale de requêtes parallèles atteint la limite en quelques secondes. Appliquez ces règles :

  1. Limitez le nombre de requêtes parallèles dans votre client. Deux ou trois à la fois suffisent pour la plupart des agents.
  2. Réessayez chaque 429 avec une temporisation exponentielle et une gigue (jitter). Arrêtez après un nombre fixe de tentatives.
  3. Comptez les requêtes sur tous les modèles. La limite s'applique au compte, et non à chaque modèle.
  4. Envoyez les tâches courtes et simples à d'autres fournisseurs. Gardez NVIDIA pour les grands modèles que seul NVIDIA sert gratuitement.

Cadence simple côté client (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

Répartir la charge avec FreeLLMAPI

FreeLLMAPI est une passerelle open source qui tourne sur votre ordinateur. Il traite NVIDIA comme un seul pool de 40 requêtes par minute pour tout le compte. Avant d'envoyer une requête, il vérifie ce pool. Quand le pool est plein, il envoie la requête au fournisseur gratuit suivant de votre chaîne.

  • Le plafond par minute de tout le compte se définit avec PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Baissez-le si votre compte affiche une limite plus petite.
  • Pour limiter les requêtes parallèles vers NVIDIA, définissez MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA.
  • Un 429 de NVIDIA place la clé en courte pause. Le routeur essaie alors d'autres fournisseurs.
  • L'en-tête X-Routed-Via indique quel fournisseur a répondu à chaque requête.

~/freellmapi/.env (installation Docker)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

L'installateur en une ligne garde ses réglages dans ~/freellmapi/.env. Ajoutez les deux lignes dans ce fichier, puis relancez le conteneur. Le plafond NVIDIA par défaut est de 40 requêtes par minute. La valeur 0 désactive la limite globale du compte pour ce fournisseur.

Le basculement n'augmente pas la limite de NVIDIA. Il utilise d'autres offres gratuites, par exemple Groq, Gemini et Cloudflare, quand NVIDIA est saturé.

Utilisez chacun de ces modèles avec une seule clé. FreeLLMAPI est un routeur open source auto-hébergé. Il place toutes ces offres gratuites derrière un seul point de terminaison compatible OpenAI, et bascule vers une autre offre lorsqu'une limite de débit est atteinte. Parcourir le catalogue ou passer en production.

Questions fréquentes

Quelle est la limite de débit de l'API NVIDIA NIM ?

NVIDIA ne publie pas un chiffre unique. Le personnel indique que les limites varient selon le modèle, et vous pouvez voir la vôtre en haut à droite de build.nvidia.com. La plupart des comptes gratuits signalent 40 requêtes par minute.

Comment augmenter la limite de débit NVIDIA NIM de 40 RPM ?

Nous n'avons trouvé aucune procédure officielle pour les comptes gratuits. La FAQ de NVIDIA renvoie vers l'auto-hébergement, un partenaire serverless payant comme Hugging Face, ou l'essai NVIDIA AI Enterprise pour plus de capacité.

NVIDIA NIM utilise-t-il encore des crédits ?

Non. Le personnel de NVIDIA a indiqué en septembre 2025 que build.nvidia.com n'utilise plus de crédits. L'usage d'essai est maintenant contrôlé par des limites de débit.

Puis-je utiliser l'API NVIDIA gratuite en production ?

Non. Les conditions d'essai de l'API NVIDIA n'autorisent qu'un usage d'essai limité, pas la production. Un usage en production demande une licence NVIDIA AI Enterprise ou un fournisseur payant.

La limite de 40 RPM de NVIDIA s'applique-t-elle par modèle ou par compte ?

Les utilisateurs gratuits signalent une seule limite pour tout le compte. Prévoyez que tous les modèles la partagent, et répartissez les requêtes sur chaque modèle que vous appelez.

Guides associés

Sources

Tous les guides · Parcourir tous les modèles gratuits