Limit żądań NVIDIA NIM API
Darmowy NVIDIA API Catalog na build.nvidia.com ma limit żądań, a nie saldo kredytów. Wiele darmowych kont zgłasza limit 40 żądań na minutę. Ta strona wyjaśnia, co NVIDIA mówi o limicie, dlaczego prośby o jego zwiększenie rzadko działają i jak pozostać poniżej niego.
Kod, nazwy modeli i etykiety z katalogu na żywo są podane po angielsku.
Co NVIDIA mówi o limicie
We wrześniu 2025 pracownik NVIDIA napisał na forum dla programistów: "Nie korzystamy już z systemu opartego na kredytach dla build.nvidia.com." Limity żądań dla użycia próbnego zastąpiły kredyty. Ta sama odpowiedź mówi, że limity różnią się dla każdego modelu i że NVIDIA ich nie publikuje. Swój maksymalny limit zobaczysz w prawym górnym rogu build.nvidia.com.
FAQ NIM mówi, że liczba wywołań dozwolona w danym okresie "ma służyć wyłącznie potrzebom oceny i prototypowania". Członkowie NVIDIA Developer Program dostają darmowy dostęp do punktów końcowych NIM API do prototypowania.
Czy można zwiększyć limit 40 RPM?
Forum dla programistów NVIDIA ma wiele wpisów z prośbami o 200 RPM lub więcej. Nie znaleźliśmy oficjalnej procedury, która podnosi limit darmowego konta. Jedna odpowiedź na forum mówi, że NVIDIA nie może ręcznie zwiększyć limitów darmowych kont osobistych. Nie udało nam się potwierdzić, że ta odpowiedź pochodzi od pracownika NVIDIA.
FAQ NIM podaje inne opcje większej przepustowości:
- Uruchom NIM u siebie, u swojego dostawcy chmury albo na własnych GPU.
- Użyj produkcyjnego serverless NIM API od partnera, na przykład Hugging Face, z płatnością za użycie.
- Rozpocznij 90-dniowy okres próbny NVIDIA AI Enterprise, przeznaczony do wdrożeń produkcyjnych.
Nie zakładaj wielu kont NVIDIA, aby uzyskać więcej żądań. Warunki próbne pozwalają NVIDIA ustalać limity użycia, a darmowy dostęp służy wyłącznie ograniczonym celom próbnym.
| Opcja | Koszt | Więcej żądań? |
|---|---|---|
| Poproś na forum o wyższy darmowy limit | Darmowe | Nie znaleziono oficjalnej procedury |
| Rozłóż żądania poniżej limitu | Darmowe | Nie, ale mniej błędów 429 |
| Dodaj innych darmowych dostawców z przełączaniem awaryjnym | Darmowe | Tak, od innych dostawców |
| Serverless NIM od partnera | Płatność za użycie | Tak |
| Self-hosted NIM | Twoje GPU | Tak |
Co dozwalają warunki próbne
Sekcja 1.2 Warunków API Trial NVIDIA daje dostęp "wyłącznie do ograniczonych celów próbnych". Wyklucza użycie usługi lub jej wyników w produkcji. Sekcja 1.4 mówi, że bez subskrypcji możesz korzystać z usługi tylko do wewnętrznych testów i oceny.
Sekcja 3.3 mówi, że NVIDIA zbiera Twoje treści i wygenerowane treści, aby ulepszać swoje produkty, w tym modele AI. Nie wysyłaj prywatnych danych do usługi próbnej. Innych dostawców opisuje poradnik Darmowe API LLM do użytku komercyjnego.
Darmowe modele NIM dziś
Katalog zawiera te darmowe modele NVIDIA. Limit jest na konto, więc wszystkie modele dzielą te same żądania na minutę.
| Model | Za darmo w | Kontekst | Darmowe limity (najlepsza oferta) | Narzędzia | Wizja |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 żądań/min 40 RPM | Tak | Nie |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | Nie | Nie |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 żądań/min 40 RPM | Tak | Nie |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 żądań/min 40 RPM | Tak | Tak |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 żądań/min 40 RPM | Nie | Nie |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 żądań/min 40 RPM | Tak | Nie |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 żądań/min 40 RPM | Tak | Nie |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 żądań/min 40 RPM | Tak | Nie |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 żądań/min 40 RPM | Nie | Tak |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 żądań/min 40 RPM | Tak | Nie |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 żądań/min 40 RPM | Nie | Tak |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 żądań/min 40 RPM | Nie | Tak |
Pokazano 12 z 19 pasujących darmowych modeli. Zobacz wszystkie modele.
Dane na żywo z katalogu FreeLLMAPI (wersja 2026.11.19, sprawdzono 2026-11-19). Darmowe limity często się zmieniają. Katalog jest sprawdzany codziennie.
| Dostawca | Znany problem | Co zrobić |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
Dane na żywo z katalogu FreeLLMAPI (wersja 2026.11.19, sprawdzono 2026-11-19). Darmowe limity często się zmieniają. Katalog jest sprawdzany codziennie.
Jak pozostać poniżej limitu
Przy 40 żądaniach na minutę możesz wysyłać jedno żądanie co 1.5 sekundy średnio. Seria równoległych żądań dochodzi do limitu w kilka sekund. Stosuj te zasady:
- Ogranicz liczbę równoległych żądań w swoim kliencie. Dwa lub trzy naraz są bezpieczne dla większości agentów.
- Ponawiaj każdy błąd 429 z wykładniczym opóźnieniem i jitterem. Zatrzymaj się po ustalonej liczbie ponowień.
- Licz żądania we wszystkich modelach. Limit dotyczy konta, a nie każdego modelu osobno.
- Proste, krótkie zadania kieruj do innych dostawców. NVIDIA zostaw dla dużych modeli, które tylko NVIDIA udostępnia za darmo.
Proste tempo po stronie klienta (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")Rozłóż obciążenie z FreeLLMAPI
FreeLLMAPI to brama o otwartym kodzie, działająca na Twoim komputerze. Traktuje NVIDIA jako jedną pulę 40 żądań na minutę dla całego konta. Zanim wyśle żądanie, sprawdza tę pulę. Gdy pula jest pełna, wysyła żądanie do następnego darmowego dostawcy w łańcuchu.
- Limit minutowy dla całego konta ustawiasz zmienną
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Obniż ją, jeśli Twoje konto pokazuje mniejszy limit. - Aby ograniczyć równoległe żądania do NVIDIA, ustaw
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA. - Błąd 429 z NVIDIA wstrzymuje klucz na krótki czas. Router wtedy próbuje innych dostawców.
- Nagłówek
X-Routed-Viapokazuje, który dostawca odpowiedział na każde żądanie.
~/freellmapi/.env (instalacja Docker)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dInstalator jednowierszowy trzyma ustawienia w ~/freellmapi/.env. Dopisz te dwie linie do tego pliku, a potem uruchom kontener ponownie. Domyślny limit NVIDIA to 40 żądań na minutę. Wartość 0 wyłącza bramę dla całego konta u tego dostawcy.
Przełączanie awaryjne nie podnosi limitu NVIDIA. Gdy NVIDIA jest pełna, używa innych darmowych planów, na przykład Groq, Gemini i Cloudflare.
Najczęstsze pytania
Jaki jest limit żądań NVIDIA NIM API?
NVIDIA nie publikuje jednej liczby. Pracownicy mówią, że limity różnią się w zależności od modelu, a swój limit zobaczysz w prawym górnym rogu build.nvidia.com. Większość darmowych kont zgłasza 40 żądań na minutę.
Jak zwiększyć limit NVIDIA NIM z 40 RPM?
Nie znaleźliśmy oficjalnej procedury dla darmowych kont. FAQ NVIDIA wskazuje na uruchomienie u siebie, płatnego serverless partnera, na przykład Hugging Face, albo okres próbny NVIDIA AI Enterprise, aby uzyskać większą pojemność.
Czy NVIDIA NIM nadal używa kredytów?
Nie. Pracownicy NVIDIA napisali we wrześniu 2025, że build.nvidia.com nie korzysta już z kredytów. Użycie próbne jest teraz kontrolowane przez limity żądań.
Czy mogę używać darmowego API NVIDIA w produkcji?
Nie. Warunki API Trial NVIDIA dopuszczają tylko ograniczone użycie próbne, a nie produkcyjne. Użycie produkcyjne wymaga licencji NVIDIA AI Enterprise albo płatnego dostawcy.
Czy limit 40 RPM NVIDIA dotyczy modelu, czy konta?
Darmowi użytkownicy zgłaszają jeden limit dla całego konta. Zakładaj, że wszystkie modele go dzielą, i rozkładaj żądania na wszystkie modele, które wywołujesz.
Powiązane poradniki
- free nvidia api
- Darmowe API LLM: limity żądań
- Limit Groq przekroczony (429)
- Przekroczony limit Gemini API (429 RESOURCE_EXHAUSTED)
- Darmowe API LLM do użytku komercyjnego
Źródła
- NVIDIA developer forum: credit system replaced by rate limits (sprawdzono 20 November 2026)
- NVIDIA NIM FAQ (sprawdzono 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (sprawdzono 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (sprawdzono 20 November 2026)
- NVIDIA API Catalog: API reference (sprawdzono 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (sprawdzono 20 November 2026)