Ліміт API NVIDIA NIM
Безкоштовний NVIDIA API Catalog на build.nvidia.com має ліміт запитів, а не баланс кредитів. Багато безкоштовних облікових записів повідомляють про ліміт 40 запитів за хвилину. Ця сторінка пояснює, що NVIDIA каже про ліміт, чому збільшення запитів рідко працює і як залишатися в межах ліміту.
Код, назви моделей і мітки живого каталогу показано англійською.
Що NVIDIA каже про ліміт
У вересні 2025 співробітник NVIDIA написав на форумі розробників: «Ми більше не використовуємо систему на основі кредитів для build.nvidia.com.» Ліміти запитів для пробного використання замінили кредити. У тій самій відповіді сказано, що ліміти різні для кожної моделі і що NVIDIA їх не публікує. Свій максимальний ліміт запитів можна побачити у верхньому правому куті build.nvidia.com.
FAQ NIM каже, що кількість викликів за період «призначена лише для потреб оцінювання і прототипування». Учасники NVIDIA Developer Program отримують безкоштовний доступ до кінцевих точок NIM API для прототипування.
Чи можна збільшити ліміт 40 RPM?
На форумі розробників NVIDIA багато дописів із проханням про 200 RPM або більше. Ми не знайшли офіційного процесу, який збільшує ліміт для безкоштовного облікового запису. В одній відповіді на форумі сказано, що NVIDIA не може вручну збільшити ліміти для безкоштовних особистих облікових записів. Ми не змогли підтвердити, що ця відповідь від співробітника NVIDIA.
FAQ NIM дає інші варіанти для більшої місткості:
- Розгорніть NIM самостійно у вашого хмарного провайдера або на власних GPU.
- Використовуйте серверний NIM API для продакшену від партнера, наприклад Hugging Face, з оплатою за використання.
- Почніть 90-денну пробну версію NVIDIA AI Enterprise, яка призначена для розгортань у продакшені.
Не створюйте більше облікових записів NVIDIA, щоб отримати більше запитів. Умови пробної версії дозволяють NVIDIA встановлювати ліміти використання, а безкоштовний доступ призначений лише для обмежених пробних цілей.
| Варіант | Вартість | Більше запитів? |
|---|---|---|
| Запитайте на форумі вищий безкоштовний ліміт | Безкоштовно | Офіційного процесу не знайдено |
| Розподіляйте запити нижче за ліміт | Безкоштовно | Ні, але менше помилок 429 |
| Додайте інших безкоштовних провайдерів з резервним перемиканням | Безкоштовно | Так, від інших провайдерів |
| Серверний NIM від партнера | Оплата за використання | Так |
| Розгорнути NIM самостійно | Ваші GPU | Так |
Що дозволяють умови пробної версії
Розділ 1.2 Умов пробної версії NVIDIA API надає доступ «лише для обмежених пробних цілей». Він виключає використання сервісу або його результатів у продакшені. Розділ 1.4 каже, що без підписки ви можете використовувати сервіс лише для внутрішнього тестування і оцінювання.
Розділ 3.3 каже, що NVIDIA збирає ваш вміст і згенерований вміст для покращення своїх продуктів, зокрема моделей AI. Не надсилайте приватні дані до пробного сервісу. Про інших провайдерів читайте безкоштовний LLM API для комерційного використання.
Безкоштовні моделі NIM сьогодні
Каталог перелічує ці безкоштовні моделі NVIDIA. Ліміт діє для кожного облікового запису, тому всі моделі ділять однакову кількість запитів за хвилину.
| Модель | Безкоштовно на | Контекст | Безкоштовні ліміти (найкращі) | Інструменти | Зображення |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 запитів/хв 40 RPM | Так | Ні |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | Ні | Ні |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 запитів/хв 40 RPM | Так | Ні |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 запитів/хв 40 RPM | Так | Так |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 запитів/хв 40 RPM | Ні | Ні |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 запитів/хв 40 RPM | Так | Ні |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 запитів/хв 40 RPM | Так | Ні |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 запитів/хв 40 RPM | Так | Ні |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 запитів/хв 40 RPM | Ні | Так |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 запитів/хв 40 RPM | Так | Ні |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 запитів/хв 40 RPM | Ні | Так |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 запитів/хв 40 RPM | Ні | Так |
Показано 12 із 19 відповідних безкоштовних моделей. Переглянути всі моделі.
Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.
| Постачальник | Відома проблема | Що робити |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.
Як залишатися в межах ліміту
При 40 запитах за хвилину ви можете надсилати один запит кожні 1.5 секунди в середньому. Пачка паралельних запитів досягає ліміту за секунди. Використовуйте такі правила:
- Обмежте кількість паралельних запитів у вашому клієнті. Два або три одночасно безпечно для більшості агентів.
- Повторюйте кожну помилку 429 з експоненційною затримкою і jitter. Зупиніться після фіксованої кількості повторів.
- Рахуйте запити для всіх моделей разом. Ліміт діє для облікового запису, а не для кожної моделі.
- Надсилайте короткі й прості завдання до інших провайдерів. Залишайте NVIDIA для великих моделей, які лише NVIDIA надає безкоштовно.
Простий розподіл запитів на боці клієнта (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")Розподіліть навантаження через FreeLLMAPI
FreeLLMAPI це шлюз з відкритим кодом, який працює на вашому комп'ютері. Він розглядає NVIDIA як один пул з 40 запитів за хвилину для всього облікового запису. Перед надсиланням запиту він перевіряє цей пул. Коли пул заповнений, він надсилає запит до наступного безкоштовного провайдера у вашому ланцюжку.
- Ліміт за хвилину для всього облікового запису встановлюється через
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Знизьте його, якщо ваш обліковий запис показує менший ліміт. - Щоб обмежити паралельні запити до NVIDIA, встановіть
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA. - Помилка 429 від NVIDIA ставить ключ на короткий час охолодження. Тоді маршрутизатор пробує інших провайдерів.
- Заголовок
X-Routed-Viaпоказує, який провайдер відповів на кожен запит.
~/freellmapi/.env (встановлення через Docker)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dВстановлювач в один рядок зберігає свої налаштування в ~/freellmapi/.env. Додайте два рядки до цього файлу, потім знову запустіть контейнер. Типове обмеження NVIDIA становить 40 запитів за хвилину. Значення 0 вимикає ліміт для всього облікового запису для цього провайдера.
Резервне перемикання не підвищує ліміт NVIDIA. Воно використовує інші безкоштовні тарифи, наприклад Groq, Gemini і Cloudflare, коли NVIDIA заповнений.
Часті запитання
Який ліміт API NVIDIA NIM?
NVIDIA не публікує одне число. Співробітники кажуть, що ліміти різні для кожної моделі, а свій ліміт можна побачити у верхньому правому куті build.nvidia.com. Більшість безкоштовних облікових записів повідомляють 40 запитів за хвилину.
Як збільшити ліміт NVIDIA NIM з 40 RPM?
Ми не знайшли офіційного процесу для безкоштовних облікових записів. FAQ NVIDIA вказує на самостійне розгортання, платного серверного партнера, наприклад Hugging Face, або пробну версію NVIDIA AI Enterprise для більшої місткості.
Чи використовує NVIDIA NIM досі кредити?
Ні. Співробітники NVIDIA сказали у вересні 2025, що build.nvidia.com більше не використовує кредити. Пробне використання тепер контролюється лімітами запитів.
Чи можна використовувати безкоштовний API NVIDIA у продакшені?
Ні. Умови пробної версії NVIDIA API дозволяють лише обмежене пробне використання, а не продакшен. Для продакшену потрібна ліцензія NVIDIA AI Enterprise або платний провайдер.
Ліміт NVIDIA 40 RPM діє для моделі чи для облікового запису?
Безкоштовні користувачі повідомляють один ліміт для всього облікового запису. Плануйте, що всі моделі ділять його, і розподіляйте запити між усіма моделями, які ви викликаєте.
Схожі посібники
- free nvidia api
- Ліміти запитів безкоштовного LLM API
- Досягнуто ліміту Groq (429)
- Перевищено квоту Gemini API (429 RESOURCE_EXHAUSTED)
- Безкоштовний LLM API для комерційного використання
Джерела
- NVIDIA developer forum: credit system replaced by rate limits (перевірено 20 November 2026)
- NVIDIA NIM FAQ (перевірено 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (перевірено 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (перевірено 20 November 2026)
- NVIDIA API Catalog: API reference (перевірено 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (перевірено 20 November 2026)