Головна / Посібники / Ліміт API NVIDIA NIM

Ліміт API NVIDIA NIM

Безкоштовний NVIDIA API Catalog на build.nvidia.com має ліміт запитів, а не баланс кредитів. Багато безкоштовних облікових записів повідомляють про ліміт 40 запитів за хвилину. Ця сторінка пояснює, що NVIDIA каже про ліміт, чому збільшення запитів рідко працює і як залишатися в межах ліміту.

Код, назви моделей і мітки живого каталогу показано англійською.

Що NVIDIA каже про ліміт

У вересні 2025 співробітник NVIDIA написав на форумі розробників: «Ми більше не використовуємо систему на основі кредитів для build.nvidia.com.» Ліміти запитів для пробного використання замінили кредити. У тій самій відповіді сказано, що ліміти різні для кожної моделі і що NVIDIA їх не публікує. Свій максимальний ліміт запитів можна побачити у верхньому правому куті build.nvidia.com.

FAQ NIM каже, що кількість викликів за період «призначена лише для потреб оцінювання і прототипування». Учасники NVIDIA Developer Program отримують безкоштовний доступ до кінцевих точок NIM API для прототипування.

Про значення 40 RPM: 40 запитів за хвилину це значення, яке повідомляє більшість безкоштовних облікових записів на форумі NVIDIA. Його немає на офіційній сторінці NVIDIA. Перевірте свій обліковий запис, щоб дізнатися реальний ліміт.

Чи можна збільшити ліміт 40 RPM?

На форумі розробників NVIDIA багато дописів із проханням про 200 RPM або більше. Ми не знайшли офіційного процесу, який збільшує ліміт для безкоштовного облікового запису. В одній відповіді на форумі сказано, що NVIDIA не може вручну збільшити ліміти для безкоштовних особистих облікових записів. Ми не змогли підтвердити, що ця відповідь від співробітника NVIDIA.

FAQ NIM дає інші варіанти для більшої місткості:

  • Розгорніть NIM самостійно у вашого хмарного провайдера або на власних GPU.
  • Використовуйте серверний NIM API для продакшену від партнера, наприклад Hugging Face, з оплатою за використання.
  • Почніть 90-денну пробну версію NVIDIA AI Enterprise, яка призначена для розгортань у продакшені.

Не створюйте більше облікових записів NVIDIA, щоб отримати більше запитів. Умови пробної версії дозволяють NVIDIA встановлювати ліміти використання, а безкоштовний доступ призначений лише для обмежених пробних цілей.

Способи отримати більшу пропускну здатність
ВаріантВартістьБільше запитів?
Запитайте на форумі вищий безкоштовний лімітБезкоштовноОфіційного процесу не знайдено
Розподіляйте запити нижче за лімітБезкоштовноНі, але менше помилок 429
Додайте інших безкоштовних провайдерів з резервним перемиканнямБезкоштовноТак, від інших провайдерів
Серверний NIM від партнераОплата за використанняТак
Розгорнути NIM самостійноВаші GPUТак

Що дозволяють умови пробної версії

Розділ 1.2 Умов пробної версії NVIDIA API надає доступ «лише для обмежених пробних цілей». Він виключає використання сервісу або його результатів у продакшені. Розділ 1.4 каже, що без підписки ви можете використовувати сервіс лише для внутрішнього тестування і оцінювання.

Розділ 3.3 каже, що NVIDIA збирає ваш вміст і згенерований вміст для покращення своїх продуктів, зокрема моделей AI. Не надсилайте приватні дані до пробного сервісу. Про інших провайдерів читайте безкоштовний LLM API для комерційного використання.

Безкоштовні моделі NIM сьогодні

Каталог перелічує ці безкоштовні моделі NVIDIA. Ліміт діє для кожного облікового запису, тому всі моделі ділять однакову кількість запитів за хвилину.

Безкоштовні моделі NVIDIA NIM у каталозі сьогодні
МодельБезкоштовно наКонтекстБезкоштовні ліміти (найкращі)ІнструментиЗображення
GLM 5.3 FlashNVIDIA NIM1M40 запитів/хв
40 RPM
ТакНі
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingНіНі
Nemotron-3 Ultra 550BNVIDIA NIM1M40 запитів/хв
40 RPM
ТакНі
Muse Glimmer 30BNVIDIA NIM131K40 запитів/хв
40 RPM
ТакТак
Gemma 4 31BNVIDIA NIM262K40 запитів/хв
40 RPM
НіНі
Poolside Laguna XS 2.1NVIDIA NIM262K40 запитів/хв
40 RPM
ТакНі
Nemotron 3 Super 120BNVIDIA NIM262K40 запитів/хв
40 RPM
ТакНі
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 запитів/хв
40 RPM
ТакНі
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 запитів/хв
40 RPM
НіТак
GPT-OSS 20BNVIDIA NIM131K40 запитів/хв
40 RPM
ТакНі
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 запитів/хв
40 RPM
НіТак
Ising Calibration 1.5 31BNVIDIA NIM131K40 запитів/хв
40 RPM
НіТак

Показано 12 із 19 відповідних безкоштовних моделей. Переглянути всі моделі.

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

ПостачальникВідома проблемаЩо робити
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

Як залишатися в межах ліміту

При 40 запитах за хвилину ви можете надсилати один запит кожні 1.5 секунди в середньому. Пачка паралельних запитів досягає ліміту за секунди. Використовуйте такі правила:

  1. Обмежте кількість паралельних запитів у вашому клієнті. Два або три одночасно безпечно для більшості агентів.
  2. Повторюйте кожну помилку 429 з експоненційною затримкою і jitter. Зупиніться після фіксованої кількості повторів.
  3. Рахуйте запити для всіх моделей разом. Ліміт діє для облікового запису, а не для кожної моделі.
  4. Надсилайте короткі й прості завдання до інших провайдерів. Залишайте NVIDIA для великих моделей, які лише NVIDIA надає безкоштовно.

Простий розподіл запитів на боці клієнта (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

Розподіліть навантаження через FreeLLMAPI

FreeLLMAPI це шлюз з відкритим кодом, який працює на вашому комп'ютері. Він розглядає NVIDIA як один пул з 40 запитів за хвилину для всього облікового запису. Перед надсиланням запиту він перевіряє цей пул. Коли пул заповнений, він надсилає запит до наступного безкоштовного провайдера у вашому ланцюжку.

  • Ліміт за хвилину для всього облікового запису встановлюється через PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Знизьте його, якщо ваш обліковий запис показує менший ліміт.
  • Щоб обмежити паралельні запити до NVIDIA, встановіть MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA.
  • Помилка 429 від NVIDIA ставить ключ на короткий час охолодження. Тоді маршрутизатор пробує інших провайдерів.
  • Заголовок X-Routed-Via показує, який провайдер відповів на кожен запит.

~/freellmapi/.env (встановлення через Docker)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

Встановлювач в один рядок зберігає свої налаштування в ~/freellmapi/.env. Додайте два рядки до цього файлу, потім знову запустіть контейнер. Типове обмеження NVIDIA становить 40 запитів за хвилину. Значення 0 вимикає ліміт для всього облікового запису для цього провайдера.

Резервне перемикання не підвищує ліміт NVIDIA. Воно використовує інші безкоштовні тарифи, наприклад Groq, Gemini і Cloudflare, коли NVIDIA заповнений.

Використовуйте кожну з цих моделей через один ключ. FreeLLMAPI це маршрутизатор з відкритим кодом, який ви розгортаєте самі. Він об'єднує всі ці безкоштовні тарифи за однією кінцевою точкою, сумісною з OpenAI, і переходить до наступного, коли один з них досягає ліміту. Переглянути каталог або або почніть роботу.

Часті запитання

Який ліміт API NVIDIA NIM?

NVIDIA не публікує одне число. Співробітники кажуть, що ліміти різні для кожної моделі, а свій ліміт можна побачити у верхньому правому куті build.nvidia.com. Більшість безкоштовних облікових записів повідомляють 40 запитів за хвилину.

Як збільшити ліміт NVIDIA NIM з 40 RPM?

Ми не знайшли офіційного процесу для безкоштовних облікових записів. FAQ NVIDIA вказує на самостійне розгортання, платного серверного партнера, наприклад Hugging Face, або пробну версію NVIDIA AI Enterprise для більшої місткості.

Чи використовує NVIDIA NIM досі кредити?

Ні. Співробітники NVIDIA сказали у вересні 2025, що build.nvidia.com більше не використовує кредити. Пробне використання тепер контролюється лімітами запитів.

Чи можна використовувати безкоштовний API NVIDIA у продакшені?

Ні. Умови пробної версії NVIDIA API дозволяють лише обмежене пробне використання, а не продакшен. Для продакшену потрібна ліцензія NVIDIA AI Enterprise або платний провайдер.

Ліміт NVIDIA 40 RPM діє для моделі чи для облікового запису?

Безкоштовні користувачі повідомляють один ліміт для всього облікового запису. Плануйте, що всі моделі ділять його, і розподіляйте запити між усіма моделями, які ви викликаєте.

Схожі посібники

Джерела

Усі посібники · Переглянути всі безкоштовні моделі