Главная / Руководства / Лимит запросов NVIDIA NIM API

Лимит запросов NVIDIA NIM API

Бесплатный NVIDIA API Catalog на build.nvidia.com имеет лимит запросов, а не баланс кредитов. Многие бесплатные аккаунты сообщают о пределе 40 запросов в минуту. Эта страница объясняет, что NVIDIA говорит о лимите, почему запрос на увеличение обычно не работает и как оставаться в его рамках.

Код, названия моделей и метки живого каталога показаны на английском языке.

Что NVIDIA говорит о лимите

В сентябре 2025 года сотрудник NVIDIA написал на форуме разработчиков: "We no longer use a credit-based system for build.nvidia.com." Вместо кредитов для пробного использования ввели лимиты запросов. В том же ответе сказано, что лимиты различаются для каждой модели и NVIDIA их не публикует. Свой максимальный лимит можно увидеть в правом верхнем углу build.nvidia.com.

В FAQ NIM сказано, что число вызовов за период "is designed to serve evaluation and prototyping needs only". Участники NVIDIA Developer Program получают бесплатный доступ к конечным точкам NIM API для прототипирования.

О значении 40 RPM: 40 запросов в минуту это значение, которое сообщает большинство бесплатных аккаунтов на форуме NVIDIA. На официальной странице NVIDIA его нет. Проверьте свой аккаунт, чтобы узнать реальный лимит.

Можно ли увеличить лимит 40 RPM?

На форуме разработчиков NVIDIA много сообщений с просьбой о 200 RPM или больше. Официальной процедуры, которая повышает лимит бесплатного аккаунта, мы не нашли. Один ответ на форуме говорит, что NVIDIA не может вручную повысить лимиты для бесплатных личных аккаунтов. Мы не смогли подтвердить, что этот ответ написан сотрудником NVIDIA.

В FAQ NIM указаны другие варианты для большей мощности:

  • Разверните NIM у своего облачного провайдера или на собственных GPU.
  • Используйте серверный API NIM производственного уровня от партнера, например Hugging Face, с оплатой по факту использования.
  • Запустите 90-дневный пробный период NVIDIA AI Enterprise, который предназначен для производственного развертывания.

Не создавайте новые аккаунты NVIDIA ради большего числа запросов. Условия пробного использования позволяют NVIDIA задавать лимиты, а бесплатный доступ предназначен только для ограниченных пробных целей.

Способы получить большую пропускную способность
ВариантСтоимостьБольше запросов?
Попросить на форуме более высокий бесплатный лимитБесплатноОфициальная процедура не найдена
Распределять запросы в пределах лимитаБесплатноНет, но меньше ошибок 429
Добавить другие бесплатные тарифы с переключениемБесплатноДа, за счет других провайдеров
Серверный NIM от партнераОплата по факту использованияДа
Собственный NIMВаши GPUДа

Что разрешают условия пробного использования

Раздел 1.2 Условий пробного использования NVIDIA API дает доступ "for limited trial purposes only". Он исключает использование сервиса или его результатов в производстве. Раздел 1.4 говорит, что без подписки вы можете использовать сервис только для внутреннего тестирования и оценки.

Раздел 3.3 говорит, что NVIDIA собирает ваш контент и созданный контент для улучшения своих продуктов, включая модели ИИ. Не отправляйте приватные данные в пробный сервис. Для других провайдеров читайте статью Коммерческое использование бесплатного LLM API.

Бесплатные модели NIM сегодня

В каталоге перечислены эти бесплатные модели NVIDIA. Лимит действует на аккаунт, поэтому все модели делят одно число запросов в минуту.

Бесплатные модели NVIDIA NIM в каталоге сегодня
МодельБесплатно вКонтекстБесплатные лимиты (лучшее предложение)ИнструментыЗрение
GLM 5.3 FlashNVIDIA NIM1M40 запр./мин
40 RPM
ДаНет
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingНетНет
Nemotron-3 Ultra 550BNVIDIA NIM1M40 запр./мин
40 RPM
ДаНет
Muse Glimmer 30BNVIDIA NIM131K40 запр./мин
40 RPM
ДаДа
Gemma 4 31BNVIDIA NIM262K40 запр./мин
40 RPM
НетНет
Poolside Laguna XS 2.1NVIDIA NIM262K40 запр./мин
40 RPM
ДаНет
Nemotron 3 Super 120BNVIDIA NIM262K40 запр./мин
40 RPM
ДаНет
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 запр./мин
40 RPM
ДаНет
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 запр./мин
40 RPM
НетДа
GPT-OSS 20BNVIDIA NIM131K40 запр./мин
40 RPM
ДаНет
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 запр./мин
40 RPM
НетДа
Ising Calibration 1.5 31BNVIDIA NIM131K40 запр./мин
40 RPM
НетДа

Показано 12 из 19 подходящих бесплатных моделей. Смотреть все модели.

Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.

ПровайдерИзвестная проблемаЧто делать
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.

Как оставаться в рамках лимита

При 40 запросах в минуту в среднем можно отправлять один запрос каждые 1.5 секунды. Пакет параллельных запросов достигает лимита за секунды. Используйте эти правила:

  1. Ограничьте число параллельных запросов в клиенте. Для большинства агентов безопасно два или три одновременно.
  2. Повторяйте каждый 429 с экспоненциальной задержкой и джиттером. Остановитесь после заданного числа повторов.
  3. Считайте запросы по всем моделям. Лимит действует на аккаунт, а не на каждую модель.
  4. Отправляйте короткие и простые задачи другим провайдерам. Оставьте NVIDIA для больших моделей, которые бесплатно предоставляет только NVIDIA.

Простое регулирование на стороне клиента (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

Распределите нагрузку с FreeLLMAPI

FreeLLMAPI это шлюз с открытым исходным кодом, который работает на вашем компьютере. Он считает NVIDIA одним пулом из 40 запросов в минуту на весь аккаунт. Перед отправкой запроса он проверяет этот пул. Когда пул заполнен, он отправляет запрос следующему бесплатному провайдеру в вашей цепочке.

  • Лимит запросов в минуту на весь аккаунт задается через PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Уменьшите его, если ваш аккаунт показывает меньший лимит.
  • Чтобы ограничить параллельные запросы к NVIDIA, задайте MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA.
  • Ответ 429 от NVIDIA ставит ключ на короткую паузу. Затем маршрутизатор пробует других провайдеров.
  • Заголовок X-Routed-Via показывает, какой провайдер ответил на каждый запрос.

~/freellmapi/.env (установка через Docker)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

Установщик одной командой хранит настройки в ~/freellmapi/.env. Добавьте две строки в этот файл, затем запустите контейнер снова. Лимит NVIDIA по умолчанию составляет 40 запросов в минуту. Значение 0 выключает общий контроль аккаунта для этого провайдера.

Переключение не повышает лимит NVIDIA. Оно использует другие бесплатные тарифы, например Groq, Gemini и Cloudflare, когда лимит NVIDIA исчерпан.

Используйте каждую из этих моделей через один ключ. FreeLLMAPI это маршрутизатор с открытым исходным кодом, который работает на вашем сервере. Он объединяет все эти бесплатные тарифы за одной конечной точкой, совместимой с OpenAI, и переключается на другой провайдер, когда достигнут лимит запросов. Открыть каталог или перейти.

Часто задаваемые вопросы

Каков лимит запросов NVIDIA NIM API?

NVIDIA не публикует одно число. Сотрудники говорят, что лимиты различаются по моделям, а свой лимит можно увидеть в правом верхнем углу build.nvidia.com. Большинство бесплатных аккаунтов сообщают 40 запросов в минуту.

Как повысить лимит NVIDIA NIM с 40 RPM?

Для бесплатных аккаунтов мы не нашли официальной процедуры. В FAQ NVIDIA указаны собственный хостинг, платный серверный партнер, например Hugging Face, или пробный период NVIDIA AI Enterprise для большей мощности.

Использует ли NVIDIA NIM еще кредиты?

Нет. Сотрудники NVIDIA сказали в сентябре 2025 года, что build.nvidia.com больше не использует кредиты. Пробное использование теперь контролируется лимитами запросов.

Можно ли использовать бесплатный API NVIDIA в продакшене?

Нет. Условия пробного использования NVIDIA API разрешают только ограниченное пробное использование, но не продакшен. Для продакшена нужна лицензия NVIDIA AI Enterprise или платный провайдер.

Лимит 40 RPM у NVIDIA действует на модель или на аккаунт?

Бесплатные пользователи сообщают об одном лимите на весь аккаунт. Считайте, что все модели делят его, и распределяйте запросы по всем моделям, которые вы вызываете.

Похожие руководства

Источники

Все руководства · Смотреть все бесплатные модели