NVIDIA NIM API 속도 제한
build.nvidia.com의 무료 NVIDIA API 카탈로그에는 크레딧 잔액이 아니라 속도 제한이 있습니다. 많은 무료 계정이 분당 40개 요청 상한을 보고합니다. 이 페이지는 NVIDIA가 이 한도에 대해 무엇을 말하는지, 한도 상향 요청이 왜 거의 통하지 않는지, 한도 아래에 머무르는 방법을 설명합니다.
코드, 모델 이름, 실시간 카탈로그 레이블은 영어로 표시합니다.
NVIDIA가 한도에 대해 말하는 것
2025년 9월, NVIDIA 직원이 개발자 포럼에 "우리는 더 이상 build.nvidia.com에 크레딧 기반 시스템을 사용하지 않습니다."라고 썼습니다. 체험판 사용에 대한 속도 제한이 크레딧을 대체했습니다. 같은 답변은 한도가 모델마다 다르며 NVIDIA가 이를 공개하지 않는다고 말합니다. 최대 속도 제한은 build.nvidia.com 오른쪽 위에서 확인할 수 있습니다.
NIM FAQ는 일정 기간에 허용되는 호출 수가 "평가 및 프로토타이핑 요구만 충족하도록 설계되었다"고 말합니다. NVIDIA Developer Program 회원은 프로토타이핑을 위해 NIM API 엔드포인트에 무료로 접근할 수 있습니다.
분당 40 RPM 한도를 올릴 수 있나요?
NVIDIA 개발자 포럼에는 분당 200 RPM 이상을 요청하는 글이 많습니다. 무료 계정의 한도를 올려 주는 공식 절차는 찾지 못했습니다. 포럼의 한 답변은 NVIDIA가 무료 개인 계정의 한도를 수동으로 올릴 수 없다고 말합니다. 이 답변이 NVIDIA 직원의 것인지는 확인하지 못했습니다.
NIM FAQ는 더 많은 용량을 위한 다른 선택지를 제시합니다:
- 클라우드 제공업체나 자신의 GPU에 NIM을 직접 호스팅하세요.
- 파트너의 프로덕션 서버리스 NIM API를 사용하세요. 예를 들어 Hugging Face이며, 사용량에 따라 요금이 청구됩니다.
- 프로덕션 배포를 위한 90일 NVIDIA AI Enterprise 체험판을 시작하세요.
요청을 더 얻으려고 NVIDIA 계정을 더 만들지 마세요. 체험판 약관은 NVIDIA가 사용 한도를 정할 수 있도록 하며, 무료 접근은 제한된 체험 목적으로만 제공됩니다.
| 선택지 | 비용 | 요청을 더 보낼 수 있나요? |
|---|---|---|
| 포럼에 더 높은 무료 한도 요청하기 | 무료 | 공식 절차를 찾지 못함 |
| 한도 아래로 요청 속도 조절하기 | 무료 | 아니요, 하지만 429 오류는 줄어듭니다 |
| 실패 전환과 함께 다른 무료 제공업체 추가하기 | 무료 | 예, 다른 제공업체를 통해 |
| 파트너의 서버리스 NIM | 사용량에 따라 지불 | 예 |
| NIM 자체 호스팅 | 자체 GPU | 예 |
체험판 약관이 허용하는 것
NVIDIA API 체험판 약관의 1.2절은 "제한된 체험 목적으로만" 접근을 허용합니다. 프로덕션에서 서비스나 그 출력을 사용하는 것은 제외합니다. 1.4절은 구독이 없다면 내부 테스트와 평가에만 서비스를 사용할 수 있다고 말합니다.
3.3절은 NVIDIA가 AI 모델을 포함한 제품을 개선하기 위해 사용자의 콘텐츠와 생성된 콘텐츠를 수집한다고 말합니다. 체험판 서비스에 개인 데이터를 보내지 마세요. 다른 제공업체는 무료 LLM API 상업적 사용을 읽으세요.
오늘의 무료 NIM 모델
카탈로그는 다음 무료 NVIDIA 모델을 나열합니다. 한도는 계정 단위이므로, 모든 모델이 같은 분당 요청 수를 공유합니다.
| 모델 | 무료 제공 | 컨텍스트 | 무료 한도 (가장 좋은 조건) | 도구 | 비전 |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 요청/분 40 RPM | 예 | 아니요 |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | 아니요 | 아니요 |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 요청/분 40 RPM | 예 | 아니요 |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 요청/분 40 RPM | 예 | 예 |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 요청/분 40 RPM | 아니요 | 아니요 |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 요청/분 40 RPM | 예 | 아니요 |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 요청/분 40 RPM | 예 | 아니요 |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 요청/분 40 RPM | 예 | 아니요 |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 요청/분 40 RPM | 아니요 | 예 |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 요청/분 40 RPM | 예 | 아니요 |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 요청/분 40 RPM | 아니요 | 예 |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 요청/분 40 RPM | 아니요 | 예 |
일치하는 무료 모델 19개 중 12개를 표시합니다. 모든 모델 보기.
FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.
| 제공업체 | 알려진 문제 | 해결 방법 |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.
한도 아래에 머무르는 방법
분당 40개 요청에서는 평균 1.5초마다 요청 하나를 보낼 수 있습니다. 병렬 요청이 몰리면 몇 초 만에 한도에 도달합니다. 다음 규칙을 사용하세요:
- 클라이언트의 병렬 요청 수를 제한하세요. 한 번에 두세 개면 대부분의 에이전트에 안전합니다.
- 429 오류마다 지수 백오프와 지터를 적용해 다시 시도하세요. 재시도 횟수를 정해 두고 멈추세요.
- 모든 모델에 걸쳐 요청 수를 세세요. 한도는 모델별이 아니라 계정 단위입니다.
- 짧고 단순한 작업은 다른 제공업체로 보내세요. NVIDIA는 NVIDIA만 무료로 제공하는 대형 모델에 남겨 두세요.
간단한 클라이언트 측 속도 조절 (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")FreeLLMAPI로 부하 나누기
FreeLLMAPI는 사용자의 컴퓨터에서 실행되는 오픈 소스 게이트웨이입니다. NVIDIA를 계정 전체에 대한 분당 40개 요청 풀 하나로 취급합니다. 요청을 보내기 전에 이 풀을 확인합니다. 풀이 가득 차면 요청을 체인의 다음 무료 제공업체로 보냅니다.
- 계정 전체의 분당 상한은
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA로 설정합니다. 계정에 더 작은 한도가 보이면 이 값을 낮추세요. - NVIDIA로 가는 병렬 요청을 제한하려면
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA를 설정하세요. - NVIDIA의 429는 키를 짧은 쿨다운에 넣습니다. 그러면 라우터가 다른 제공업체를 시도합니다.
X-Routed-Via헤더는 각 요청에 응답한 제공업체를 보여 줍니다.
~/freellmapi/.env (Docker 설치)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -d원라인 설치 프로그램은 설정을 ~/freellmapi/.env에 보관합니다. 그 파일에 두 줄을 추가한 다음 컨테이너를 다시 시작하세요. 기본 NVIDIA 상한은 분당 40개 요청입니다. 값을 0으로 두면 해당 제공업체의 계정 전체 게이트가 꺼집니다.
실패 전환은 NVIDIA의 한도를 올리지 않습니다. NVIDIA가 가득 찼을 때 Groq, Gemini, Cloudflare 같은 다른 무료 요금제를 사용합니다.
자주 묻는 질문
NVIDIA NIM API 속도 제한은 얼마인가요?
NVIDIA는 하나의 숫자를 공개하지 않습니다. 직원들은 한도가 모델마다 다르며 build.nvidia.com 오른쪽 위에서 자신의 한도를 볼 수 있다고 말합니다. 대부분의 무료 계정은 분당 40개 요청을 보고합니다.
NVIDIA NIM 속도 제한을 분당 40 RPM에서 어떻게 올리나요?
무료 계정에 대한 공식 절차는 찾지 못했습니다. NVIDIA FAQ는 더 많은 용량을 위해 자체 호스팅, Hugging Face 같은 유료 서버리스 파트너, 또는 NVIDIA AI Enterprise 체험판을 안내합니다.
NVIDIA NIM은 아직 크레딧을 사용하나요?
아니요. NVIDIA 직원은 2025년 9월에 build.nvidia.com이 더 이상 크레딧을 사용하지 않는다고 말했습니다. 체험판 사용은 이제 속도 제한으로 관리됩니다.
무료 NVIDIA API를 프로덕션에서 사용할 수 있나요?
아니요. NVIDIA API 체험판 약관은 프로덕션이 아니라 제한된 체험 사용만 허용합니다. 프로덕션 사용에는 NVIDIA AI Enterprise 라이선스나 유료 제공업체가 필요합니다.
NVIDIA 분당 40 RPM 한도는 모델별인가요, 계정별인가요?
무료 사용자는 계정 전체에 대해 하나의 한도가 있다고 보고합니다. 모든 모델이 이를 공유한다고 가정하고, 호출하는 모든 모델에 걸쳐 요청 속도를 조절하세요.
관련 가이드
- free nvidia api
- 무료 LLM API 속도 제한
- Groq 요율 제한 도달 (429)
- Gemini API 할당량 초과 (429 RESOURCE_EXHAUSTED)
- 상업적 사용을 위한 무료 LLM API
출처
- NVIDIA developer forum: credit system replaced by rate limits (20 November 2026 확인)
- NVIDIA NIM FAQ (20 November 2026 확인)
- NVIDIA API Trial Terms of Service (PDF) (20 November 2026 확인)
- NVIDIA developer forum: request to raise 40 RPM (20 November 2026 확인)
- NVIDIA API Catalog: API reference (20 November 2026 확인)
- FreeLLMAPI docs: Quota and cooldown engine (20 November 2026 확인)