Giới hạn tốc độ API NVIDIA NIM
API Catalog miễn phí của NVIDIA trên build.nvidia.com có giới hạn tốc độ, không có số dư tín dụng. Nhiều tài khoản miễn phí báo mức trần 40 yêu cầu mỗi phút. Trang này giải thích NVIDIA nói gì về giới hạn, vì sao việc yêu cầu tăng giới hạn hiếm khi thành công và cách giữ dưới giới hạn.
Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.
NVIDIA nói gì về giới hạn
Tháng 9 năm 2025, một nhân viên NVIDIA viết trên diễn đàn nhà phát triển: "We no longer use a credit-based system for build.nvidia.com." Giới hạn tốc độ cho việc dùng thử đã thay thế tín dụng. Cùng câu trả lời đó nói rằng giới hạn khác nhau theo từng mô hình và NVIDIA không công bố chúng. Bạn có thể xem giới hạn tốc độ tối đa của mình ở góc trên bên phải của build.nvidia.com.
FAQ của NIM nói rằng số lần gọi được phép trong một khoảng thời gian "is designed to serve evaluation and prototyping needs only". Thành viên của NVIDIA Developer Program được truy cập miễn phí vào các điểm cuối NIM API để làm mẫu thử.
Bạn có thể tăng giới hạn 40 RPM không?
Diễn đàn nhà phát triển NVIDIA có nhiều bài viết yêu cầu 200 RPM trở lên. Chúng tôi không tìm thấy quy trình chính thức nào để tăng giới hạn cho tài khoản miễn phí. Một câu trả lời trên diễn đàn nói rằng NVIDIA không thể tăng giới hạn thủ công cho tài khoản cá nhân miễn phí. Chúng tôi không xác nhận được câu trả lời này đến từ nhân viên NVIDIA.
FAQ của NIM đưa ra các lựa chọn khác để có thêm năng lực xử lý:
- Tự lưu trữ NIM trên nhà cung cấp đám mây của bạn hoặc trên GPU riêng.
- Dùng một NIM API serverless cho môi trường sản xuất từ đối tác, ví dụ Hugging Face, với giá theo mức sử dụng.
- Bắt đầu bản dùng thử NVIDIA AI Enterprise 90 ngày, dành cho triển khai sản xuất.
Đừng tạo thêm tài khoản NVIDIA để có nhiều yêu cầu hơn. Điều khoản dùng thử cho phép NVIDIA đặt giới hạn sử dụng, và truy cập miễn phí chỉ dành cho mục đích dùng thử có giới hạn.
| Lựa chọn | Chi phí | Có thêm yêu cầu không? |
|---|---|---|
| Hỏi trên diễn đàn để xin giới hạn miễn phí cao hơn | Miễn phí | Không tìm thấy quy trình chính thức |
| Giãn yêu cầu xuống dưới giới hạn | Miễn phí | Không, nhưng ít lỗi 429 hơn |
| Thêm nhà cung cấp miễn phí khác với chuyển dự phòng | Miễn phí | Có, từ nhà cung cấp khác |
| NIM serverless từ đối tác | Trả theo mức dùng | Có |
| Tự lưu trữ NIM | GPU của bạn | Có |
Điều khoản dùng thử cho phép gì
Mục 1.2 của Điều khoản Dùng thử API NVIDIA cấp quyền truy cập "for limited trial purposes only". Điều này loại trừ việc dùng dịch vụ hoặc đầu ra của nó trong sản xuất. Mục 1.4 nói rằng nếu không có đăng ký, bạn chỉ được dùng dịch vụ để thử nghiệm và đánh giá nội bộ.
Mục 3.3 nói rằng NVIDIA thu thập nội dung của bạn và nội dung được tạo ra để cải thiện sản phẩm, bao gồm mô hình AI. Đừng gửi dữ liệu riêng tư đến dịch vụ dùng thử. Đọc sử dụng API LLM miễn phí cho mục đích thương mại để biết về các nhà cung cấp khác.
Mô hình NIM miễn phí hiện nay
Danh mục liệt kê các mô hình NVIDIA miễn phí này. Giới hạn áp dụng theo tài khoản, nên mọi mô hình dùng chung số yêu cầu mỗi phút.
| Mô hình | Miễn phí trên | Ngữ cảnh | Giới hạn miễn phí (ưu đãi tốt nhất) | Công cụ | Thị giác |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 yêu cầu/phút 40 RPM | Có | Không |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | Không | Không |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 yêu cầu/phút 40 RPM | Có | Không |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 yêu cầu/phút 40 RPM | Có | Có |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 yêu cầu/phút 40 RPM | Không | Không |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 yêu cầu/phút 40 RPM | Có | Không |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 yêu cầu/phút 40 RPM | Có | Không |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 yêu cầu/phút 40 RPM | Có | Không |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 yêu cầu/phút 40 RPM | Không | Có |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 yêu cầu/phút 40 RPM | Có | Không |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 yêu cầu/phút 40 RPM | Không | Có |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 yêu cầu/phút 40 RPM | Không | Có |
Đang hiển thị 12 trong số 19 mô hình miễn phí phù hợp. Xem tất cả mô hình.
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
| Nhà cung cấp | Vấn đề đã biết | Cách xử lý |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
Cách giữ dưới giới hạn
Với 40 yêu cầu mỗi phút, trung bình bạn có thể gửi một yêu cầu mỗi 1.5 giây. Một loạt yêu cầu song song sẽ chạm giới hạn trong vài giây. Hãy dùng các quy tắc sau:
- Giới hạn số yêu cầu song song trong client của bạn. Hai hoặc ba yêu cầu cùng lúc là an toàn với phần lớn agent.
- Thử lại mỗi lỗi 429 với backoff hàm mũ và jitter. Dừng sau một số lần thử lại cố định.
- Đếm yêu cầu trên tất cả mô hình. Giới hạn áp dụng cho tài khoản, không phải cho từng mô hình.
- Gửi các tác vụ ngắn, đơn giản đến nhà cung cấp khác. Giữ NVIDIA cho các mô hình lớn mà chỉ NVIDIA phục vụ miễn phí.
Giãn nhịp yêu cầu phía client đơn giản (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")Chia tải với FreeLLMAPI
FreeLLMAPI là gateway mã nguồn mở chạy trên máy tính của bạn. Nó coi NVIDIA là một nhóm 40 yêu cầu mỗi phút cho toàn bộ tài khoản. Trước khi gửi yêu cầu, nó kiểm tra nhóm đó. Khi nhóm đầy, nó gửi yêu cầu đến nhà cung cấp miễn phí tiếp theo trong chuỗi của bạn.
- Giới hạn số yêu cầu mỗi phút cho toàn tài khoản được đặt bằng
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Hãy giảm nó nếu tài khoản của bạn hiển thị giới hạn nhỏ hơn. - Để giới hạn số yêu cầu song song đến NVIDIA, đặt
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA. - Một lỗi 429 từ NVIDIA đưa khóa vào thời gian nghỉ ngắn. Sau đó bộ định tuyến thử các nhà cung cấp khác.
- Header
X-Routed-Viacho biết nhà cung cấp nào đã trả lời từng yêu cầu.
~/freellmapi/.env (cài đặt Docker)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dTrình cài đặt một dòng lưu thiết lập trong ~/freellmapi/.env. Thêm hai dòng vào tệp đó, rồi khởi động lại container. Mức trần NVIDIA mặc định là 40 yêu cầu mỗi phút. Giá trị 0 tắt cổng giới hạn toàn tài khoản cho nhà cung cấp đó.
Chuyển dự phòng không làm tăng giới hạn của NVIDIA. Nó dùng các gói miễn phí khác, ví dụ Groq, Gemini và Cloudflare, khi NVIDIA đã đầy.
Câu hỏi thường gặp
Giới hạn tốc độ API NVIDIA NIM là bao nhiêu?
NVIDIA không công bố một con số duy nhất. Nhân viên cho biết giới hạn khác nhau theo mô hình, và bạn có thể xem giới hạn của mình ở góc trên bên phải của build.nvidia.com. Phần lớn tài khoản miễn phí báo 40 yêu cầu mỗi phút.
Làm sao để tăng giới hạn 40 RPM của NVIDIA NIM?
Chúng tôi không tìm thấy quy trình chính thức nào cho tài khoản miễn phí. FAQ của NVIDIA chỉ đến việc tự lưu trữ, một đối tác serverless trả phí như Hugging Face, hoặc bản dùng thử NVIDIA AI Enterprise để có thêm năng lực xử lý.
NVIDIA NIM có còn dùng tín dụng không?
Không. Nhân viên NVIDIA nói vào tháng 9 năm 2025 rằng build.nvidia.com không còn dùng tín dụng. Việc dùng thử hiện do giới hạn tốc độ kiểm soát.
Tôi có thể dùng API NVIDIA miễn phí trong sản xuất không?
Không. Điều khoản Dùng thử API NVIDIA chỉ cho phép dùng thử có giới hạn, không cho sản xuất. Dùng trong sản xuất cần giấy phép NVIDIA AI Enterprise hoặc một nhà cung cấp trả phí.
Giới hạn 40 RPM của NVIDIA áp dụng theo mô hình hay theo tài khoản?
Người dùng miễn phí báo một giới hạn chung cho toàn tài khoản. Hãy lập kế hoạch để mọi mô hình dùng chung giới hạn này, và giãn yêu cầu trên mọi mô hình bạn gọi.
Hướng dẫn liên quan
- free nvidia api
- Giới hạn tốc độ API LLM miễn phí
- Groq đạt giới hạn tốc độ (429)
- Gemini API vượt hạn mức (429 RESOURCE_EXHAUSTED)
- API LLM miễn phí cho mục đích thương mại
Nguồn
- NVIDIA developer forum: credit system replaced by rate limits (đã kiểm tra 20 November 2026)
- NVIDIA NIM FAQ (đã kiểm tra 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (đã kiểm tra 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (đã kiểm tra 20 November 2026)
- NVIDIA API Catalog: API reference (đã kiểm tra 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (đã kiểm tra 20 November 2026)