Trang chủ / Hướng dẫn / Giới hạn tốc độ API NVIDIA NIM

Giới hạn tốc độ API NVIDIA NIM

API Catalog miễn phí của NVIDIA trên build.nvidia.com có giới hạn tốc độ, không có số dư tín dụng. Nhiều tài khoản miễn phí báo mức trần 40 yêu cầu mỗi phút. Trang này giải thích NVIDIA nói gì về giới hạn, vì sao việc yêu cầu tăng giới hạn hiếm khi thành công và cách giữ dưới giới hạn.

Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.

NVIDIA nói gì về giới hạn

Tháng 9 năm 2025, một nhân viên NVIDIA viết trên diễn đàn nhà phát triển: "We no longer use a credit-based system for build.nvidia.com." Giới hạn tốc độ cho việc dùng thử đã thay thế tín dụng. Cùng câu trả lời đó nói rằng giới hạn khác nhau theo từng mô hình và NVIDIA không công bố chúng. Bạn có thể xem giới hạn tốc độ tối đa của mình ở góc trên bên phải của build.nvidia.com.

FAQ của NIM nói rằng số lần gọi được phép trong một khoảng thời gian "is designed to serve evaluation and prototyping needs only". Thành viên của NVIDIA Developer Program được truy cập miễn phí vào các điểm cuối NIM API để làm mẫu thử.

Về giá trị 40 RPM: 40 yêu cầu mỗi phút là giá trị mà phần lớn tài khoản miễn phí báo trên diễn đàn NVIDIA. Giá trị này không có trên trang chính thức nào của NVIDIA. Hãy kiểm tra tài khoản của bạn để biết giới hạn thực tế.

Bạn có thể tăng giới hạn 40 RPM không?

Diễn đàn nhà phát triển NVIDIA có nhiều bài viết yêu cầu 200 RPM trở lên. Chúng tôi không tìm thấy quy trình chính thức nào để tăng giới hạn cho tài khoản miễn phí. Một câu trả lời trên diễn đàn nói rằng NVIDIA không thể tăng giới hạn thủ công cho tài khoản cá nhân miễn phí. Chúng tôi không xác nhận được câu trả lời này đến từ nhân viên NVIDIA.

FAQ của NIM đưa ra các lựa chọn khác để có thêm năng lực xử lý:

  • Tự lưu trữ NIM trên nhà cung cấp đám mây của bạn hoặc trên GPU riêng.
  • Dùng một NIM API serverless cho môi trường sản xuất từ đối tác, ví dụ Hugging Face, với giá theo mức sử dụng.
  • Bắt đầu bản dùng thử NVIDIA AI Enterprise 90 ngày, dành cho triển khai sản xuất.

Đừng tạo thêm tài khoản NVIDIA để có nhiều yêu cầu hơn. Điều khoản dùng thử cho phép NVIDIA đặt giới hạn sử dụng, và truy cập miễn phí chỉ dành cho mục đích dùng thử có giới hạn.

Các cách để có thông lượng cao hơn
Lựa chọnChi phíCó thêm yêu cầu không?
Hỏi trên diễn đàn để xin giới hạn miễn phí cao hơnMiễn phíKhông tìm thấy quy trình chính thức
Giãn yêu cầu xuống dưới giới hạnMiễn phíKhông, nhưng ít lỗi 429 hơn
Thêm nhà cung cấp miễn phí khác với chuyển dự phòngMiễn phíCó, từ nhà cung cấp khác
NIM serverless từ đối tácTrả theo mức dùngCó
Tự lưu trữ NIMGPU của bạnCó

Điều khoản dùng thử cho phép gì

Mục 1.2 của Điều khoản Dùng thử API NVIDIA cấp quyền truy cập "for limited trial purposes only". Điều này loại trừ việc dùng dịch vụ hoặc đầu ra của nó trong sản xuất. Mục 1.4 nói rằng nếu không có đăng ký, bạn chỉ được dùng dịch vụ để thử nghiệm và đánh giá nội bộ.

Mục 3.3 nói rằng NVIDIA thu thập nội dung của bạn và nội dung được tạo ra để cải thiện sản phẩm, bao gồm mô hình AI. Đừng gửi dữ liệu riêng tư đến dịch vụ dùng thử. Đọc sử dụng API LLM miễn phí cho mục đích thương mại để biết về các nhà cung cấp khác.

Mô hình NIM miễn phí hiện nay

Danh mục liệt kê các mô hình NVIDIA miễn phí này. Giới hạn áp dụng theo tài khoản, nên mọi mô hình dùng chung số yêu cầu mỗi phút.

Mô hình NVIDIA NIM miễn phí trong danh mục hiện nay
Mô hìnhMiễn phí trênNgữ cảnhGiới hạn miễn phí (ưu đãi tốt nhất)Công cụThị giác
GLM 5.3 FlashNVIDIA NIM1M40 yêu cầu/phút
40 RPM
CóKhông
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingKhôngKhông
Nemotron-3 Ultra 550BNVIDIA NIM1M40 yêu cầu/phút
40 RPM
CóKhông
Muse Glimmer 30BNVIDIA NIM131K40 yêu cầu/phút
40 RPM
CóCó
Gemma 4 31BNVIDIA NIM262K40 yêu cầu/phút
40 RPM
KhôngKhông
Poolside Laguna XS 2.1NVIDIA NIM262K40 yêu cầu/phút
40 RPM
CóKhông
Nemotron 3 Super 120BNVIDIA NIM262K40 yêu cầu/phút
40 RPM
CóKhông
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 yêu cầu/phút
40 RPM
CóKhông
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 yêu cầu/phút
40 RPM
KhôngCó
GPT-OSS 20BNVIDIA NIM131K40 yêu cầu/phút
40 RPM
CóKhông
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 yêu cầu/phút
40 RPM
KhôngCó
Ising Calibration 1.5 31BNVIDIA NIM131K40 yêu cầu/phút
40 RPM
KhôngCó

Đang hiển thị 12 trong số 19 mô hình miễn phí phù hợp. Xem tất cả mô hình.

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Nhà cung cấpVấn đề đã biếtCách xử lý
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Cách giữ dưới giới hạn

Với 40 yêu cầu mỗi phút, trung bình bạn có thể gửi một yêu cầu mỗi 1.5 giây. Một loạt yêu cầu song song sẽ chạm giới hạn trong vài giây. Hãy dùng các quy tắc sau:

  1. Giới hạn số yêu cầu song song trong client của bạn. Hai hoặc ba yêu cầu cùng lúc là an toàn với phần lớn agent.
  2. Thử lại mỗi lỗi 429 với backoff hàm mũ và jitter. Dừng sau một số lần thử lại cố định.
  3. Đếm yêu cầu trên tất cả mô hình. Giới hạn áp dụng cho tài khoản, không phải cho từng mô hình.
  4. Gửi các tác vụ ngắn, đơn giản đến nhà cung cấp khác. Giữ NVIDIA cho các mô hình lớn mà chỉ NVIDIA phục vụ miễn phí.

Giãn nhịp yêu cầu phía client đơn giản (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

Chia tải với FreeLLMAPI

FreeLLMAPI là gateway mã nguồn mở chạy trên máy tính của bạn. Nó coi NVIDIA là một nhóm 40 yêu cầu mỗi phút cho toàn bộ tài khoản. Trước khi gửi yêu cầu, nó kiểm tra nhóm đó. Khi nhóm đầy, nó gửi yêu cầu đến nhà cung cấp miễn phí tiếp theo trong chuỗi của bạn.

  • Giới hạn số yêu cầu mỗi phút cho toàn tài khoản được đặt bằng PROVIDER_MINUTE_REQUEST_CAP_NVIDIA. Hãy giảm nó nếu tài khoản của bạn hiển thị giới hạn nhỏ hơn.
  • Để giới hạn số yêu cầu song song đến NVIDIA, đặt MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA.
  • Một lỗi 429 từ NVIDIA đưa khóa vào thời gian nghỉ ngắn. Sau đó bộ định tuyến thử các nhà cung cấp khác.
  • Header X-Routed-Via cho biết nhà cung cấp nào đã trả lời từng yêu cầu.

~/freellmapi/.env (cài đặt Docker)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

Trình cài đặt một dòng lưu thiết lập trong ~/freellmapi/.env. Thêm hai dòng vào tệp đó, rồi khởi động lại container. Mức trần NVIDIA mặc định là 40 yêu cầu mỗi phút. Giá trị 0 tắt cổng giới hạn toàn tài khoản cho nhà cung cấp đó.

Chuyển dự phòng không làm tăng giới hạn của NVIDIA. Nó dùng các gói miễn phí khác, ví dụ Groq, Gemini và Cloudflare, khi NVIDIA đã đầy.

Dùng tất cả các mô hình này qua một khóa duy nhất. FreeLLMAPI là bộ định tuyến mã nguồn mở, tự lưu trữ. Nó đặt tất cả các gói miễn phí này sau một endpoint duy nhất tương thích OpenAI, và tự chuyển sang nhà cung cấp khác khi một nhà cung cấp bị giới hạn tốc độ. Xem danh mục hoặc bắt đầu.

Câu hỏi thường gặp

Giới hạn tốc độ API NVIDIA NIM là bao nhiêu?

NVIDIA không công bố một con số duy nhất. Nhân viên cho biết giới hạn khác nhau theo mô hình, và bạn có thể xem giới hạn của mình ở góc trên bên phải của build.nvidia.com. Phần lớn tài khoản miễn phí báo 40 yêu cầu mỗi phút.

Làm sao để tăng giới hạn 40 RPM của NVIDIA NIM?

Chúng tôi không tìm thấy quy trình chính thức nào cho tài khoản miễn phí. FAQ của NVIDIA chỉ đến việc tự lưu trữ, một đối tác serverless trả phí như Hugging Face, hoặc bản dùng thử NVIDIA AI Enterprise để có thêm năng lực xử lý.

NVIDIA NIM có còn dùng tín dụng không?

Không. Nhân viên NVIDIA nói vào tháng 9 năm 2025 rằng build.nvidia.com không còn dùng tín dụng. Việc dùng thử hiện do giới hạn tốc độ kiểm soát.

Tôi có thể dùng API NVIDIA miễn phí trong sản xuất không?

Không. Điều khoản Dùng thử API NVIDIA chỉ cho phép dùng thử có giới hạn, không cho sản xuất. Dùng trong sản xuất cần giấy phép NVIDIA AI Enterprise hoặc một nhà cung cấp trả phí.

Giới hạn 40 RPM của NVIDIA áp dụng theo mô hình hay theo tài khoản?

Người dùng miễn phí báo một giới hạn chung cho toàn tài khoản. Hãy lập kế hoạch để mọi mô hình dùng chung giới hạn này, và giãn yêu cầu trên mọi mô hình bạn gọi.

Hướng dẫn liên quan

Nguồn

Tất cả hướng dẫn · Xem tất cả mô hình miễn phí