NVIDIA NIM API rate limit

build.nvidia.com પરના મફત NVIDIA API Catalog માં rate limit છે, credit balance નથી. ઘણા મફત accounts પ્રતિ મિનિટ 40 વિનંતીઓની મર્યાદા દર્શાવે છે. આ પૃષ્ઠ સમજાવે છે કે NVIDIA મર્યાદા વિશે શું કહે છે, વિનંતીઓ વધારવાથી ભાગ્યે જ કેમ કામ થાય છે, અને મર્યાદા હેઠળ કેવી રીતે રહેવું.

કોડ, મૉડેલ નામ અને લાઇવ કૅટલૉગ લેબલ અંગ્રેજીમાં બતાવવામાં આવે છે.

મર્યાદા વિશે NVIDIA શું કહે છે

સપ્ટેમ્બર 2025 માં, NVIDIA ના એક સ્ટાફ સભ્યે developer forum પર લખ્યું: "We no longer use a credit-based system for build.nvidia.com." trial ઉપયોગ માટેની rate limits એ credits ની જગ્યા લીધી. એ જ જવાબ કહે છે કે મર્યાદાઓ દરેક મૉડેલ માટે અલગ હોય છે અને NVIDIA તે પ્રકાશિત કરતું નથી. તમે build.nvidia.com ની ઉપર જમણી બાજુએ તમારી મહત્તમ rate limit જોઈ શકો છો.

NIM FAQ કહે છે કે સમયગાળામાં મંજૂર કૉલની સંખ્યા "is designed to serve evaluation and prototyping needs only". NVIDIA Developer Program ના સભ્યોને પ્રોટોટાઇપિંગ માટે NIM API endpoints ની મફત પહોંચ મળે છે.

40 RPM મૂલ્ય વિશે: પ્રતિ મિનિટ 40 વિનંતીઓ એ મૂલ્ય છે જે મોટાભાગના મફત accounts NVIDIA forum પર દર્શાવે છે. તે સત્તાવાર NVIDIA પૃષ્ઠ પર નથી. તમારી વાસ્તવિક મર્યાદા માટે તમારો પોતાનો account તપાસો.

શું તમે 40 RPM મર્યાદા વધારી શકો?

NVIDIA developer forum પર ઘણી પોસ્ટ્સ 200 RPM કે તેથી વધુ માંગે છે. મફત account માટે મર્યાદા વધારતી કોઈ સત્તાવાર પ્રક્રિયા અમને મળી નથી. એક forum જવાબ કહે છે કે NVIDIA મફત વ્યક્તિગત accounts માટે મર્યાદા જાતે વધારી શકતું નથી. આ જવાબ NVIDIA ના સ્ટાફ તરફથી છે તેની પુષ્ટિ અમે કરી શક્યા નથી.

NIM FAQ વધુ ક્ષમતા માટે બીજા વિકલ્પો આપે છે:

  • તમારા cloud provider પર અથવા તમારા પોતાના GPUs પર NIM self-host કરો.
  • ભાગીદાર પાસેથી production serverless NIM API વાપરો, ઉદાહરણ તરીકે Hugging Face, pay-per-use કિંમત સાથે.
  • 90-દિવસનું NVIDIA AI Enterprise trial શરૂ કરો, જે production deployments માટે છે.

વધુ વિનંતીઓ મેળવવા માટે વધુ NVIDIA accounts ન બનાવો. trial શરતો NVIDIA ને ઉપયોગ મર્યાદા સેટ કરવા દે છે, અને મફત પહોંચ ફક્ત મર્યાદિત trial હેતુઓ માટે છે.

વધુ throughput મેળવવાના રસ્તા
વિકલ્પખર્ચવધુ વિનંતીઓ?
Forum પર ઊંચી મફત મર્યાદા માંગોમફતકોઈ સત્તાવાર પ્રક્રિયા મળી નથી
મર્યાદા હેઠળ વિનંતીઓની ગતિ રાખોમફતના, પરંતુ 429 ભૂલો ઓછી
નિષ્ફળતા-સંભાળ સાથે બીજા મફત providers ઉમેરોમફતહા, બીજા providers તરફથી
ભાગીદાર પાસેથી serverless NIMpay per useહા
NIM self-host કરોતમારા GPUsહા

trial શરતો શું મંજૂરી આપે છે

NVIDIA API Trial Terms ની section 1.2 "for limited trial purposes only" પહોંચ આપે છે. તે production માં સેવા અથવા તેના આઉટપુટના ઉપયોગને બાકાત રાખે છે. Section 1.4 કહે છે કે subscription વિના, તમે સેવાનો ઉપયોગ ફક્ત આંતરિક પરીક્ષણ અને મૂલ્યાંકન માટે કરી શકો છો.

Section 3.3 કહે છે કે NVIDIA તમારી સામગ્રી અને ઉત્પન્ન થયેલી સામગ્રી AI મૉડેલો સહિત પોતાના ઉત્પાદનો સુધારવા એકત્ર કરે છે. trial સેવામાં ખાનગી ડેટા મોકલશો નહીં. બીજા providers માટે મફત LLM API વ્યાવસાયિક ઉપયોગ વાંચો.

આજે મફત NIM મૉડેલો

catalog આ મફત NVIDIA મૉડેલો યાદી આપે છે. મર્યાદા દરેક account દીઠ છે, તેથી બધા મૉડેલો એક જ પ્રતિ મિનિટ વિનંતીઓ વહેંચે છે.

આજે catalog માં મફત NVIDIA NIM મૉડેલો
મૉડેલમફત ઉપલબ્ધસંદર્ભમફત મર્યાદા (શ્રેષ્ઠ ઑફર)સાધનોવિઝન
GLM 5.3 FlashNVIDIA NIM1M40 વિનંતી/મિનિટ
40 RPM
હાના
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingનાના
Nemotron-3 Ultra 550BNVIDIA NIM1M40 વિનંતી/મિનિટ
40 RPM
હાના
Muse Glimmer 30BNVIDIA NIM131K40 વિનંતી/મિનિટ
40 RPM
હાહા
Gemma 4 31BNVIDIA NIM262K40 વિનંતી/મિનિટ
40 RPM
નાના
Poolside Laguna XS 2.1NVIDIA NIM262K40 વિનંતી/મિનિટ
40 RPM
હાના
Nemotron 3 Super 120BNVIDIA NIM262K40 વિનંતી/મિનિટ
40 RPM
હાના
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 વિનંતી/મિનિટ
40 RPM
હાના
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 વિનંતી/મિનિટ
40 RPM
નાહા
GPT-OSS 20BNVIDIA NIM131K40 વિનંતી/મિનિટ
40 RPM
હાના
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 વિનંતી/મિનિટ
40 RPM
નાહા
Ising Calibration 1.5 31BNVIDIA NIM131K40 વિનંતી/મિનિટ
40 RPM
નાહા

મેળ ખાતા 19 મફત મૉડેલમાંથી 12 બતાવ્યા. બધા મૉડેલ જુઓ.

FreeLLMAPI કૅટલૉગનો લાઇવ ડેટા (સંસ્કરણ 2026.11.19, તપાસ્યું 2026-11-19). મફત મર્યાદાઓ વારંવાર બદલાય છે. કૅટલૉગ દરરોજ તપાસવામાં આવે છે.

પ્રદાતાજાણીતી સમસ્યાશું કરવું
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

FreeLLMAPI કૅટલૉગનો લાઇવ ડેટા (સંસ્કરણ 2026.11.19, તપાસ્યું 2026-11-19). મફત મર્યાદાઓ વારંવાર બદલાય છે. કૅટલૉગ દરરોજ તપાસવામાં આવે છે.

મર્યાદા હેઠળ કેવી રીતે રહેવું

પ્રતિ મિનિટ 40 વિનંતીઓ પર, તમે સરેરાશ દર 1.5 સેકન્ડે એક વિનંતી મોકલી શકો છો. સમાંતર વિનંતીઓનો વિસ્ફોટ સેકન્ડોમાં મર્યાદા સુધી પહોંચે છે. આ નિયમો વાપરો:

  1. તમારા client માં સમાંતર વિનંતીઓની સંખ્યા મર્યાદિત કરો. મોટાભાગના agents માટે એક સમયે બે કે ત્રણ સુરક્ષિત છે.
  2. દરેક 429 ને exponential backoff અને jitter સાથે ફરી અજમાવો. નિશ્ચિત સંખ્યાના પ્રયાસો પછી અટકો.
  3. બધા મૉડેલો પર વિનંતીઓ ગણો. મર્યાદા account માટે છે, દરેક મૉડેલ માટે નહીં.
  4. ટૂંકા, સરળ કાર્યો બીજા providers પર મોકલો. NVIDIA ને તે મોટા મૉડેલો માટે રાખો જે ફક્ત NVIDIA મફત આપે છે.

સરળ client-side ગતિ નિયંત્રણ (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

FreeLLMAPI સાથે લોડ વહેંચો

FreeLLMAPI એ open-source gateway છે જે તમારા computer પર ચાલે છે. તે NVIDIA ને આખા account માટે પ્રતિ મિનિટ 40 વિનંતીઓના એક pool તરીકે ગણે છે. વિનંતી મોકલતા પહેલાં, તે એ pool તપાસે છે. જ્યારે pool ભરેલો હોય, ત્યારે તે વિનંતી તમારી chain ના આગલા મફત provider પર મોકલે છે.

  • account-wide મિનિટ મર્યાદા PROVIDER_MINUTE_REQUEST_CAP_NVIDIA સાથે સેટ થાય છે. જો તમારો account નાની મર્યાદા બતાવે, તો તે ઘટાડો.
  • NVIDIA પર સમાંતર વિનંતીઓ મર્યાદિત કરવા, MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA સેટ કરો.
  • NVIDIA તરફથી 429 key ને ટૂંકા cooldown પર મૂકે છે. ત્યારે રાઉટર બીજા providers અજમાવે છે.
  • X-Routed-Via header બતાવે છે કે કયા provider એ દરેક વિનંતીનો જવાબ આપ્યો.

~/freellmapi/.env (Docker install)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

એક-લાઇન installer તેની સેટિંગ્સ ~/freellmapi/.env માં રાખે છે. તે ફાઇલમાં બે લીટીઓ ઉમેરો, પછી container ફરી શરૂ કરો. ડિફોલ્ટ NVIDIA cap પ્રતિ મિનિટ 40 વિનંતીઓ છે. 0 મૂલ્ય તે provider માટે account-wide gate બંધ કરે છે.

NVIDIA ની મર્યાદા failover વધારતું નથી. NVIDIA ભરેલો હોય ત્યારે, તે બીજા મફત ટિયર, ઉદાહરણ તરીકે Groq, Gemini અને Cloudflare, વાપરે છે.

આ બધાનો ઉપયોગ એક જ કી દ્વારા કરો. FreeLLMAPI એક ઓપન-સોર્સ, સ્વ-હોસ્ટેડ રાઉટર છે. તે આ બધા મફત ટાયરને એક OpenAI સાથે સુસંગત એન્ડપોઇન્ટ પાછળ મૂકે છે અને જ્યારે એક મૉડેલની રેટ મર્યાદા આવે ત્યારે બીજા પર આપમેળે સ્વિચ કરે છે. કૅટલૉગ બ્રાઉઝ કરો અથવા લાઇવ જાઓ.

વારંવાર પૂછાતા પ્રશ્નો

NVIDIA NIM API rate limit શું છે?

NVIDIA એક સંખ્યા પ્રકાશિત કરતું નથી. સ્ટાફ કહે છે કે મર્યાદાઓ મૉડેલ મુજબ બદલાય છે, અને તમે build.nvidia.com ની ઉપર જમણી બાજુએ તમારી મર્યાદા જોઈ શકો છો. મોટાભાગના મફત accounts પ્રતિ મિનિટ 40 વિનંતીઓ દર્શાવે છે.

NVIDIA NIM rate limit ને 40 RPM થી કેવી રીતે વધારું?

મફત accounts માટે અમને કોઈ સત્તાવાર પ્રક્રિયા મળી નથી. NVIDIA ની FAQ વધુ ક્ષમતા માટે self-hosting, Hugging Face જેવા ચૂકવેલા serverless ભાગીદાર, અથવા NVIDIA AI Enterprise trial તરફ ઇશારો કરે છે.

શું NVIDIA NIM હજુ credits વાપરે છે?

ના. NVIDIA સ્ટાફે સપ્ટેમ્બર 2025 માં કહ્યું કે build.nvidia.com હવે credits વાપરતું નથી. trial ઉપયોગ હવે rate limits દ્વારા નિયંત્રિત છે.

શું હું મફત NVIDIA API production માં વાપરી શકું?

ના. NVIDIA API Trial Terms માત્ર મર્યાદિત trial ઉપયોગની મંજૂરી આપે છે, production ની નહીં. Production ઉપયોગ માટે NVIDIA AI Enterprise લાઇસન્સ અથવા ચૂકવેલ provider જોઈએ.

NVIDIA 40 RPM મર્યાદા મૉડેલ દીઠ છે કે account દીઠ?

મફત વપરાશકર્તાઓ આખા account પર એક મર્યાદા દર્શાવે છે. બધા મૉડેલો તે વહેંચે તેમ ધારો, અને તમે જે દરેક મૉડેલને કૉલ કરો તેમાં વિનંતીઓની ગતિ રાખો.

સંબંધિત માર્ગદર્શિકાઓ

સ્રોતો

બધી માર્ગદર્શિકાઓ · બધા મફત મૉડેલ જુઓ