NVIDIA NIM API rate limit
build.nvidia.com પરના મફત NVIDIA API Catalog માં rate limit છે, credit balance નથી. ઘણા મફત accounts પ્રતિ મિનિટ 40 વિનંતીઓની મર્યાદા દર્શાવે છે. આ પૃષ્ઠ સમજાવે છે કે NVIDIA મર્યાદા વિશે શું કહે છે, વિનંતીઓ વધારવાથી ભાગ્યે જ કેમ કામ થાય છે, અને મર્યાદા હેઠળ કેવી રીતે રહેવું.
કોડ, મૉડેલ નામ અને લાઇવ કૅટલૉગ લેબલ અંગ્રેજીમાં બતાવવામાં આવે છે.
મર્યાદા વિશે NVIDIA શું કહે છે
સપ્ટેમ્બર 2025 માં, NVIDIA ના એક સ્ટાફ સભ્યે developer forum પર લખ્યું: "We no longer use a credit-based system for build.nvidia.com." trial ઉપયોગ માટેની rate limits એ credits ની જગ્યા લીધી. એ જ જવાબ કહે છે કે મર્યાદાઓ દરેક મૉડેલ માટે અલગ હોય છે અને NVIDIA તે પ્રકાશિત કરતું નથી. તમે build.nvidia.com ની ઉપર જમણી બાજુએ તમારી મહત્તમ rate limit જોઈ શકો છો.
NIM FAQ કહે છે કે સમયગાળામાં મંજૂર કૉલની સંખ્યા "is designed to serve evaluation and prototyping needs only". NVIDIA Developer Program ના સભ્યોને પ્રોટોટાઇપિંગ માટે NIM API endpoints ની મફત પહોંચ મળે છે.
શું તમે 40 RPM મર્યાદા વધારી શકો?
NVIDIA developer forum પર ઘણી પોસ્ટ્સ 200 RPM કે તેથી વધુ માંગે છે. મફત account માટે મર્યાદા વધારતી કોઈ સત્તાવાર પ્રક્રિયા અમને મળી નથી. એક forum જવાબ કહે છે કે NVIDIA મફત વ્યક્તિગત accounts માટે મર્યાદા જાતે વધારી શકતું નથી. આ જવાબ NVIDIA ના સ્ટાફ તરફથી છે તેની પુષ્ટિ અમે કરી શક્યા નથી.
NIM FAQ વધુ ક્ષમતા માટે બીજા વિકલ્પો આપે છે:
- તમારા cloud provider પર અથવા તમારા પોતાના GPUs પર NIM self-host કરો.
- ભાગીદાર પાસેથી production serverless NIM API વાપરો, ઉદાહરણ તરીકે Hugging Face, pay-per-use કિંમત સાથે.
- 90-દિવસનું NVIDIA AI Enterprise trial શરૂ કરો, જે production deployments માટે છે.
વધુ વિનંતીઓ મેળવવા માટે વધુ NVIDIA accounts ન બનાવો. trial શરતો NVIDIA ને ઉપયોગ મર્યાદા સેટ કરવા દે છે, અને મફત પહોંચ ફક્ત મર્યાદિત trial હેતુઓ માટે છે.
| વિકલ્પ | ખર્ચ | વધુ વિનંતીઓ? |
|---|---|---|
| Forum પર ઊંચી મફત મર્યાદા માંગો | મફત | કોઈ સત્તાવાર પ્રક્રિયા મળી નથી |
| મર્યાદા હેઠળ વિનંતીઓની ગતિ રાખો | મફત | ના, પરંતુ 429 ભૂલો ઓછી |
| નિષ્ફળતા-સંભાળ સાથે બીજા મફત providers ઉમેરો | મફત | હા, બીજા providers તરફથી |
| ભાગીદાર પાસેથી serverless NIM | pay per use | હા |
| NIM self-host કરો | તમારા GPUs | હા |
trial શરતો શું મંજૂરી આપે છે
NVIDIA API Trial Terms ની section 1.2 "for limited trial purposes only" પહોંચ આપે છે. તે production માં સેવા અથવા તેના આઉટપુટના ઉપયોગને બાકાત રાખે છે. Section 1.4 કહે છે કે subscription વિના, તમે સેવાનો ઉપયોગ ફક્ત આંતરિક પરીક્ષણ અને મૂલ્યાંકન માટે કરી શકો છો.
Section 3.3 કહે છે કે NVIDIA તમારી સામગ્રી અને ઉત્પન્ન થયેલી સામગ્રી AI મૉડેલો સહિત પોતાના ઉત્પાદનો સુધારવા એકત્ર કરે છે. trial સેવામાં ખાનગી ડેટા મોકલશો નહીં. બીજા providers માટે મફત LLM API વ્યાવસાયિક ઉપયોગ વાંચો.
આજે મફત NIM મૉડેલો
catalog આ મફત NVIDIA મૉડેલો યાદી આપે છે. મર્યાદા દરેક account દીઠ છે, તેથી બધા મૉડેલો એક જ પ્રતિ મિનિટ વિનંતીઓ વહેંચે છે.
| મૉડેલ | મફત ઉપલબ્ધ | સંદર્ભ | મફત મર્યાદા (શ્રેષ્ઠ ઑફર) | સાધનો | વિઝન |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 વિનંતી/મિનિટ 40 RPM | હા | ના |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | ના | ના |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 વિનંતી/મિનિટ 40 RPM | હા | ના |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 વિનંતી/મિનિટ 40 RPM | હા | હા |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 વિનંતી/મિનિટ 40 RPM | ના | ના |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 વિનંતી/મિનિટ 40 RPM | હા | ના |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 વિનંતી/મિનિટ 40 RPM | હા | ના |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 વિનંતી/મિનિટ 40 RPM | હા | ના |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 વિનંતી/મિનિટ 40 RPM | ના | હા |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 વિનંતી/મિનિટ 40 RPM | હા | ના |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 વિનંતી/મિનિટ 40 RPM | ના | હા |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 વિનંતી/મિનિટ 40 RPM | ના | હા |
મેળ ખાતા 19 મફત મૉડેલમાંથી 12 બતાવ્યા. બધા મૉડેલ જુઓ.
FreeLLMAPI કૅટલૉગનો લાઇવ ડેટા (સંસ્કરણ 2026.11.19, તપાસ્યું 2026-11-19). મફત મર્યાદાઓ વારંવાર બદલાય છે. કૅટલૉગ દરરોજ તપાસવામાં આવે છે.
| પ્રદાતા | જાણીતી સમસ્યા | શું કરવું |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
FreeLLMAPI કૅટલૉગનો લાઇવ ડેટા (સંસ્કરણ 2026.11.19, તપાસ્યું 2026-11-19). મફત મર્યાદાઓ વારંવાર બદલાય છે. કૅટલૉગ દરરોજ તપાસવામાં આવે છે.
મર્યાદા હેઠળ કેવી રીતે રહેવું
પ્રતિ મિનિટ 40 વિનંતીઓ પર, તમે સરેરાશ દર 1.5 સેકન્ડે એક વિનંતી મોકલી શકો છો. સમાંતર વિનંતીઓનો વિસ્ફોટ સેકન્ડોમાં મર્યાદા સુધી પહોંચે છે. આ નિયમો વાપરો:
- તમારા client માં સમાંતર વિનંતીઓની સંખ્યા મર્યાદિત કરો. મોટાભાગના agents માટે એક સમયે બે કે ત્રણ સુરક્ષિત છે.
- દરેક 429 ને exponential backoff અને jitter સાથે ફરી અજમાવો. નિશ્ચિત સંખ્યાના પ્રયાસો પછી અટકો.
- બધા મૉડેલો પર વિનંતીઓ ગણો. મર્યાદા account માટે છે, દરેક મૉડેલ માટે નહીં.
- ટૂંકા, સરળ કાર્યો બીજા providers પર મોકલો. NVIDIA ને તે મોટા મૉડેલો માટે રાખો જે ફક્ત NVIDIA મફત આપે છે.
સરળ client-side ગતિ નિયંત્રણ (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")FreeLLMAPI સાથે લોડ વહેંચો
FreeLLMAPI એ open-source gateway છે જે તમારા computer પર ચાલે છે. તે NVIDIA ને આખા account માટે પ્રતિ મિનિટ 40 વિનંતીઓના એક pool તરીકે ગણે છે. વિનંતી મોકલતા પહેલાં, તે એ pool તપાસે છે. જ્યારે pool ભરેલો હોય, ત્યારે તે વિનંતી તમારી chain ના આગલા મફત provider પર મોકલે છે.
- account-wide મિનિટ મર્યાદા
PROVIDER_MINUTE_REQUEST_CAP_NVIDIAસાથે સેટ થાય છે. જો તમારો account નાની મર્યાદા બતાવે, તો તે ઘટાડો. - NVIDIA પર સમાંતર વિનંતીઓ મર્યાદિત કરવા,
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIAસેટ કરો. - NVIDIA તરફથી 429 key ને ટૂંકા cooldown પર મૂકે છે. ત્યારે રાઉટર બીજા providers અજમાવે છે.
X-Routed-Viaheader બતાવે છે કે કયા provider એ દરેક વિનંતીનો જવાબ આપ્યો.
~/freellmapi/.env (Docker install)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dએક-લાઇન installer તેની સેટિંગ્સ ~/freellmapi/.env માં રાખે છે. તે ફાઇલમાં બે લીટીઓ ઉમેરો, પછી container ફરી શરૂ કરો. ડિફોલ્ટ NVIDIA cap પ્રતિ મિનિટ 40 વિનંતીઓ છે. 0 મૂલ્ય તે provider માટે account-wide gate બંધ કરે છે.
NVIDIA ની મર્યાદા failover વધારતું નથી. NVIDIA ભરેલો હોય ત્યારે, તે બીજા મફત ટિયર, ઉદાહરણ તરીકે Groq, Gemini અને Cloudflare, વાપરે છે.
વારંવાર પૂછાતા પ્રશ્નો
NVIDIA NIM API rate limit શું છે?
NVIDIA એક સંખ્યા પ્રકાશિત કરતું નથી. સ્ટાફ કહે છે કે મર્યાદાઓ મૉડેલ મુજબ બદલાય છે, અને તમે build.nvidia.com ની ઉપર જમણી બાજુએ તમારી મર્યાદા જોઈ શકો છો. મોટાભાગના મફત accounts પ્રતિ મિનિટ 40 વિનંતીઓ દર્શાવે છે.
NVIDIA NIM rate limit ને 40 RPM થી કેવી રીતે વધારું?
મફત accounts માટે અમને કોઈ સત્તાવાર પ્રક્રિયા મળી નથી. NVIDIA ની FAQ વધુ ક્ષમતા માટે self-hosting, Hugging Face જેવા ચૂકવેલા serverless ભાગીદાર, અથવા NVIDIA AI Enterprise trial તરફ ઇશારો કરે છે.
શું NVIDIA NIM હજુ credits વાપરે છે?
ના. NVIDIA સ્ટાફે સપ્ટેમ્બર 2025 માં કહ્યું કે build.nvidia.com હવે credits વાપરતું નથી. trial ઉપયોગ હવે rate limits દ્વારા નિયંત્રિત છે.
શું હું મફત NVIDIA API production માં વાપરી શકું?
ના. NVIDIA API Trial Terms માત્ર મર્યાદિત trial ઉપયોગની મંજૂરી આપે છે, production ની નહીં. Production ઉપયોગ માટે NVIDIA AI Enterprise લાઇસન્સ અથવા ચૂકવેલ provider જોઈએ.
NVIDIA 40 RPM મર્યાદા મૉડેલ દીઠ છે કે account દીઠ?
મફત વપરાશકર્તાઓ આખા account પર એક મર્યાદા દર્શાવે છે. બધા મૉડેલો તે વહેંચે તેમ ધારો, અને તમે જે દરેક મૉડેલને કૉલ કરો તેમાં વિનંતીઓની ગતિ રાખો.
સંબંધિત માર્ગદર્શિકાઓ
- free nvidia api
- મફત LLM API rate limits
- Groq rate limit પહોંચી ગઈ (429)
- Gemini API ક્વોટા વટાવાયો (429 RESOURCE_EXHAUSTED)
- વ્યાવસાયિક ઉપયોગ માટે મફત LLM API
સ્રોતો
- NVIDIA developer forum: credit system replaced by rate limits (તપાસ્યું 20 November 2026)
- NVIDIA NIM FAQ (તપાસ્યું 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (તપાસ્યું 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (તપાસ્યું 20 November 2026)
- NVIDIA API Catalog: API reference (તપાસ્યું 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (તપાસ્યું 20 November 2026)