NVIDIA NIM API रेट मर्यादा
build.nvidia.com वरील मोफत NVIDIA API Catalog ला क्रेडिट शिल्लक नाही, तर रेट मर्यादा आहे. अनेक मोफत खाती प्रति मिनिट 40 विनंत्यांची मर्यादा नोंदवतात. हे पृष्ठ मर्यादेबद्दल NVIDIA काय सांगते, ती वाढवण्याच्या विनंत्या क्वचितच का चालतात आणि मर्यादेखाली कसे राहायचे ते स्पष्ट करते.
कोड, मॉडेलची नावे आणि थेट कॅटलॉग लेबल इंग्रजीत दाखवले जातात.
मर्यादेबद्दल NVIDIA काय सांगते
सप्टेंबर 2025 मध्ये एका NVIDIA कर्मचाऱ्याने डेव्हलपर फोरमवर लिहिले: "आम्ही आता build.nvidia.com साठी क्रेडिट-आधारित प्रणाली वापरत नाही." चाचणी वापरासाठीच्या रेट मर्यादांनी क्रेडिटची जागा घेतली. त्याच उत्तरात म्हटले आहे की मर्यादा प्रत्येक मॉडेलसाठी वेगळ्या असतात आणि NVIDIA त्या प्रकाशित करत नाही. तुमची कमाल रेट मर्यादा build.nvidia.com च्या वरच्या उजव्या कोपऱ्यात दिसते.
NIM FAQ म्हणते की एका कालावधीत परवानगी असलेल्या कॉल्सची संख्या "is designed to serve evaluation and prototyping needs only" (फक्त मूल्यमापन आणि प्रोटोटाइपिंगच्या गरजांसाठी डिझाइन केलेली). NVIDIA Developer Program चे सदस्य प्रोटोटाइपिंगसाठी NIM API एंडपॉइंट्सचा मोफत प्रवेश मिळवतात.
40 RPM मर्यादा वाढवता येते का?
NVIDIA डेव्हलपर फोरमवर प्रति मिनिट 200 किंवा अधिक विनंत्यांसाठी विचारणा करणाऱ्या अनेक पोस्ट आहेत. मोफत खात्यासाठी मर्यादा वाढवणारी कोणतीही अधिकृत प्रक्रिया आम्हाला सापडली नाही. एका फोरम उत्तरात म्हटले आहे की NVIDIA मोफत वैयक्तिक खात्यांसाठी मर्यादा हाताने वाढवू शकत नाही. हे उत्तर NVIDIA कर्मचाऱ्याचे आहे याची पुष्टी आम्ही करू शकलो नाही.
NIM FAQ अधिक क्षमतेसाठी इतर पर्याय देते:
- तुमच्या क्लाउड प्रदात्यावर किंवा तुमच्या स्वतःच्या GPU वर NIM स्वतः होस्ट करा.
- भागीदाराकडील प्रॉडक्शन सर्व्हरलेस NIM API वापरा, उदाहरणार्थ Hugging Face, पे-पर-यूज किमतीसह.
- 90-दिवसांची NVIDIA AI Enterprise चाचणी सुरू करा, जी प्रॉडक्शन डिप्लॉयमेंटसाठी आहे.
जास्त विनंत्या मिळवण्यासाठी आणखी NVIDIA खाती बनवू नका. चाचणी अटी NVIDIA ला वापर मर्यादा ठरवू देतात, आणि मोफत प्रवेश फक्त मर्यादित चाचणी हेतूंसाठी आहे.
| पर्याय | खर्च | अधिक विनंत्या? |
|---|---|---|
| फोरमवर उच्च मोफत मर्यादेसाठी विचारा | मोफत | अधिकृत प्रक्रिया सापडली नाही |
| मर्यादेखाली विनंत्यांचा वेग ठेवा | मोफत | नाही, पण 429 त्रुटी कमी |
| फेलओव्हरसह इतर मोफत प्रदाते जोडा | मोफत | होय, इतर प्रदात्यांकडून |
| भागीदाराकडील सर्व्हरलेस NIM | पे-पर-यूज | होय |
| NIM स्वतः होस्ट करा | तुमचे GPU | होय |
चाचणी अटी काय परवानगी देतात
NVIDIA API Trial Terms चे कलम 1.2 "for limited trial purposes only" (फक्त मर्यादित चाचणी हेतूंसाठी) प्रवेश देते. त्यात प्रॉडक्शनमध्ये सेवेचा वापर किंवा तिचे आउटपुट वगळले आहे. कलम 1.4 म्हणते की सदस्यता नसताना तुम्ही सेवा फक्त अंतर्गत चाचणी आणि मूल्यमापनासाठी वापरू शकता.
कलम 3.3 म्हणते की NVIDIA AI मॉडेल्ससह आपली उत्पादने सुधारण्यासाठी तुमचा मजकूर आणि तयार झालेला मजकूर गोळा करते. चाचणी सेवेला खाजगी डेटा पाठवू नका. इतर प्रदात्यांसाठी मोफत LLM API व्यावसायिक वापर वाचा.
आज मोफत NIM मॉडेल्स
कॅटलॉगमध्ये ही मोफत NVIDIA मॉडेल्स आहेत. मर्यादा प्रति खाते आहे, त्यामुळे सर्व मॉडेल्स एकच प्रति-मिनिट विनंत्या वाटून घेतात.
| मॉडेल | मोफत उपलब्ध | संदर्भ | मोफत मर्यादा (सर्वोत्तम ऑफर) | साधने | व्हिजन |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 विनंत्या/मिनिट 40 RPM | होय | नाही |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | नाही | नाही |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 विनंत्या/मिनिट 40 RPM | होय | नाही |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 विनंत्या/मिनिट 40 RPM | होय | होय |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 विनंत्या/मिनिट 40 RPM | नाही | नाही |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 विनंत्या/मिनिट 40 RPM | होय | नाही |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 विनंत्या/मिनिट 40 RPM | होय | नाही |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 विनंत्या/मिनिट 40 RPM | होय | नाही |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 विनंत्या/मिनिट 40 RPM | नाही | होय |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 विनंत्या/मिनिट 40 RPM | होय | नाही |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 विनंत्या/मिनिट 40 RPM | नाही | होय |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 विनंत्या/मिनिट 40 RPM | नाही | होय |
जुळणाऱ्या 19 मोफत मॉडेलपैकी 12 दाखवले जात आहेत. सर्व मॉडेल पहा.
FreeLLMAPI कॅटलॉगमधील थेट डेटा (आवृत्ती 2026.11.19, तपासले 2026-11-19). मोफत मर्यादा वारंवार बदलतात. कॅटलॉग दररोज तपासले जाते.
| प्रदाता | ज्ञात समस्या | काय करावे |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
FreeLLMAPI कॅटलॉगमधील थेट डेटा (आवृत्ती 2026.11.19, तपासले 2026-11-19). मोफत मर्यादा वारंवार बदलतात. कॅटलॉग दररोज तपासले जाते.
मर्यादेखाली कसे राहायचे
प्रति मिनिट 40 विनंत्यांवर, सरासरी दर 1.5 सेकंदाला एक विनंती पाठवू शकता. समांतर विनंत्यांचा स्फोट काही सेकंदात मर्यादेपर्यंत पोहोचतो. हे नियम वापरा:
- तुमच्या क्लाएंटमध्ये समांतर विनंत्यांची संख्या मर्यादित करा. बहुतेक एजंटसाठी एका वेळी दोन किंवा तीन सुरक्षित आहेत.
- प्रत्येक 429 वर एक्स्पोनेन्शियल बॅकऑफ आणि जिटरसह पुन्हा प्रयत्न करा. ठरावीक संख्येच्या पुन्हा प्रयत्नांनंतर थांबा.
- सर्व मॉडेल्सवरील विनंत्या मोजा. मर्यादा खात्यासाठी आहे, प्रत्येक मॉडेलसाठी नाही.
- सोप्या, छोट्या कार्यांसाठी इतर प्रदात्यांकडे विनंत्या पाठवा. फक्त NVIDIA मोफत पुरवणाऱ्या मोठ्या मॉडेल्ससाठी NVIDIA ठेवा.
सोपे क्लाएंट-बाजूचे पेसिंग (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")FreeLLMAPI सह भार वाटा
FreeLLMAPI हा ओपन-सोर्स गेटवे आहे जो तुमच्या संगणकावर चालतो. ते NVIDIA ला संपूर्ण खात्यासाठी प्रति मिनिट 40 विनंत्यांचा एक पूल मानते. विनंती पाठवण्यापूर्वी ते तो पूल तपासते. पूल भरलेला असल्यास, ते विनंती तुमच्या साखळीतील पुढील मोफत प्रदात्याकडे पाठवते.
- संपूर्ण खात्यासाठीची प्रति-मिनिट कमाल
PROVIDER_MINUTE_REQUEST_CAP_NVIDIAने सेट केली जाते. तुमच्या खात्यात लहान मर्यादा दिसत असल्यास ती कमी करा. - NVIDIA ला समांतर विनंत्या मर्यादित करण्यासाठी
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIAसेट करा. - NVIDIA कडून 429 मिळाल्यास की लहान कूलडाउनवर जाते. मग राउटर इतर प्रदाते वापरून पाहतो.
X-Routed-Viaहेडर दाखवते की प्रत्येक विनंतीला कोणत्या प्रदात्याने उत्तर दिले.
~/freellmapi/.env (Docker इन्स्टॉल)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dएक-ओळ इन्स्टॉलर त्याच्या सेटिंग्ज ~/freellmapi/.env मध्ये ठेवतो. त्या फाइलमध्ये दोन ओळी जोडा, मग कंटेनर पुन्हा सुरू करा. NVIDIA ची डीफॉल्ट कमाल प्रति मिनिट 40 विनंत्या आहे. 0 मूल्य त्या प्रदात्यासाठी खाते-व्यापी गेट बंद करते.
फेलओव्हर NVIDIA ची मर्यादा वाढवत नाही. NVIDIA भरलेले असताना तो इतर मोफत टियर वापरतो, उदाहरणार्थ Groq, Gemini आणि Cloudflare.
वारंवार विचारले जाणारे प्रश्न
NVIDIA NIM API रेट मर्यादा किती आहे?
NVIDIA एक संख्या प्रकाशित करत नाही. कर्मचारी सांगतात की मर्यादा मॉडेलनुसार बदलतात, आणि तुमची मर्यादा build.nvidia.com च्या वरच्या उजव्या कोपऱ्यात दिसते. बहुतेक मोफत खाती प्रति मिनिट 40 विनंत्या नोंदवतात.
NVIDIA NIM रेट मर्यादा 40 RPM वरून कशी वाढवायची?
मोफत खात्यांसाठी आम्हाला कोणतीही अधिकृत प्रक्रिया सापडली नाही. अधिक क्षमतेसाठी NVIDIA चा FAQ स्वतः होस्टिंग, Hugging Face सारख्या सशुल्क सर्व्हरलेस भागीदाराकडे, किंवा NVIDIA AI Enterprise चाचणीकडे निर्देश करतो.
NVIDIA NIM अजूनही क्रेडिट वापरते का?
नाही. NVIDIA कर्मचाऱ्यांनी सप्टेंबर 2025 मध्ये सांगितले की build.nvidia.com आता क्रेडिट वापरत नाही. चाचणी वापर आता रेट मर्यादांद्वारे नियंत्रित होतो.
मी मोफत NVIDIA API प्रॉडक्शनमध्ये वापरू शकतो का?
नाही. NVIDIA API Trial Terms फक्त मर्यादित चाचणी वापरास परवानगी देतात, प्रॉडक्शनला नाही. प्रॉडक्शन वापरासाठी NVIDIA AI Enterprise परवाना किंवा सशुल्क प्रदाता लागतो.
NVIDIA 40 RPM मर्यादा प्रति मॉडेल आहे की प्रति खाते?
मोफत वापरकर्ते संपूर्ण खात्यावर एकच मर्यादा नोंदवतात. सर्व मॉडेल्स ती वाटून घेतील असे गृहीत धरा, आणि तुम्ही कॉल करत असलेल्या प्रत्येक मॉडेलवरील विनंत्यांचा वेग ठेवा.
संबंधित मार्गदर्शक
- free nvidia api
- मोफत LLM API रेट मर्यादा
- Groq रेट लिमिट गाठली (429)
- Gemini API कोटा ओलांडला (429 RESOURCE_EXHAUSTED)
- व्यावसायिक वापरासाठी मोफत LLM API
स्रोत
- NVIDIA developer forum: credit system replaced by rate limits (तपासले 20 November 2026)
- NVIDIA NIM FAQ (तपासले 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (तपासले 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (तपासले 20 November 2026)
- NVIDIA API Catalog: API reference (तपासले 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (तपासले 20 November 2026)