मुख्यपृष्ठ / मार्गदर्शक / NVIDIA NIM API रेट मर्यादा

NVIDIA NIM API रेट मर्यादा

build.nvidia.com वरील मोफत NVIDIA API Catalog ला क्रेडिट शिल्लक नाही, तर रेट मर्यादा आहे. अनेक मोफत खाती प्रति मिनिट 40 विनंत्यांची मर्यादा नोंदवतात. हे पृष्ठ मर्यादेबद्दल NVIDIA काय सांगते, ती वाढवण्याच्या विनंत्या क्वचितच का चालतात आणि मर्यादेखाली कसे राहायचे ते स्पष्ट करते.

कोड, मॉडेलची नावे आणि थेट कॅटलॉग लेबल इंग्रजीत दाखवले जातात.

मर्यादेबद्दल NVIDIA काय सांगते

सप्टेंबर 2025 मध्ये एका NVIDIA कर्मचाऱ्याने डेव्हलपर फोरमवर लिहिले: "आम्ही आता build.nvidia.com साठी क्रेडिट-आधारित प्रणाली वापरत नाही." चाचणी वापरासाठीच्या रेट मर्यादांनी क्रेडिटची जागा घेतली. त्याच उत्तरात म्हटले आहे की मर्यादा प्रत्येक मॉडेलसाठी वेगळ्या असतात आणि NVIDIA त्या प्रकाशित करत नाही. तुमची कमाल रेट मर्यादा build.nvidia.com च्या वरच्या उजव्या कोपऱ्यात दिसते.

NIM FAQ म्हणते की एका कालावधीत परवानगी असलेल्या कॉल्सची संख्या "is designed to serve evaluation and prototyping needs only" (फक्त मूल्यमापन आणि प्रोटोटाइपिंगच्या गरजांसाठी डिझाइन केलेली). NVIDIA Developer Program चे सदस्य प्रोटोटाइपिंगसाठी NIM API एंडपॉइंट्सचा मोफत प्रवेश मिळवतात.

40 RPM मूल्याबद्दल: प्रति मिनिट 40 विनंत्या हे मूल्य बहुतेक मोफत खाती NVIDIA फोरमवर नोंदवतात. ते NVIDIA च्या अधिकृत पृष्ठावर नाही. तुमची खरी मर्यादा तुमच्या खात्यात तपासा.

40 RPM मर्यादा वाढवता येते का?

NVIDIA डेव्हलपर फोरमवर प्रति मिनिट 200 किंवा अधिक विनंत्यांसाठी विचारणा करणाऱ्या अनेक पोस्ट आहेत. मोफत खात्यासाठी मर्यादा वाढवणारी कोणतीही अधिकृत प्रक्रिया आम्हाला सापडली नाही. एका फोरम उत्तरात म्हटले आहे की NVIDIA मोफत वैयक्तिक खात्यांसाठी मर्यादा हाताने वाढवू शकत नाही. हे उत्तर NVIDIA कर्मचाऱ्याचे आहे याची पुष्टी आम्ही करू शकलो नाही.

NIM FAQ अधिक क्षमतेसाठी इतर पर्याय देते:

  • तुमच्या क्लाउड प्रदात्यावर किंवा तुमच्या स्वतःच्या GPU वर NIM स्वतः होस्ट करा.
  • भागीदाराकडील प्रॉडक्शन सर्व्हरलेस NIM API वापरा, उदाहरणार्थ Hugging Face, पे-पर-यूज किमतीसह.
  • 90-दिवसांची NVIDIA AI Enterprise चाचणी सुरू करा, जी प्रॉडक्शन डिप्लॉयमेंटसाठी आहे.

जास्त विनंत्या मिळवण्यासाठी आणखी NVIDIA खाती बनवू नका. चाचणी अटी NVIDIA ला वापर मर्यादा ठरवू देतात, आणि मोफत प्रवेश फक्त मर्यादित चाचणी हेतूंसाठी आहे.

अधिक थ्रूपुट मिळवण्याचे मार्ग
पर्यायखर्चअधिक विनंत्या?
फोरमवर उच्च मोफत मर्यादेसाठी विचारामोफतअधिकृत प्रक्रिया सापडली नाही
मर्यादेखाली विनंत्यांचा वेग ठेवामोफतनाही, पण 429 त्रुटी कमी
फेलओव्हरसह इतर मोफत प्रदाते जोडामोफतहोय, इतर प्रदात्यांकडून
भागीदाराकडील सर्व्हरलेस NIMपे-पर-यूजहोय
NIM स्वतः होस्ट करातुमचे GPUहोय

चाचणी अटी काय परवानगी देतात

NVIDIA API Trial Terms चे कलम 1.2 "for limited trial purposes only" (फक्त मर्यादित चाचणी हेतूंसाठी) प्रवेश देते. त्यात प्रॉडक्शनमध्ये सेवेचा वापर किंवा तिचे आउटपुट वगळले आहे. कलम 1.4 म्हणते की सदस्यता नसताना तुम्ही सेवा फक्त अंतर्गत चाचणी आणि मूल्यमापनासाठी वापरू शकता.

कलम 3.3 म्हणते की NVIDIA AI मॉडेल्ससह आपली उत्पादने सुधारण्यासाठी तुमचा मजकूर आणि तयार झालेला मजकूर गोळा करते. चाचणी सेवेला खाजगी डेटा पाठवू नका. इतर प्रदात्यांसाठी मोफत LLM API व्यावसायिक वापर वाचा.

आज मोफत NIM मॉडेल्स

कॅटलॉगमध्ये ही मोफत NVIDIA मॉडेल्स आहेत. मर्यादा प्रति खाते आहे, त्यामुळे सर्व मॉडेल्स एकच प्रति-मिनिट विनंत्या वाटून घेतात.

आज कॅटलॉगमधील मोफत NVIDIA NIM मॉडेल्स
मॉडेलमोफत उपलब्धसंदर्भमोफत मर्यादा (सर्वोत्तम ऑफर)साधनेव्हिजन
GLM 5.3 FlashNVIDIA NIM1M40 विनंत्या/मिनिट
40 RPM
होयनाही
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingनाहीनाही
Nemotron-3 Ultra 550BNVIDIA NIM1M40 विनंत्या/मिनिट
40 RPM
होयनाही
Muse Glimmer 30BNVIDIA NIM131K40 विनंत्या/मिनिट
40 RPM
होयहोय
Gemma 4 31BNVIDIA NIM262K40 विनंत्या/मिनिट
40 RPM
नाहीनाही
Poolside Laguna XS 2.1NVIDIA NIM262K40 विनंत्या/मिनिट
40 RPM
होयनाही
Nemotron 3 Super 120BNVIDIA NIM262K40 विनंत्या/मिनिट
40 RPM
होयनाही
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 विनंत्या/मिनिट
40 RPM
होयनाही
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 विनंत्या/मिनिट
40 RPM
नाहीहोय
GPT-OSS 20BNVIDIA NIM131K40 विनंत्या/मिनिट
40 RPM
होयनाही
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 विनंत्या/मिनिट
40 RPM
नाहीहोय
Ising Calibration 1.5 31BNVIDIA NIM131K40 विनंत्या/मिनिट
40 RPM
नाहीहोय

जुळणाऱ्या 19 मोफत मॉडेलपैकी 12 दाखवले जात आहेत. सर्व मॉडेल पहा.

FreeLLMAPI कॅटलॉगमधील थेट डेटा (आवृत्ती 2026.11.19, तपासले 2026-11-19). मोफत मर्यादा वारंवार बदलतात. कॅटलॉग दररोज तपासले जाते.

प्रदाताज्ञात समस्याकाय करावे
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

FreeLLMAPI कॅटलॉगमधील थेट डेटा (आवृत्ती 2026.11.19, तपासले 2026-11-19). मोफत मर्यादा वारंवार बदलतात. कॅटलॉग दररोज तपासले जाते.

मर्यादेखाली कसे राहायचे

प्रति मिनिट 40 विनंत्यांवर, सरासरी दर 1.5 सेकंदाला एक विनंती पाठवू शकता. समांतर विनंत्यांचा स्फोट काही सेकंदात मर्यादेपर्यंत पोहोचतो. हे नियम वापरा:

  1. तुमच्या क्लाएंटमध्ये समांतर विनंत्यांची संख्या मर्यादित करा. बहुतेक एजंटसाठी एका वेळी दोन किंवा तीन सुरक्षित आहेत.
  2. प्रत्येक 429 वर एक्स्पोनेन्शियल बॅकऑफ आणि जिटरसह पुन्हा प्रयत्न करा. ठरावीक संख्येच्या पुन्हा प्रयत्नांनंतर थांबा.
  3. सर्व मॉडेल्सवरील विनंत्या मोजा. मर्यादा खात्यासाठी आहे, प्रत्येक मॉडेलसाठी नाही.
  4. सोप्या, छोट्या कार्यांसाठी इतर प्रदात्यांकडे विनंत्या पाठवा. फक्त NVIDIA मोफत पुरवणाऱ्या मोठ्या मॉडेल्ससाठी NVIDIA ठेवा.

सोपे क्लाएंट-बाजूचे पेसिंग (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

FreeLLMAPI सह भार वाटा

FreeLLMAPI हा ओपन-सोर्स गेटवे आहे जो तुमच्या संगणकावर चालतो. ते NVIDIA ला संपूर्ण खात्यासाठी प्रति मिनिट 40 विनंत्यांचा एक पूल मानते. विनंती पाठवण्यापूर्वी ते तो पूल तपासते. पूल भरलेला असल्यास, ते विनंती तुमच्या साखळीतील पुढील मोफत प्रदात्याकडे पाठवते.

  • संपूर्ण खात्यासाठीची प्रति-मिनिट कमाल PROVIDER_MINUTE_REQUEST_CAP_NVIDIA ने सेट केली जाते. तुमच्या खात्यात लहान मर्यादा दिसत असल्यास ती कमी करा.
  • NVIDIA ला समांतर विनंत्या मर्यादित करण्यासाठी MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA सेट करा.
  • NVIDIA कडून 429 मिळाल्यास की लहान कूलडाउनवर जाते. मग राउटर इतर प्रदाते वापरून पाहतो.
  • X-Routed-Via हेडर दाखवते की प्रत्येक विनंतीला कोणत्या प्रदात्याने उत्तर दिले.

~/freellmapi/.env (Docker इन्स्टॉल)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

एक-ओळ इन्स्टॉलर त्याच्या सेटिंग्ज ~/freellmapi/.env मध्ये ठेवतो. त्या फाइलमध्ये दोन ओळी जोडा, मग कंटेनर पुन्हा सुरू करा. NVIDIA ची डीफॉल्ट कमाल प्रति मिनिट 40 विनंत्या आहे. 0 मूल्य त्या प्रदात्यासाठी खाते-व्यापी गेट बंद करते.

फेलओव्हर NVIDIA ची मर्यादा वाढवत नाही. NVIDIA भरलेले असताना तो इतर मोफत टियर वापरतो, उदाहरणार्थ Groq, Gemini आणि Cloudflare.

या सर्व मॉडेलचा वापर एकाच कीद्वारे करा. FreeLLMAPI हा एक ओपन-सोर्स, स्वतः होस्ट केलेला राउटर आहे. तो हे सर्व मोफत टियर एका OpenAI-सुसंगत एंडपॉइंटमागे ठेवतो आणि एखादे मॉडेल मर्यादेत असताना दुसऱ्याकडे वळवतो. कॅटलॉग ब्राउझ करा किंवा थेट पहा.

वारंवार विचारले जाणारे प्रश्न

NVIDIA NIM API रेट मर्यादा किती आहे?

NVIDIA एक संख्या प्रकाशित करत नाही. कर्मचारी सांगतात की मर्यादा मॉडेलनुसार बदलतात, आणि तुमची मर्यादा build.nvidia.com च्या वरच्या उजव्या कोपऱ्यात दिसते. बहुतेक मोफत खाती प्रति मिनिट 40 विनंत्या नोंदवतात.

NVIDIA NIM रेट मर्यादा 40 RPM वरून कशी वाढवायची?

मोफत खात्यांसाठी आम्हाला कोणतीही अधिकृत प्रक्रिया सापडली नाही. अधिक क्षमतेसाठी NVIDIA चा FAQ स्वतः होस्टिंग, Hugging Face सारख्या सशुल्क सर्व्हरलेस भागीदाराकडे, किंवा NVIDIA AI Enterprise चाचणीकडे निर्देश करतो.

NVIDIA NIM अजूनही क्रेडिट वापरते का?

नाही. NVIDIA कर्मचाऱ्यांनी सप्टेंबर 2025 मध्ये सांगितले की build.nvidia.com आता क्रेडिट वापरत नाही. चाचणी वापर आता रेट मर्यादांद्वारे नियंत्रित होतो.

मी मोफत NVIDIA API प्रॉडक्शनमध्ये वापरू शकतो का?

नाही. NVIDIA API Trial Terms फक्त मर्यादित चाचणी वापरास परवानगी देतात, प्रॉडक्शनला नाही. प्रॉडक्शन वापरासाठी NVIDIA AI Enterprise परवाना किंवा सशुल्क प्रदाता लागतो.

NVIDIA 40 RPM मर्यादा प्रति मॉडेल आहे की प्रति खाते?

मोफत वापरकर्ते संपूर्ण खात्यावर एकच मर्यादा नोंदवतात. सर्व मॉडेल्स ती वाटून घेतील असे गृहीत धरा, आणि तुम्ही कॉल करत असलेल्या प्रत्येक मॉडेलवरील विनंत्यांचा वेग ठेवा.

संबंधित मार्गदर्शक

स्रोत

सर्व मार्गदर्शक · सर्व मोफत मॉडेल पहा