NVIDIA NIM API రేట్ పరిమితి
build.nvidia.comపై ఉన్న ఉచిత NVIDIA API Catalogకు క్రెడిట్ బ్యాలెన్స్ కాదు, రేట్ పరిమితి ఉంది. అనేక ఉచిత ఖాతాలు నిమిషానికి 40 అభ్యర్థనల పరిమితిని నివేదిస్తాయి. ఈ పేజీ పరిమితి గురించి NVIDIA ఏమి చెబుతుందో, పరిమితిని పెంచే అభ్యర్థనలు ఎందుకు అరుదుగా పనిచేస్తాయో, మరియు దాని కింద ఎలా ఉండాలో వివరిస్తుంది.
కోడ్, మోడల్ పేర్లు మరియు ప్రత్యక్ష కేటలాగ్ లేబుల్లు ఇంగ్లీషులోనే చూపబడతాయి.
పరిమితి గురించి NVIDIA ఏమి చెబుతుంది
సెప్టెంబర్ 2025లో, ఒక NVIDIA సిబ్బంది సభ్యుడు డెవలపర్ ఫోరమ్లో ఇలా రాశారు: "We no longer use a credit-based system for build.nvidia.com." ట్రయల్ వినియోగం కోసం రేట్ పరిమితులు క్రెడిట్ల స్థానంలో వచ్చాయి. అదే సమాధానం పరిమితులు ప్రతి మోడల్కు వేరుగా ఉంటాయని, మరియు NVIDIA వాటిని ప్రచురించదని చెబుతుంది. build.nvidia.com కుడి పైభాగంలో మీ గరిష్ట రేట్ పరిమితిని మీరు చూడవచ్చు.
NIM FAQ ప్రకారం, ఒక కాలవ్యవధిలో అనుమతించబడిన కాల్ల సంఖ్య "is designed to serve evaluation and prototyping needs only". NVIDIA Developer Program సభ్యులు ప్రోటోటైపింగ్ కోసం NIM API ఎండ్పాయింట్లకు ఉచిత యాక్సెస్ పొందుతారు.
40 RPM పరిమితిని పెంచగలరా?
NVIDIA డెవలపర్ ఫోరమ్లో 200 RPM లేదా అంతకంటే ఎక్కువ కోసం అడిగే అనేక పోస్ట్లు ఉన్నాయి. ఉచిత ఖాతా కోసం పరిమితిని పెంచే అధికారిక ప్రక్రియ మాకు కనిపించలేదు. ఒక ఫోరమ్ సమాధానం ప్రకారం NVIDIA ఉచిత వ్యక్తిగత ఖాతాలకు పరిమితులను మానవీయంగా పెంచలేదు. ఈ సమాధానం NVIDIA సిబ్బంది నుండి వచ్చిందని మేము నిర్ధారించలేకపోయాము.
NIM FAQ ఎక్కువ సామర్థ్యం కోసం ఇతర ఎంపికలను ఇస్తుంది:
- మీ క్లౌడ్ ప్రొవైడర్పై లేదా మీ స్వంత GPUలపై NIMని స్వీయ-హోస్ట్ చేయండి.
- భాగస్వామి నుండి ప్రొడక్షన్ సర్వర్లెస్ NIM APIని ఉపయోగించండి, ఉదాహరణకు Hugging Face, ఉపయోగానికి తగిన ధరతో.
- 90-రోజుల NVIDIA AI Enterprise ట్రయల్ను ప్రారంభించండి, ఇది ప్రొడక్షన్ డిప్లాయ్మెంట్ల కోసం ఉద్దేశించబడింది.
ఎక్కువ అభ్యర్థనల కోసం మరిన్ని NVIDIA ఖాతాలు సృష్టించవద్దు. ట్రయల్ నిబంధనలు NVIDIAకు వినియోగ పరిమితులు సెట్ చేసే హక్కు ఇస్తాయి, మరియు ఉచిత యాక్సెస్ పరిమిత ట్రయల్ ప్రయోజనాల కోసం మాత్రమే.
| ఎంపిక | ఖర్చు | ఎక్కువ అభ్యర్థనలా? |
|---|---|---|
| ఫోరమ్లో ఎక్కువ ఉచిత పరిమితి కోసం అడగండి | ఉచితం | అధికారిక ప్రక్రియ కనిపించలేదు |
| పరిమితి కింద అభ్యర్థనలను వేగంగా పంపండి | ఉచితం | లేదు, కానీ తక్కువ 429 ఎర్రర్లు |
| ఫెయిలోవర్తో ఇతర ఉచిత ప్రొవైడర్లను జోడించండి | ఉచితం | అవును, ఇతర ప్రొవైడర్ల నుండి |
| భాగస్వామి నుండి సర్వర్లెస్ NIM | ఉపయోగం ప్రకారం చెల్లింపు | అవును |
| NIMని స్వీయ-హోస్ట్ చేయండి | మీ GPUలు | అవును |
ట్రయల్ నిబంధనలు ఏమి అనుమతిస్తాయి
NVIDIA API ట్రయల్ నిబంధనల సెక్షన్ 1.2 "for limited trial purposes only" యాక్సెస్ ఇస్తుంది. ఇది సేవ లేదా దాని అవుట్పుట్ను ప్రొడక్షన్లో ఉపయోగించడాన్ని మినహాయిస్తుంది. సెక్షన్ 1.4 ప్రకారం, సబ్స్క్రిప్షన్ లేకుండా, మీరు సేవను అంతర్గత పరీక్ష మరియు మూల్యాంకనానికి మాత్రమే ఉపయోగించవచ్చు.
సెక్షన్ 3.3 ప్రకారం, AI మోడళ్లతో సహా తన ఉత్పత్తులను మెరుగుపరచడానికి NVIDIA మీ కంటెంట్ మరియు రూపొందించిన కంటెంట్ను సేకరిస్తుంది. ట్రయల్ సేవకు ప్రైవేట్ డేటా పంపవద్దు. ఇతర ప్రొవైడర్ల కోసం ఉచిత LLM API వాణిజ్య వినియోగం చదవండి.
ఈ రోజు ఉచిత NIM మోడళ్లు
కేటలాగ్ ఈ ఉచిత NVIDIA మోడళ్లను జాబితా చేస్తుంది. పరిమితి ఖాతాకు చెందుతుంది, కాబట్టి అన్ని మోడళ్లు ఒకే నిమిషానికి అభ్యర్థనలను పంచుకుంటాయి.
| మోడల్ | ఉచితంగా లభ్యం | కాంటెక్స్ట్ | ఉచిత పరిమితులు (ఉత్తమ ఆఫర్) | సాధనాలు | విజన్ |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 అభ్యర్థనలు/నిమిషం 40 RPM | అవును | లేదు |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | లేదు | లేదు |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 అభ్యర్థనలు/నిమిషం 40 RPM | అవును | లేదు |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 అభ్యర్థనలు/నిమిషం 40 RPM | అవును | అవును |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 అభ్యర్థనలు/నిమిషం 40 RPM | లేదు | లేదు |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 అభ్యర్థనలు/నిమిషం 40 RPM | అవును | లేదు |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 అభ్యర్థనలు/నిమిషం 40 RPM | అవును | లేదు |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 అభ్యర్థనలు/నిమిషం 40 RPM | అవును | లేదు |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 అభ్యర్థనలు/నిమిషం 40 RPM | లేదు | అవును |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 అభ్యర్థనలు/నిమిషం 40 RPM | అవును | లేదు |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 అభ్యర్థనలు/నిమిషం 40 RPM | లేదు | అవును |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 అభ్యర్థనలు/నిమిషం 40 RPM | లేదు | అవును |
సరిపోలే 19 ఉచిత మోడల్లలో 12 చూపబడుతున్నాయి. అన్ని మోడల్లను చూడండి.
FreeLLMAPI కేటలాగ్ నుండి ప్రత్యక్ష డేటా (వెర్షన్ 2026.11.19, 2026-11-19 న తనిఖీ చేయబడింది). ఉచిత పరిమితులు తరచుగా మారుతాయి. కేటలాగ్ ప్రతి రోజు తనిఖీ చేయబడుతుంది.
| ప్రొవైడర్ | తెలిసిన సమస్య | ఏమి చేయాలి |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
FreeLLMAPI కేటలాగ్ నుండి ప్రత్యక్ష డేటా (వెర్షన్ 2026.11.19, 2026-11-19 న తనిఖీ చేయబడింది). ఉచిత పరిమితులు తరచుగా మారుతాయి. కేటలాగ్ ప్రతి రోజు తనిఖీ చేయబడుతుంది.
పరిమితి కింద ఎలా ఉండాలి
నిమిషానికి 40 అభ్యర్థనల వద్ద, సగటున ప్రతి 1.5 సెకన్లకు ఒక అభ్యర్థన పంపవచ్చు. సమాంతర అభ్యర్థనల ఒక్క పేలుడు సెకన్లలో పరిమితికి చేరుతుంది. ఈ నియమాలను ఉపయోగించండి:
- మీ క్లయింట్లో సమాంతర అభ్యర్థనల సంఖ్యను పరిమితం చేయండి. ఒకేసారి రెండు లేదా మూడు చాలా ఏజెంట్లకు సురక్షితం.
- ప్రతి 429ని ఎక్స్పోనెన్షియల్ బ్యాక్ఆఫ్ మరియు జిటర్తో మళ్లీ ప్రయత్నించండి. స్థిర సంఖ్యలో ప్రయత్నాల తర్వాత ఆపండి.
- అన్ని మోడళ్లపై అభ్యర్థనలను లెక్కించండి. పరిమితి ఖాతాకు, ప్రతి మోడల్కు కాదు.
- సరళమైన, చిన్న పనులను ఇతర ప్రొవైడర్లకు పంపండి. NVIDIA మాత్రమే ఉచితంగా అందించే పెద్ద మోడళ్ల కోసం NVIDIAని ఉంచండి.
సాధారణ క్లయింట్-వైపు పేసింగ్ (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")FreeLLMAPIతో లోడ్ను విభజించండి
FreeLLMAPI మీ కంప్యూటర్లో నడిచే ఓపెన్-సోర్స్ గేట్వే. ఇది NVIDIAను మొత్తం ఖాతాకు నిమిషానికి 40 అభ్యర్థనల ఒక పూల్గా పరిగణిస్తుంది. అభ్యర్థన పంపే ముందు, ఇది ఆ పూల్ను తనిఖీ చేస్తుంది. పూల్ నిండినప్పుడు, అది అభ్యర్థనను మీ చైన్లోని తదుపరి ఉచిత ప్రొవైడర్కు పంపుతుంది.
- ఖాతా-వ్యాప్త నిమిషపు పరిమితిని
PROVIDER_MINUTE_REQUEST_CAP_NVIDIAతో సెట్ చేస్తారు. మీ ఖాతా చిన్న పరిమితి చూపితే దాన్ని తగ్గించండి. - NVIDIAకు సమాంతర అభ్యర్థనలను పరిమితం చేయడానికి,
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIAసెట్ చేయండి. - NVIDIA నుండి వచ్చిన 429 కీని చిన్న కూల్డౌన్లో ఉంచుతుంది. తర్వాత రౌటర్ ఇతర ప్రొవైడర్లను ప్రయత్నిస్తుంది.
X-Routed-Viaహెడర్ ప్రతి అభ్యర్థనకు ఏ ప్రొవైడర్ జవాబిచ్చిందో చూపుతుంది.
~/freellmapi/.env (Docker ఇన్స్టాల్)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dవన్-లైన్ ఇన్స్టాలర్ తన సెట్టింగ్లను ~/freellmapi/.envలో ఉంచుతుంది. ఆ ఫైల్కు రెండు లైన్లు జోడించి, కంటైనర్ను మళ్లీ ప్రారంభించండి. డిఫాల్ట్ NVIDIA పరిమితి నిమిషానికి 40 అభ్యర్థనలు. 0 విలువ ఆ ప్రొవైడర్ కోసం ఖాతా-వ్యాప్త గేట్ను ఆపివేస్తుంది.
ఫెయిలోవర్ NVIDIA పరిమితిని పెంచదు. NVIDIA నిండినప్పుడు, ఉదాహరణకు Groq, Gemini మరియు Cloudflare వంటి ఇతర ఉచిత టియర్లను ఉపయోగిస్తుంది.
తరచుగా అడిగే ప్రశ్నలు
NVIDIA NIM API రేట్ పరిమితి ఎంత?
NVIDIA ఒకే సంఖ్యను ప్రచురించదు. పరిమితులు మోడల్ ప్రకారం మారతాయని సిబ్బంది చెబుతారు, మరియు మీరు build.nvidia.com కుడి పైభాగంలో మీ పరిమితిని చూడవచ్చు. చాలా ఉచిత ఖాతాలు నిమిషానికి 40 అభ్యర్థనలను నివేదిస్తాయి.
NVIDIA NIM రేట్ పరిమితిని 40 RPM నుండి ఎలా పెంచాలి?
ఉచిత ఖాతాల కోసం మాకు అధికారిక ప్రక్రియ కనిపించలేదు. ఎక్కువ సామర్థ్యం కోసం NVIDIA FAQ స్వీయ-హోస్టింగ్, Hugging Face వంటి చెల్లింపు సర్వర్లెస్ భాగస్వామి, లేదా NVIDIA AI Enterprise ట్రయల్ను సూచిస్తుంది.
NVIDIA NIM ఇప్పటికీ క్రెడిట్లను ఉపయోగిస్తుందా?
లేదు. సెప్టెంబర్ 2025లో NVIDIA సిబ్బంది build.nvidia.com ఇకపై క్రెడిట్లను ఉపయోగించదని చెప్పారు. ట్రయల్ వినియోగం ఇప్పుడు రేట్ పరిమితుల ద్వారా నియంత్రించబడుతుంది.
ఉచిత NVIDIA APIని ప్రొడక్షన్లో ఉపయోగించవచ్చా?
లేదు. NVIDIA API ట్రయల్ నిబంధనలు పరిమిత ట్రయల్ ఉపయోగాన్ని మాత్రమే అనుమతిస్తాయి, ప్రొడక్షన్ను కాదు. ప్రొడక్షన్ ఉపయోగానికి NVIDIA AI Enterprise లైసెన్స్ లేదా చెల్లింపు ప్రొవైడర్ కావాలి.
NVIDIA 40 RPM పరిమితి మోడల్ వారీగా లేదా ఖాతా వారీగా ఉందా?
ఉచిత వినియోగదారులు ఖాతా అంతటా ఒక పరిమితిని నివేదిస్తారు. అన్ని మోడళ్లు దాన్ని పంచుకుంటాయని ప్లాన్ చేయండి, మరియు మీరు కాల్ చేసే ప్రతి మోడల్ అంతటా అభ్యర్థనలను పేస్ చేయండి.
సంబంధిత గైడ్లు
- free nvidia api
- ఉచిత LLM API రేట్ పరిమితులు
- Groq రేట్ పరిమితి చేరింది (429)
- Gemini API కోటా మించింది (429 RESOURCE_EXHAUSTED)
- వాణిజ్య ఉపయోగం కోసం ఉచిత LLM API
మూలాలు
- NVIDIA developer forum: credit system replaced by rate limits (20 November 2026 న తనిఖీ చేయబడింది)
- NVIDIA NIM FAQ (20 November 2026 న తనిఖీ చేయబడింది)
- NVIDIA API Trial Terms of Service (PDF) (20 November 2026 న తనిఖీ చేయబడింది)
- NVIDIA developer forum: request to raise 40 RPM (20 November 2026 న తనిఖీ చేయబడింది)
- NVIDIA API Catalog: API reference (20 November 2026 న తనిఖీ చేయబడింది)
- FreeLLMAPI docs: Quota and cooldown engine (20 November 2026 న తనిఖీ చేయబడింది)