హోమ్ / గైడ్‌లు / NVIDIA NIM API రేట్ పరిమితి

NVIDIA NIM API రేట్ పరిమితి

build.nvidia.comపై ఉన్న ఉచిత NVIDIA API Catalogకు క్రెడిట్ బ్యాలెన్స్ కాదు, రేట్ పరిమితి ఉంది. అనేక ఉచిత ఖాతాలు నిమిషానికి 40 అభ్యర్థనల పరిమితిని నివేదిస్తాయి. ఈ పేజీ పరిమితి గురించి NVIDIA ఏమి చెబుతుందో, పరిమితిని పెంచే అభ్యర్థనలు ఎందుకు అరుదుగా పనిచేస్తాయో, మరియు దాని కింద ఎలా ఉండాలో వివరిస్తుంది.

కోడ్, మోడల్ పేర్లు మరియు ప్రత్యక్ష కేటలాగ్ లేబుల్‌లు ఇంగ్లీషులోనే చూపబడతాయి.

పరిమితి గురించి NVIDIA ఏమి చెబుతుంది

సెప్టెంబర్ 2025లో, ఒక NVIDIA సిబ్బంది సభ్యుడు డెవలపర్ ఫోరమ్‌లో ఇలా రాశారు: "We no longer use a credit-based system for build.nvidia.com." ట్రయల్ వినియోగం కోసం రేట్ పరిమితులు క్రెడిట్‌ల స్థానంలో వచ్చాయి. అదే సమాధానం పరిమితులు ప్రతి మోడల్‌కు వేరుగా ఉంటాయని, మరియు NVIDIA వాటిని ప్రచురించదని చెబుతుంది. build.nvidia.com కుడి పైభాగంలో మీ గరిష్ట రేట్ పరిమితిని మీరు చూడవచ్చు.

NIM FAQ ప్రకారం, ఒక కాలవ్యవధిలో అనుమతించబడిన కాల్‌ల సంఖ్య "is designed to serve evaluation and prototyping needs only". NVIDIA Developer Program సభ్యులు ప్రోటోటైపింగ్ కోసం NIM API ఎండ్‌పాయింట్‌లకు ఉచిత యాక్సెస్ పొందుతారు.

40 RPM విలువ గురించి: నిమిషానికి 40 అభ్యర్థనలు అనేక ఉచిత ఖాతాలు NVIDIA ఫోరమ్‌లో నివేదించే విలువ. ఇది అధికారిక NVIDIA పేజీలో లేదు. మీ నిజమైన పరిమితి కోసం మీ స్వంత ఖాతాను తనిఖీ చేయండి.

40 RPM పరిమితిని పెంచగలరా?

NVIDIA డెవలపర్ ఫోరమ్‌లో 200 RPM లేదా అంతకంటే ఎక్కువ కోసం అడిగే అనేక పోస్ట్‌లు ఉన్నాయి. ఉచిత ఖాతా కోసం పరిమితిని పెంచే అధికారిక ప్రక్రియ మాకు కనిపించలేదు. ఒక ఫోరమ్ సమాధానం ప్రకారం NVIDIA ఉచిత వ్యక్తిగత ఖాతాలకు పరిమితులను మానవీయంగా పెంచలేదు. ఈ సమాధానం NVIDIA సిబ్బంది నుండి వచ్చిందని మేము నిర్ధారించలేకపోయాము.

NIM FAQ ఎక్కువ సామర్థ్యం కోసం ఇతర ఎంపికలను ఇస్తుంది:

  • మీ క్లౌడ్ ప్రొవైడర్‌పై లేదా మీ స్వంత GPUలపై NIMని స్వీయ-హోస్ట్ చేయండి.
  • భాగస్వామి నుండి ప్రొడక్షన్ సర్వర్‌లెస్ NIM APIని ఉపయోగించండి, ఉదాహరణకు Hugging Face, ఉపయోగానికి తగిన ధరతో.
  • 90-రోజుల NVIDIA AI Enterprise ట్రయల్‌ను ప్రారంభించండి, ఇది ప్రొడక్షన్ డిప్లాయ్‌మెంట్‌ల కోసం ఉద్దేశించబడింది.

ఎక్కువ అభ్యర్థనల కోసం మరిన్ని NVIDIA ఖాతాలు సృష్టించవద్దు. ట్రయల్ నిబంధనలు NVIDIAకు వినియోగ పరిమితులు సెట్ చేసే హక్కు ఇస్తాయి, మరియు ఉచిత యాక్సెస్ పరిమిత ట్రయల్ ప్రయోజనాల కోసం మాత్రమే.

ఎక్కువ థ్రూపుట్ పొందే మార్గాలు
ఎంపికఖర్చుఎక్కువ అభ్యర్థనలా?
ఫోరమ్‌లో ఎక్కువ ఉచిత పరిమితి కోసం అడగండిఉచితంఅధికారిక ప్రక్రియ కనిపించలేదు
పరిమితి కింద అభ్యర్థనలను వేగంగా పంపండిఉచితంలేదు, కానీ తక్కువ 429 ఎర్రర్‌లు
ఫెయిలోవర్‌తో ఇతర ఉచిత ప్రొవైడర్లను జోడించండిఉచితంఅవును, ఇతర ప్రొవైడర్ల నుండి
భాగస్వామి నుండి సర్వర్‌లెస్ NIMఉపయోగం ప్రకారం చెల్లింపుఅవును
NIMని స్వీయ-హోస్ట్ చేయండిమీ GPUలుఅవును

ట్రయల్ నిబంధనలు ఏమి అనుమతిస్తాయి

NVIDIA API ట్రయల్ నిబంధనల సెక్షన్ 1.2 "for limited trial purposes only" యాక్సెస్ ఇస్తుంది. ఇది సేవ లేదా దాని అవుట్‌పుట్‌ను ప్రొడక్షన్‌లో ఉపయోగించడాన్ని మినహాయిస్తుంది. సెక్షన్ 1.4 ప్రకారం, సబ్‌స్క్రిప్షన్ లేకుండా, మీరు సేవను అంతర్గత పరీక్ష మరియు మూల్యాంకనానికి మాత్రమే ఉపయోగించవచ్చు.

సెక్షన్ 3.3 ప్రకారం, AI మోడళ్లతో సహా తన ఉత్పత్తులను మెరుగుపరచడానికి NVIDIA మీ కంటెంట్ మరియు రూపొందించిన కంటెంట్‌ను సేకరిస్తుంది. ట్రయల్ సేవకు ప్రైవేట్ డేటా పంపవద్దు. ఇతర ప్రొవైడర్ల కోసం ఉచిత LLM API వాణిజ్య వినియోగం చదవండి.

ఈ రోజు ఉచిత NIM మోడళ్లు

కేటలాగ్ ఈ ఉచిత NVIDIA మోడళ్లను జాబితా చేస్తుంది. పరిమితి ఖాతాకు చెందుతుంది, కాబట్టి అన్ని మోడళ్లు ఒకే నిమిషానికి అభ్యర్థనలను పంచుకుంటాయి.

ఈ రోజు కేటలాగ్‌లో ఉచిత NVIDIA NIM మోడళ్లు
మోడల్ఉచితంగా లభ్యంకాంటెక్స్ట్ఉచిత పరిమితులు (ఉత్తమ ఆఫర్)సాధనాలువిజన్
GLM 5.3 FlashNVIDIA NIM1M40 అభ్యర్థనలు/నిమిషం
40 RPM
అవునులేదు
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingలేదులేదు
Nemotron-3 Ultra 550BNVIDIA NIM1M40 అభ్యర్థనలు/నిమిషం
40 RPM
అవునులేదు
Muse Glimmer 30BNVIDIA NIM131K40 అభ్యర్థనలు/నిమిషం
40 RPM
అవునుఅవును
Gemma 4 31BNVIDIA NIM262K40 అభ్యర్థనలు/నిమిషం
40 RPM
లేదులేదు
Poolside Laguna XS 2.1NVIDIA NIM262K40 అభ్యర్థనలు/నిమిషం
40 RPM
అవునులేదు
Nemotron 3 Super 120BNVIDIA NIM262K40 అభ్యర్థనలు/నిమిషం
40 RPM
అవునులేదు
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 అభ్యర్థనలు/నిమిషం
40 RPM
అవునులేదు
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 అభ్యర్థనలు/నిమిషం
40 RPM
లేదుఅవును
GPT-OSS 20BNVIDIA NIM131K40 అభ్యర్థనలు/నిమిషం
40 RPM
అవునులేదు
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 అభ్యర్థనలు/నిమిషం
40 RPM
లేదుఅవును
Ising Calibration 1.5 31BNVIDIA NIM131K40 అభ్యర్థనలు/నిమిషం
40 RPM
లేదుఅవును

సరిపోలే 19 ఉచిత మోడల్‌లలో 12 చూపబడుతున్నాయి. అన్ని మోడల్‌లను చూడండి.

FreeLLMAPI కేటలాగ్ నుండి ప్రత్యక్ష డేటా (వెర్షన్ 2026.11.19, 2026-11-19 న తనిఖీ చేయబడింది). ఉచిత పరిమితులు తరచుగా మారుతాయి. కేటలాగ్ ప్రతి రోజు తనిఖీ చేయబడుతుంది.

ప్రొవైడర్తెలిసిన సమస్యఏమి చేయాలి
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

FreeLLMAPI కేటలాగ్ నుండి ప్రత్యక్ష డేటా (వెర్షన్ 2026.11.19, 2026-11-19 న తనిఖీ చేయబడింది). ఉచిత పరిమితులు తరచుగా మారుతాయి. కేటలాగ్ ప్రతి రోజు తనిఖీ చేయబడుతుంది.

పరిమితి కింద ఎలా ఉండాలి

నిమిషానికి 40 అభ్యర్థనల వద్ద, సగటున ప్రతి 1.5 సెకన్లకు ఒక అభ్యర్థన పంపవచ్చు. సమాంతర అభ్యర్థనల ఒక్క పేలుడు సెకన్లలో పరిమితికి చేరుతుంది. ఈ నియమాలను ఉపయోగించండి:

  1. మీ క్లయింట్‌లో సమాంతర అభ్యర్థనల సంఖ్యను పరిమితం చేయండి. ఒకేసారి రెండు లేదా మూడు చాలా ఏజెంట్లకు సురక్షితం.
  2. ప్రతి 429ని ఎక్స్‌పోనెన్షియల్ బ్యాక్‌ఆఫ్ మరియు జిటర్‌తో మళ్లీ ప్రయత్నించండి. స్థిర సంఖ్యలో ప్రయత్నాల తర్వాత ఆపండి.
  3. అన్ని మోడళ్లపై అభ్యర్థనలను లెక్కించండి. పరిమితి ఖాతాకు, ప్రతి మోడల్‌కు కాదు.
  4. సరళమైన, చిన్న పనులను ఇతర ప్రొవైడర్లకు పంపండి. NVIDIA మాత్రమే ఉచితంగా అందించే పెద్ద మోడళ్ల కోసం NVIDIAని ఉంచండి.

సాధారణ క్లయింట్-వైపు పేసింగ్ (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

FreeLLMAPIతో లోడ్‌ను విభజించండి

FreeLLMAPI మీ కంప్యూటర్‌లో నడిచే ఓపెన్-సోర్స్ గేట్‌వే. ఇది NVIDIAను మొత్తం ఖాతాకు నిమిషానికి 40 అభ్యర్థనల ఒక పూల్‌గా పరిగణిస్తుంది. అభ్యర్థన పంపే ముందు, ఇది ఆ పూల్‌ను తనిఖీ చేస్తుంది. పూల్ నిండినప్పుడు, అది అభ్యర్థనను మీ చైన్‌లోని తదుపరి ఉచిత ప్రొవైడర్‌కు పంపుతుంది.

  • ఖాతా-వ్యాప్త నిమిషపు పరిమితిని PROVIDER_MINUTE_REQUEST_CAP_NVIDIA తో సెట్ చేస్తారు. మీ ఖాతా చిన్న పరిమితి చూపితే దాన్ని తగ్గించండి.
  • NVIDIAకు సమాంతర అభ్యర్థనలను పరిమితం చేయడానికి, MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA సెట్ చేయండి.
  • NVIDIA నుండి వచ్చిన 429 కీని చిన్న కూల్‌డౌన్‌లో ఉంచుతుంది. తర్వాత రౌటర్ ఇతర ప్రొవైడర్లను ప్రయత్నిస్తుంది.
  • X-Routed-Via హెడర్ ప్రతి అభ్యర్థనకు ఏ ప్రొవైడర్ జవాబిచ్చిందో చూపుతుంది.

~/freellmapi/.env (Docker ఇన్‌స్టాల్)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

వన్-లైన్ ఇన్‌స్టాలర్ తన సెట్టింగ్‌లను ~/freellmapi/.envలో ఉంచుతుంది. ఆ ఫైల్‌కు రెండు లైన్‌లు జోడించి, కంటైనర్‌ను మళ్లీ ప్రారంభించండి. డిఫాల్ట్ NVIDIA పరిమితి నిమిషానికి 40 అభ్యర్థనలు. 0 విలువ ఆ ప్రొవైడర్ కోసం ఖాతా-వ్యాప్త గేట్‌ను ఆపివేస్తుంది.

ఫెయిలోవర్ NVIDIA పరిమితిని పెంచదు. NVIDIA నిండినప్పుడు, ఉదాహరణకు Groq, Gemini మరియు Cloudflare వంటి ఇతర ఉచిత టియర్‌లను ఉపయోగిస్తుంది.

ఇవన్నీ ఒకే కీ ద్వారా ఉపయోగించండి. FreeLLMAPI ఒక ఓపెన్-సోర్స్, సెల్ఫ్-హోస్ట్ రూటర్. ఇది ఈ ఉచిత టియర్‌లన్నింటినీ ఒకే OpenAI-అనుకూల ఎండ్‌పాయింట్ వెనుక ఉంచుతుంది. ఒకటి రేట్ లిమిట్ అయినప్పుడు, అది మరొక దానికి మారుతుంది. కేటలాగ్‌ను బ్రౌజ్ చేయండి లేదా ప్రత్యక్షంగా.

తరచుగా అడిగే ప్రశ్నలు

NVIDIA NIM API రేట్ పరిమితి ఎంత?

NVIDIA ఒకే సంఖ్యను ప్రచురించదు. పరిమితులు మోడల్ ప్రకారం మారతాయని సిబ్బంది చెబుతారు, మరియు మీరు build.nvidia.com కుడి పైభాగంలో మీ పరిమితిని చూడవచ్చు. చాలా ఉచిత ఖాతాలు నిమిషానికి 40 అభ్యర్థనలను నివేదిస్తాయి.

NVIDIA NIM రేట్ పరిమితిని 40 RPM నుండి ఎలా పెంచాలి?

ఉచిత ఖాతాల కోసం మాకు అధికారిక ప్రక్రియ కనిపించలేదు. ఎక్కువ సామర్థ్యం కోసం NVIDIA FAQ స్వీయ-హోస్టింగ్, Hugging Face వంటి చెల్లింపు సర్వర్‌లెస్ భాగస్వామి, లేదా NVIDIA AI Enterprise ట్రయల్‌ను సూచిస్తుంది.

NVIDIA NIM ఇప్పటికీ క్రెడిట్‌లను ఉపయోగిస్తుందా?

లేదు. సెప్టెంబర్ 2025లో NVIDIA సిబ్బంది build.nvidia.com ఇకపై క్రెడిట్‌లను ఉపయోగించదని చెప్పారు. ట్రయల్ వినియోగం ఇప్పుడు రేట్ పరిమితుల ద్వారా నియంత్రించబడుతుంది.

ఉచిత NVIDIA APIని ప్రొడక్షన్‌లో ఉపయోగించవచ్చా?

లేదు. NVIDIA API ట్రయల్ నిబంధనలు పరిమిత ట్రయల్ ఉపయోగాన్ని మాత్రమే అనుమతిస్తాయి, ప్రొడక్షన్‌ను కాదు. ప్రొడక్షన్ ఉపయోగానికి NVIDIA AI Enterprise లైసెన్స్ లేదా చెల్లింపు ప్రొవైడర్ కావాలి.

NVIDIA 40 RPM పరిమితి మోడల్ వారీగా లేదా ఖాతా వారీగా ఉందా?

ఉచిత వినియోగదారులు ఖాతా అంతటా ఒక పరిమితిని నివేదిస్తారు. అన్ని మోడళ్లు దాన్ని పంచుకుంటాయని ప్లాన్ చేయండి, మరియు మీరు కాల్ చేసే ప్రతి మోడల్ అంతటా అభ్యర్థనలను పేస్ చేయండి.

సంబంధిత గైడ్‌లు

మూలాలు

అన్ని గైడ్‌లు · అన్ని ఉచిత మోడల్‌లను చూడండి