NVIDIA NIM API rate limit

build.nvidia.com-இல் உள்ள இலவச NVIDIA API Catalog-க்கு ஒரு rate limit உண்டு, கிரெடிட் இருப்பு அல்ல. பல இலவசக் கணக்குகள் நிமிடத்துக்கு 40 கோரிக்கைகள் என்ற வரம்பைத் தெரிவிக்கின்றன. இந்தப் பக்கம் வரம்பைப் பற்றி NVIDIA என்ன சொல்கிறது, வரம்பை உயர்த்தக் கோருவது ஏன் அரிதாக வேலை செய்கிறது, அதன் கீழே எப்படி இருப்பது என்பதை விளக்குகிறது.

குறியீடு, மாதிரிப் பெயர்கள் மற்றும் நேரடி பட்டியல் லேபிள்கள் ஆங்கிலத்தில் காட்டப்படுகின்றன.

வரம்பைப் பற்றி NVIDIA என்ன சொல்கிறது

செப்டம்பர் 2025-இல், ஒரு NVIDIA ஊழியர் டெவலப்பர் மன்றத்தில் எழுதினார்: "build.nvidia.com-க்கு நாங்கள் இனி கிரெடிட் அடிப்படையிலான அமைப்பைப் பயன்படுத்துவதில்லை." சோதனைப் பயன்பாட்டுக்கான rate limit-கள் கிரெடிட்களுக்குப் பதிலாக வந்தன. அதே பதில், வரம்புகள் ஒவ்வொரு மாடலுக்கும் வேறுபடுகின்றன என்றும், NVIDIA அவற்றை வெளியிடுவதில்லை என்றும் கூறுகிறது. build.nvidia.com-இன் மேல் வலது மூலையில் உங்கள் அதிகபட்ச rate limit-ஐப் பார்க்கலாம்.

NIM FAQ, ஒரு காலகட்டத்தில் அனுமதிக்கப்படும் அழைப்புகளின் எண்ணிக்கை "மதிப்பீடு மற்றும் முன்மாதிரி தேவைகளுக்கு மட்டுமே" வடிவமைக்கப்பட்டது என்று கூறுகிறது. NVIDIA Developer Program உறுப்பினர்கள் முன்மாதிரிக்காக NIM API endpoint-களுக்கு இலவச அணுகல் பெறுகின்றனர்.

40 RPM மதிப்பைப் பற்றி: பெரும்பாலான இலவசக் கணக்குகள் NVIDIA மன்றத்தில் தெரிவிக்கும் மதிப்பு 40 கோரிக்கைகள் நிமிடத்துக்கு. இது எந்த அதிகாரப்பூர்வ NVIDIA பக்கத்திலும் இல்லை. உங்கள் உண்மையான வரம்புக்கு உங்கள் சொந்தக் கணக்கைச் சரிபாருங்கள்.

40 RPM வரம்பை உயர்த்த முடியுமா?

NVIDIA டெவலப்பர் மன்றத்தில் நிமிடத்துக்கு 200 RPM அல்லது அதற்கு மேல் கேட்கும் பல பதிவுகள் உள்ளன. இலவசக் கணக்கின் வரம்பை உயர்த்தும் அதிகாரப்பூர்வ நடைமுறை எதையும் நாங்கள் கண்டறியவில்லை. ஒரு மன்ற பதில், தனிப்பட்ட இலவசக் கணக்குகளுக்கு NVIDIA வரம்புகளைக் கைமுறையாக உயர்த்த முடியாது என்று கூறுகிறது. அந்தப் பதில் NVIDIA ஊழியரிடமிருந்து வந்ததா என்பதை எங்களால் உறுதிப்படுத்த முடியவில்லை.

NIM FAQ கூடுதல் திறனுக்கு வேறு விருப்பங்களைத் தருகிறது:

  • உங்கள் cloud வழங்குநரிலோ உங்கள் சொந்த GPUs-இலோ NIM-ஐ சுய-நிறுவுங்கள்.
  • பணம்-செலுத்தும் விலையுடன், Hugging Face போன்ற ஒரு கூட்டாளியிடமிருந்து உற்பத்திக்கான serverless NIM API-ஐப் பயன்படுத்துங்கள்.
  • உற்பத்தி பயன்பாட்டுக்கென்றே உள்ள 90 நாள் NVIDIA AI Enterprise சோதனையைத் தொடங்குங்கள்.

அதிக கோரிக்கைகளுக்காக மேலும் NVIDIA கணக்குகளை உருவாக்காதீர்கள். சோதனை விதிமுறைகள் பயன்பாட்டு வரம்புகளை NVIDIA அமைக்க அனுமதிக்கின்றன, இலவச அணுகல் குறிப்பிட்ட சோதனை நோக்கங்களுக்கு மட்டுமே.

அதிக throughput பெறும் வழிகள்
விருப்பம்செலவுஅதிக கோரிக்கைகளா?
மன்றத்தில் அதிக இலவச வரம்பைக் கேளுங்கள்இலவசம்அதிகாரப்பூர்வ நடைமுறை எதுவும் கண்டறியப்படவில்லை
வரம்புக்குக் கீழே கோரிக்கைகளை வேகப்படுத்துங்கள்இலவசம்இல்லை, ஆனால் குறைவான 429 பிழைகள்
தோல்வி மாற்றத்துடன் பிற இலவச வழங்குநர்களைச் சேர்க்கவும்இலவசம்ஆம், பிற வழங்குநர்களிடமிருந்து
கூட்டாளியிடமிருந்து serverless NIMபயன்பாட்டுக்கு ஏற்ப பணம்ஆம்
NIM-ஐ சுய-நிறுவுங்கள்உங்கள் GPUsஆம்

சோதனை விதிமுறைகள் அனுமதிப்பவை

NVIDIA API சோதனை விதிமுறைகளின் பிரிவு 1.2, "வரையறுக்கப்பட்ட சோதனை நோக்கங்களுக்கு மட்டுமே" அணுகலை வழங்குகிறது. அது உற்பத்தியில் சேவையைப் பயன்படுத்துவதையோ அதன் வெளியீட்டையோ விலக்குகிறது. பிரிவு 1.4, சந்தா இல்லாமல், நீங்கள் சேவையை உள் சோதனைக்கு மற்றும் மதிப்பீட்டுக்கு மட்டுமே பயன்படுத்தலாம் என்கிறது.

பிரிவு 3.3, உங்கள் உள்ளடக்கத்தையும் உருவாக்கப்பட்ட உள்ளடக்கத்தையும், AI மாடல்கள் உட்பட தனது தயாரிப்புகளை மேம்படுத்த NVIDIA சேகரிக்கிறது என்று கூறுகிறது. தனிப்பட்ட தரவை சோதனை சேவைக்கு அனுப்பாதீர்கள். பிற வழங்குநர்களுக்கு இலவச LLM API வணிகப் பயன்பாடு படியுங்கள்.

இன்றைய இலவச NIM மாடல்கள்

catalog இந்த இலவச NVIDIA மாடல்களைப் பட்டியலிடுகிறது. வரம்பு கணக்குக்கு உரியது, எனவே எல்லா மாடல்களும் ஒரே நிமிட-கோரிக்கை வரம்பைப் பகிர்கின்றன.

இன்று catalog-இல் உள்ள இலவச NVIDIA NIM மாடல்கள்
மாதிரிஇலவசம்சூழல் அளவுஇலவச வரம்புகள் (சிறந்த சலுகை)கருவிகள்படப் பார்வை
GLM 5.3 FlashNVIDIA NIM1M40 கோரிக்கை/நிமிடம்
40 RPM
ஆம்இல்லை
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingஇல்லைஇல்லை
Nemotron-3 Ultra 550BNVIDIA NIM1M40 கோரிக்கை/நிமிடம்
40 RPM
ஆம்இல்லை
Muse Glimmer 30BNVIDIA NIM131K40 கோரிக்கை/நிமிடம்
40 RPM
ஆம்ஆம்
Gemma 4 31BNVIDIA NIM262K40 கோரிக்கை/நிமிடம்
40 RPM
இல்லைஇல்லை
Poolside Laguna XS 2.1NVIDIA NIM262K40 கோரிக்கை/நிமிடம்
40 RPM
ஆம்இல்லை
Nemotron 3 Super 120BNVIDIA NIM262K40 கோரிக்கை/நிமிடம்
40 RPM
ஆம்இல்லை
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 கோரிக்கை/நிமிடம்
40 RPM
ஆம்இல்லை
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 கோரிக்கை/நிமிடம்
40 RPM
இல்லைஆம்
GPT-OSS 20BNVIDIA NIM131K40 கோரிக்கை/நிமிடம்
40 RPM
ஆம்இல்லை
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 கோரிக்கை/நிமிடம்
40 RPM
இல்லைஆம்
Ising Calibration 1.5 31BNVIDIA NIM131K40 கோரிக்கை/நிமிடம்
40 RPM
இல்லைஆம்

பொருந்தும் 19 இலவச மாதிரிகளில் 12 காட்டப்படுகின்றன. அனைத்து மாதிரிகளையும் பார்க்கவும்.

FreeLLMAPI பட்டியலிலிருந்து நேரடி தரவு (பதிப்பு 2026.11.19, சரிபார்க்கப்பட்டது 2026-11-19). இலவச வரம்புகள் அடிக்கடி மாறும். பட்டியல் ஒவ்வொரு நாளும் சரிபார்க்கப்படுகிறது.

வழங்குநர்அறியப்பட்ட சிக்கல்என்ன செய்வது
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

FreeLLMAPI பட்டியலிலிருந்து நேரடி தரவு (பதிப்பு 2026.11.19, சரிபார்க்கப்பட்டது 2026-11-19). இலவச வரம்புகள் அடிக்கடி மாறும். பட்டியல் ஒவ்வொரு நாளும் சரிபார்க்கப்படுகிறது.

வரம்புக்குக் கீழே இருப்பது எப்படி

நிமிடத்துக்கு 40 கோரிக்கைகளில், சராசரியாக ஒவ்வொரு 1.5 வினாடிக்கும் ஒரு கோரிக்கையை அனுப்பலாம். ஒரு இணையான தொகுதி கோரிக்கைகள் சில வினாடிகளில் வரம்பை அடையும். இந்த விதிகளைப் பயன்படுத்துங்கள்:

  1. உங்கள் client-இல் இணையான கோரிக்கைகளின் எண்ணிக்கையை வரம்பிடுங்கள். ஒரு நேரத்தில் இரண்டு அல்லது மூன்று பெரும்பாலான முகவர்களுக்குப் பாதுகாப்பானது.
  2. ஒவ்வொரு 429-ஐயும் அதிவேக பின்வாங்கல் மற்றும் jitter உடன் மீண்டும் முயற்சிக்கவும். ஒரு நிலையான எண்ணிக்கை மறுமுயற்சிகளுக்குப் பிறகு நிறுத்துங்கள்.
  3. எல்லா மாடல்களிலும் கோரிக்கைகளை எண்ணுங்கள். வரம்பு கணக்குக்கானது, ஒவ்வொரு மாடலுக்கும் அல்ல.
  4. எளிய, குறுகிய பணிகளை பிற வழங்குநர்களுக்கு அனுப்புங்கள். NVIDIA மட்டுமே இலவசமாக வழங்கும் பெரிய மாடல்களுக்கு NVIDIA-ஐ வையுங்கள்.

எளிய client-பக்க வேக கட்டுப்பாடு (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

FreeLLMAPI மூலம் சுமையைப் பரப்புங்கள்

FreeLLMAPI உங்கள் கணினியில் இயங்கும் ஒரு open-source gateway. அது NVIDIA-ஐ முழுக் கணக்குக்கும் நிமிடத்துக்கு 40 கோரிக்கைகள் கொண்ட ஒரு குளமாகக் கருதுகிறது. ஒரு கோரிக்கையை அனுப்பும் முன், அது அந்தக் குளத்தைச் சரிபார்க்கிறது. குளம் நிரம்பியிருந்தால், அந்தக் கோரிக்கையை உங்கள் சங்கிலியில் அடுத்த இலவச வழங்குநருக்கு அனுப்புகிறது.

  • கணக்கு முழுவதற்குமான நிமிட உச்சவரம்பு PROVIDER_MINUTE_REQUEST_CAP_NVIDIA-இல் அமைக்கப்படுகிறது. உங்கள் கணக்கு குறைவான வரம்பைக் காட்டினால் அதைக் குறையுங்கள்.
  • NVIDIA-க்கான இணையான கோரிக்கைகளை வரம்பிட, MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA-ஐ அமையுங்கள்.
  • NVIDIA-விலிருந்து வரும் 429, key-ஐ ஒரு குறுகிய cooldown-இல் வைக்கிறது. router பின்னர் பிற வழங்குநர்களை முயற்சிக்கிறது.
  • X-Routed-Via header ஒவ்வொரு கோரிக்கைக்கும் எந்த வழங்குநர் பதிலளித்தது என்பதைக் காட்டுகிறது.

~/freellmapi/.env (Docker நிறுவல்)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

ஒரே வரி நிறுவி அதன் அமைப்புகளை ~/freellmapi/.env-இல் வைத்திருக்கிறது. அந்தக் கோப்பில் இரண்டு வரிகளைச் சேர்த்து, பின்னர் கொள்கலனை மீண்டும் தொடங்குங்கள். இயல்புநிலை NVIDIA உச்சவரம்பு நிமிடத்துக்கு 40 கோரிக்கைகள். 0 மதிப்பு அந்த வழங்குநருக்கான கணக்கு முழுவதற்குமான வாயிலை அணைக்கிறது.

தோல்வி மாற்றம் NVIDIA-இன் வரம்பை உயர்த்தாது. NVIDIA நிரம்பியிருக்கும்போது, Groq, Gemini மற்றும் Cloudflare போன்ற பிற இலவச அடுக்குகளைப் பயன்படுத்துகிறது.

இவை அனைத்தையும் ஒரே விசை மூலம் பயன்படுத்துங்கள். FreeLLMAPI என்பது திறந்த மூலமான, நீங்களே நிறுவும் ரூட்டர். இந்த இலவச அடுக்குகள் அனைத்தையும் ஒரே OpenAI-இணக்கமான இறுதிப்புள்ளிக்குப் பின்னால் வைக்கிறது. ஒரு வழங்குநர் வரம்பை எட்டும்போது தானாக அடுத்ததற்கு மாறுகிறது. பட்டியலைப் பார்க்கவும் அல்லது நேரலைக்குச் செல்லவும்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

NVIDIA NIM API rate limit என்ன?

NVIDIA ஒரே எண்ணை வெளியிடுவதில்லை. மாடலுக்கு மாடல் வரம்புகள் வேறுபடுவதாக ஊழியர்கள் கூறுகின்றனர், உங்களுடையதை build.nvidia.com-இன் மேல் வலது மூலையில் பார்க்கலாம். பெரும்பாலான இலவசக் கணக்குகள் நிமிடத்துக்கு 40 கோரிக்கைகளைத் தெரிவிக்கின்றன.

40 RPM-இலிருந்து NVIDIA NIM rate limit-ஐ எப்படி உயர்த்துவது?

இலவசக் கணக்குகளுக்கான அதிகாரப்பூர்வ நடைமுறை எதையும் நாங்கள் கண்டறியவில்லை. அதிக திறனுக்கு NVIDIA-இன் FAQ சுய-நிறுவல், Hugging Face போன்ற பணம்-செலுத்தும் serverless கூட்டாளி, அல்லது NVIDIA AI Enterprise சோதனையைச் சுட்டிக்காட்டுகிறது.

NVIDIA NIM இன்னும் கிரெடிட்களைப் பயன்படுத்துகிறதா?

இல்லை. செப்டம்பர் 2025-இல் NVIDIA ஊழியர்கள் build.nvidia.com இனி கிரெடிட்களைப் பயன்படுத்தவில்லை என்று கூறினர். சோதனைப் பயன்பாடு இப்போது rate limit-களால் கட்டுப்படுத்தப்படுகிறது.

இலவச NVIDIA API-ஐ உற்பத்தியில் பயன்படுத்தலாமா?

இல்லை. NVIDIA API சோதனை விதிமுறைகள் வரையறுக்கப்பட்ட சோதனைப் பயன்பாட்டை மட்டுமே அனுமதிக்கின்றன, உற்பத்தியை அல்ல. உற்பத்திப் பயன்பாட்டுக்கு NVIDIA AI Enterprise உரிமம் அல்லது பணம்-செலுத்தும் வழங்குநர் தேவை.

NVIDIA 40 RPM வரம்பு மாடலுக்கா அல்லது கணக்குக்கா?

இலவசப் பயனர்கள் கணக்கு முழுவதற்கும் ஒரே வரம்பைத் தெரிவிக்கின்றனர். எல்லா மாடல்களும் அதைப் பகிர்வதாகத் திட்டமிடுங்கள், நீங்கள் அழைக்கும் ஒவ்வொரு மாடலிலும் கோரிக்கைகளைப் பரப்புங்கள்.

தொடர்புடைய வழிகாட்டிகள்

ஆதாரங்கள்

அனைத்து வழிகாட்டிகள் · அனைத்து இலவச மாதிரிகளையும் பார்க்கவும்