NVIDIA NIM API রেট লিমিট
build.nvidia.com-এর বিনামূল্যের NVIDIA API Catalog-এ একটি রেট লিমিট আছে, ক্রেডিট ব্যালেন্স নেই। অনেক বিনামূল্যের অ্যাকাউন্ট প্রতি মিনিটে 40 অনুরোধের সীমা জানায়। এই পৃষ্ঠায় সীমা সম্পর্কে NVIDIA কী বলে, সীমা বাড়ানোর চেষ্টা কেন প্রায়ই কাজ করে না, এবং কীভাবে সীমার নিচে থাকতে হয়, তা ব্যাখ্যা করা হয়েছে।
কোড, মডেলের নাম এবং লাইভ ক্যাটালগের লেবেল ইংরেজিতে দেখানো হয়।
সীমা সম্পর্কে NVIDIA কী বলে
সেপ্টেম্বর 2025-এ একজন NVIDIA কর্মী ডেভেলপার ফোরামে লিখেছিলেন: "We no longer use a credit-based system for build.nvidia.com." ট্রায়াল ব্যবহারের রেট লিমিট ক্রেডিটের জায়গায় এসেছে। একই উত্তরে বলা হয়েছে, সীমা প্রতিটি মডেলের জন্য আলাদা এবং NVIDIA সেগুলো প্রকাশ করে না। build.nvidia.com-এর ওপরের ডান দিকে আপনি আপনার সর্বোচ্চ রেট লিমিট দেখতে পারেন।
NIM FAQ বলে, একটি সময়কালে অনুমোদিত কলের সংখ্যা "is designed to serve evaluation and prototyping needs only"। NVIDIA Developer Program-এর সদস্যরা প্রোটোটাইপিংয়ের জন্য NIM API এন্ডপয়েন্টে বিনামূল্যে প্রবেশাধিকার পান।
কি 40 RPM সীমা বাড়ানো যায়?
NVIDIA ডেভেলপার ফোরামে অনেক পোস্ট আছে যেখানে প্রতি মিনিটে 200 বা তার বেশি অনুরোধ চাওয়া হয়েছে। বিনামূল্যের অ্যাকাউন্টের সীমা বাড়ানোর কোনো অফিসিয়াল প্রক্রিয়া আমরা পাইনি। একটি ফোরাম উত্তর বলে, NVIDIA বিনামূল্যের ব্যক্তিগত অ্যাকাউন্টের সীমা হাতে বাড়াতে পারে না। এই উত্তরটি NVIDIA কর্মীর কি না তা আমরা নিশ্চিত করতে পারিনি।
NIM FAQ আরও ক্ষমতার জন্য অন্য বিকল্প দেয়:
- আপনার ক্লাউড প্রোভাইডারে বা নিজের GPU-তে NIM নিজে হোস্ট করুন।
- একটি অংশীদারের প্রোডাকশন serverless NIM API ব্যবহার করুন, উদাহরণস্বরূপ Hugging Face, ব্যবহার অনুযায়ী মূল্যে।
- 90 দিনের NVIDIA AI Enterprise ট্রায়াল শুরু করুন, যা প্রোডাকশন ডেপ্লয়মেন্টের জন্য।
বেশি অনুরোধের জন্য আরও NVIDIA অ্যাকাউন্ট খুলবেন না। ট্রায়াল শর্ত NVIDIA-কে ব্যবহার-সীমা ঠিক করার অধিকার দেয়, এবং বিনামূল্যের প্রবেশাধিকার শুধু সীমিত ট্রায়াল উদ্দেশ্যে।
| বিকল্প | খরচ | আরও অনুরোধ? |
|---|---|---|
| ফোরামে বেশি বিনামূল্যের সীমা চাওয়া | বিনামূল্যে | কোনো অফিসিয়াল প্রক্রিয়া পাওয়া যায়নি |
| সীমার নিচে অনুরোধের গতি নিয়ন্ত্রণ | বিনামূল্যে | না, তবে 429 ত্রুটি কম |
| ফেইলওভারসহ অন্য বিনামূল্যের প্রোভাইডার যোগ করা | বিনামূল্যে | হ্যাঁ, অন্য প্রোভাইডার থেকে |
| অংশীদারের serverless NIM | ব্যবহার অনুযায়ী মূল্য | হ্যাঁ |
| NIM নিজে হোস্ট করা | আপনার GPU | হ্যাঁ |
ট্রায়াল শর্ত কী অনুমোদন করে
NVIDIA API Trial Terms-এর ধারা 1.2 প্রবেশাধিকার দেয় "for limited trial purposes only"। এটি প্রোডাকশনে সেবা বা তার আউটপুটের ব্যবহার বাদ দেয়। ধারা 1.4 বলে, সাবস্ক্রিপশন ছাড়া আপনি সেবাটি শুধু অভ্যন্তরীণ পরীক্ষা ও মূল্যায়নে ব্যবহার করতে পারেন।
ধারা 3.3 বলে, NVIDIA AI মডেলসহ তার পণ্য উন্নত করতে আপনার কনটেন্ট ও তৈরি কনটেন্ট সংগ্রহ করে। ট্রায়াল সেবায় ব্যক্তিগত ডেটা পাঠাবেন না। অন্য প্রোভাইডারের জন্য বিনামূল্যের LLM API বাণিজ্যিক ব্যবহার পড়ুন।
আজ বিনামূল্যের NIM মডেল
ক্যাটালগে এই বিনামূল্যের NVIDIA মডেলগুলো তালিকাভুক্ত। সীমা অ্যাকাউন্ট অনুযায়ী, তাই সব মডেল একই প্রতি-মিনিটের অনুরোধ ভাগ করে।
| মডেল | বিনামূল্যে | কনটেক্সট | বিনামূল্যের সীমা (সেরা অফার) | টুল | ভিশন |
|---|---|---|---|---|---|
| GLM 5.3 Flash | NVIDIA NIM | 1M | 40 অনুরোধ/মিনিট 40 RPM | হ্যাঁ | না |
| Step 5 Preview | NVIDIA NIM | - | Ongoing developer prototyping | না | না |
| Nemotron-3 Ultra 550B | NVIDIA NIM | 1M | 40 অনুরোধ/মিনিট 40 RPM | হ্যাঁ | না |
| Muse Glimmer 30B | NVIDIA NIM | 131K | 40 অনুরোধ/মিনিট 40 RPM | হ্যাঁ | হ্যাঁ |
| Gemma 4 31B | NVIDIA NIM | 262K | 40 অনুরোধ/মিনিট 40 RPM | না | না |
| Poolside Laguna XS 2.1 | NVIDIA NIM | 262K | 40 অনুরোধ/মিনিট 40 RPM | হ্যাঁ | না |
| Nemotron 3 Super 120B | NVIDIA NIM | 262K | 40 অনুরোধ/মিনিট 40 RPM | হ্যাঁ | না |
| Nemotron 3.5 Lightning 30B A3B | NVIDIA NIM | 1M | 40 অনুরোধ/মিনিট 40 RPM | হ্যাঁ | না |
| DiffusionGemma 26B A4B IT | NVIDIA NIM | 262K | 40 অনুরোধ/মিনিট 40 RPM | না | হ্যাঁ |
| GPT-OSS 20B | NVIDIA NIM | 131K | 40 অনুরোধ/মিনিট 40 RPM | হ্যাঁ | না |
| Nemotron 3 Nano Omni 30B A3B Reasoning | NVIDIA NIM | 262K | 40 অনুরোধ/মিনিট 40 RPM | না | হ্যাঁ |
| Ising Calibration 1.5 31B | NVIDIA NIM | 131K | 40 অনুরোধ/মিনিট 40 RPM | না | হ্যাঁ |
মিলে যাওয়া 19টি বিনামূল্যের মডেলের মধ্যে 12টি দেখানো হচ্ছে। সব মডেল দেখুন.
FreeLLMAPI ক্যাটালগের লাইভ ডেটা (সংস্করণ 2026.11.19, যাচাই: 2026-11-19)। বিনামূল্যের সীমা প্রায়ই বদলায়। ক্যাটালগ প্রতিদিন যাচাই করা হয়।
| প্রোভাইডার | পরিচিত সমস্যা | করণীয় |
|---|---|---|
| NVIDIA NIM | Recurring free, 40 RPM, eval-only ToS | NVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production. |
| NVIDIA NIM | Developer evaluation and data-use terms | Ongoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free |
FreeLLMAPI ক্যাটালগের লাইভ ডেটা (সংস্করণ 2026.11.19, যাচাই: 2026-11-19)। বিনামূল্যের সীমা প্রায়ই বদলায়। ক্যাটালগ প্রতিদিন যাচাই করা হয়।
সীমার নিচে থাকার উপায়
প্রতি মিনিটে 40 অনুরোধে, গড়ে প্রতি 1.5 সেকেন্ডে একটি অনুরোধ পাঠাতে পারেন। একসাথে অনেক সমান্তরাল অনুরোধ কয়েক সেকেন্ডেই সীমায় পৌঁছায়। এই নিয়মগুলো ব্যবহার করুন:
- আপনার ক্লায়েন্টে একসাথে সমান্তরাল অনুরোধের সংখ্যা সীমিত করুন। বেশিরভাগ এজেন্টের জন্য একবারে দুই বা তিনটি নিরাপদ।
- প্রতিটি 429 এক্সপোনেনশিয়াল ব্যাকঅফ ও জিটার সহ আবার চেষ্টা করুন। একটি নির্দিষ্ট সংখ্যক রিট্রাইয়ের পর থামুন।
- সব মডেল মিলিয়ে অনুরোধ গুনুন। সীমা অ্যাকাউন্টের জন্য, প্রতিটি মডেলের জন্য নয়।
- ছোট, সহজ কাজ অন্য প্রোভাইডারে পাঠান। NVIDIA-তে রাখুন শুধু সেই বড় মডেলগুলোর জন্য, যেগুলো শুধু NVIDIA বিনামূল্যে সরবরাহ করে।
সহজ ক্লায়েন্ট-সাইড গতি নিয়ন্ত্রণ (Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40 # seconds between requests at 40 RPM
last = 0.0
def ask(prompt, model="openai/gpt-oss-20b"):
global last
for attempt in range(5):
wait = MIN_GAP - (time.time() - last)
if wait > 0:
time.sleep(wait)
last = time.time()
try:
r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return r.choices[0].message.content
except RateLimitError:
time.sleep(2 ** attempt)
raise RuntimeError("NVIDIA rate limit: retries used up")FreeLLMAPI দিয়ে লোড ভাগ করুন
FreeLLMAPI একটি ওপেন-সোর্স গেটওয়ে, যা আপনার কম্পিউটারে চলে। এটি NVIDIA-কে পুরো অ্যাকাউন্টের জন্য প্রতি মিনিটে 40 অনুরোধের একটি পুল হিসেবে দেখে। অনুরোধ পাঠানোর আগে এটি সেই পুল যাচাই করে। পুল ভর্তি হলে এটি অনুরোধটি আপনার চেইনের পরের বিনামূল্যের প্রোভাইডারে পাঠায়।
- অ্যাকাউন্ট-ব্যাপী মিনিট সীমা
PROVIDER_MINUTE_REQUEST_CAP_NVIDIAদিয়ে সেট করা হয়। আপনার অ্যাকাউন্ট ছোট সীমা দেখালে এটি কমান। - NVIDIA-তে সমান্তরাল অনুরোধ সীমিত করতে
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIAসেট করুন। - NVIDIA থেকে 429 এলে কীটি একটি ছোট বিরতিতে যায়। তারপর রাউটার অন্য প্রোভাইডার চেষ্টা করে।
X-Routed-Viaহেডার দেখায় কোন প্রোভাইডার প্রতিটি অনুরোধের উত্তর দিয়েছে।
~/freellmapi/.env (Docker ইনস্টল)
PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2
# then restart the container
cd ~/freellmapi && docker compose up -dএক লাইনের ইনস্টলার তার সেটিংস ~/freellmapi/.env-এ রাখে। ওই ফাইলে দুটি লাইন যোগ করুন, তারপর কন্টেইনার আবার চালু করুন। NVIDIA-র ডিফল্ট সীমা প্রতি মিনিটে 40 অনুরোধ। মান 0 দিলে সেই প্রোভাইডারের জন্য অ্যাকাউন্ট-ব্যাপী গেট বন্ধ হয়।
ফেইলওভার NVIDIA-র সীমা বাড়ায় না। NVIDIA পূর্ণ থাকলে এটি অন্য বিনামূল্যের টিয়ার ব্যবহার করে, যেমন Groq, Gemini ও Cloudflare।
সাধারণ প্রশ্ন
NVIDIA NIM API-র রেট লিমিট কত?
NVIDIA একটি একক সংখ্যা প্রকাশ করে না। কর্মীরা বলেন, সীমা মডেল অনুযায়ী বদলায়, এবং build.nvidia.com-এর ওপরের ডান দিকে আপনি আপনারটি দেখতে পারেন। বেশিরভাগ বিনামূল্যের অ্যাকাউন্ট প্রতি মিনিটে 40 অনুরোধ জানায়।
40 RPM থেকে NVIDIA NIM রেট লিমিট কীভাবে বাড়াব?
বিনামূল্যের অ্যাকাউন্টের জন্য আমরা কোনো অফিসিয়াল প্রক্রিয়া পাইনি। বেশি ক্ষমতার জন্য NVIDIA-র FAQ নিজে হোস্ট করা, Hugging Face-এর মতো একটি পেইড serverless অংশীদার, অথবা NVIDIA AI Enterprise ট্রায়ালের দিকে নির্দেশ করে।
NVIDIA NIM কি এখনও ক্রেডিট ব্যবহার করে?
না। NVIDIA কর্মীরা সেপ্টেম্বর 2025-এ বলেছিলেন যে build.nvidia.com আর ক্রেডিট ব্যবহার করে না। ট্রায়াল ব্যবহার এখন রেট লিমিট দিয়ে নিয়ন্ত্রিত।
প্রোডাকশনে কি বিনামূল্যের NVIDIA API ব্যবহার করা যায়?
না। NVIDIA API Trial Terms শুধু সীমিত ট্রায়াল ব্যবহার অনুমোদন করে, প্রোডাকশন নয়। প্রোডাকশন ব্যবহারের জন্য NVIDIA AI Enterprise লাইসেন্স বা একটি পেইড প্রোভাইডার দরকার।
NVIDIA-র 40 RPM সীমা কি প্রতি মডেল, না প্রতি অ্যাকাউন্ট?
বিনামূল্যের ব্যবহারকারীরা পুরো অ্যাকাউন্টে একটি সীমা জানান। ধরে নিন সব মডেল এটি ভাগ করে, এবং আপনি যেসব মডেলে কল করেন সবগুলোতে অনুরোধের গতি ঠিক রাখুন।
সম্পর্কিত গাইড
- free nvidia api
- বিনামূল্যের LLM API রেট লিমিট
- Groq রেট লিমিট পৌঁছেছে (429)
- Gemini API কোটা শেষ (429 RESOURCE_EXHAUSTED)
- বাণিজ্যিক ব্যবহারের জন্য বিনামূল্যের LLM API
উৎস
- NVIDIA developer forum: credit system replaced by rate limits (যাচাই: 20 November 2026)
- NVIDIA NIM FAQ (যাচাই: 20 November 2026)
- NVIDIA API Trial Terms of Service (PDF) (যাচাই: 20 November 2026)
- NVIDIA developer forum: request to raise 40 RPM (যাচাই: 20 November 2026)
- NVIDIA API Catalog: API reference (যাচাই: 20 November 2026)
- FreeLLMAPI docs: Quota and cooldown engine (যাচাই: 20 November 2026)