হোম / গাইড / NVIDIA NIM API রেট লিমিট

NVIDIA NIM API রেট লিমিট

build.nvidia.com-এর বিনামূল্যের NVIDIA API Catalog-এ একটি রেট লিমিট আছে, ক্রেডিট ব্যালেন্স নেই। অনেক বিনামূল্যের অ্যাকাউন্ট প্রতি মিনিটে 40 অনুরোধের সীমা জানায়। এই পৃষ্ঠায় সীমা সম্পর্কে NVIDIA কী বলে, সীমা বাড়ানোর চেষ্টা কেন প্রায়ই কাজ করে না, এবং কীভাবে সীমার নিচে থাকতে হয়, তা ব্যাখ্যা করা হয়েছে।

কোড, মডেলের নাম এবং লাইভ ক্যাটালগের লেবেল ইংরেজিতে দেখানো হয়।

সীমা সম্পর্কে NVIDIA কী বলে

সেপ্টেম্বর 2025-এ একজন NVIDIA কর্মী ডেভেলপার ফোরামে লিখেছিলেন: "We no longer use a credit-based system for build.nvidia.com." ট্রায়াল ব্যবহারের রেট লিমিট ক্রেডিটের জায়গায় এসেছে। একই উত্তরে বলা হয়েছে, সীমা প্রতিটি মডেলের জন্য আলাদা এবং NVIDIA সেগুলো প্রকাশ করে না। build.nvidia.com-এর ওপরের ডান দিকে আপনি আপনার সর্বোচ্চ রেট লিমিট দেখতে পারেন।

NIM FAQ বলে, একটি সময়কালে অনুমোদিত কলের সংখ্যা "is designed to serve evaluation and prototyping needs only"। NVIDIA Developer Program-এর সদস্যরা প্রোটোটাইপিংয়ের জন্য NIM API এন্ডপয়েন্টে বিনামূল্যে প্রবেশাধিকার পান।

40 RPM মান সম্পর্কে: প্রতি মিনিটে 40 অনুরোধ হলো সেই মান, যা বেশিরভাগ বিনামূল্যের অ্যাকাউন্ট NVIDIA ফোরামে জানায়। এটি কোনো অফিসিয়াল NVIDIA পাতায় নেই। আপনার প্রকৃত সীমা জানতে নিজের অ্যাকাউন্ট পরীক্ষা করুন।

কি 40 RPM সীমা বাড়ানো যায়?

NVIDIA ডেভেলপার ফোরামে অনেক পোস্ট আছে যেখানে প্রতি মিনিটে 200 বা তার বেশি অনুরোধ চাওয়া হয়েছে। বিনামূল্যের অ্যাকাউন্টের সীমা বাড়ানোর কোনো অফিসিয়াল প্রক্রিয়া আমরা পাইনি। একটি ফোরাম উত্তর বলে, NVIDIA বিনামূল্যের ব্যক্তিগত অ্যাকাউন্টের সীমা হাতে বাড়াতে পারে না। এই উত্তরটি NVIDIA কর্মীর কি না তা আমরা নিশ্চিত করতে পারিনি।

NIM FAQ আরও ক্ষমতার জন্য অন্য বিকল্প দেয়:

  • আপনার ক্লাউড প্রোভাইডারে বা নিজের GPU-তে NIM নিজে হোস্ট করুন।
  • একটি অংশীদারের প্রোডাকশন serverless NIM API ব্যবহার করুন, উদাহরণস্বরূপ Hugging Face, ব্যবহার অনুযায়ী মূল্যে।
  • 90 দিনের NVIDIA AI Enterprise ট্রায়াল শুরু করুন, যা প্রোডাকশন ডেপ্লয়মেন্টের জন্য।

বেশি অনুরোধের জন্য আরও NVIDIA অ্যাকাউন্ট খুলবেন না। ট্রায়াল শর্ত NVIDIA-কে ব্যবহার-সীমা ঠিক করার অধিকার দেয়, এবং বিনামূল্যের প্রবেশাধিকার শুধু সীমিত ট্রায়াল উদ্দেশ্যে।

বেশি থ্রুপুট পাওয়ার উপায়
বিকল্পখরচআরও অনুরোধ?
ফোরামে বেশি বিনামূল্যের সীমা চাওয়াবিনামূল্যেকোনো অফিসিয়াল প্রক্রিয়া পাওয়া যায়নি
সীমার নিচে অনুরোধের গতি নিয়ন্ত্রণবিনামূল্যেনা, তবে 429 ত্রুটি কম
ফেইলওভারসহ অন্য বিনামূল্যের প্রোভাইডার যোগ করাবিনামূল্যেহ্যাঁ, অন্য প্রোভাইডার থেকে
অংশীদারের serverless NIMব্যবহার অনুযায়ী মূল্যহ্যাঁ
NIM নিজে হোস্ট করাআপনার GPUহ্যাঁ

ট্রায়াল শর্ত কী অনুমোদন করে

NVIDIA API Trial Terms-এর ধারা 1.2 প্রবেশাধিকার দেয় "for limited trial purposes only"। এটি প্রোডাকশনে সেবা বা তার আউটপুটের ব্যবহার বাদ দেয়। ধারা 1.4 বলে, সাবস্ক্রিপশন ছাড়া আপনি সেবাটি শুধু অভ্যন্তরীণ পরীক্ষা ও মূল্যায়নে ব্যবহার করতে পারেন।

ধারা 3.3 বলে, NVIDIA AI মডেলসহ তার পণ্য উন্নত করতে আপনার কনটেন্ট ও তৈরি কনটেন্ট সংগ্রহ করে। ট্রায়াল সেবায় ব্যক্তিগত ডেটা পাঠাবেন না। অন্য প্রোভাইডারের জন্য বিনামূল্যের LLM API বাণিজ্যিক ব্যবহার পড়ুন।

আজ বিনামূল্যের NIM মডেল

ক্যাটালগে এই বিনামূল্যের NVIDIA মডেলগুলো তালিকাভুক্ত। সীমা অ্যাকাউন্ট অনুযায়ী, তাই সব মডেল একই প্রতি-মিনিটের অনুরোধ ভাগ করে।

আজ ক্যাটালগে বিনামূল্যের NVIDIA NIM মডেল
মডেলবিনামূল্যেকনটেক্সটবিনামূল্যের সীমা (সেরা অফার)টুলভিশন
GLM 5.3 FlashNVIDIA NIM1M40 অনুরোধ/মিনিট
40 RPM
হ্যাঁনা
Step 5 PreviewNVIDIA NIM-Ongoing developer prototypingনানা
Nemotron-3 Ultra 550BNVIDIA NIM1M40 অনুরোধ/মিনিট
40 RPM
হ্যাঁনা
Muse Glimmer 30BNVIDIA NIM131K40 অনুরোধ/মিনিট
40 RPM
হ্যাঁহ্যাঁ
Gemma 4 31BNVIDIA NIM262K40 অনুরোধ/মিনিট
40 RPM
নানা
Poolside Laguna XS 2.1NVIDIA NIM262K40 অনুরোধ/মিনিট
40 RPM
হ্যাঁনা
Nemotron 3 Super 120BNVIDIA NIM262K40 অনুরোধ/মিনিট
40 RPM
হ্যাঁনা
Nemotron 3.5 Lightning 30B A3BNVIDIA NIM1M40 অনুরোধ/মিনিট
40 RPM
হ্যাঁনা
DiffusionGemma 26B A4B ITNVIDIA NIM262K40 অনুরোধ/মিনিট
40 RPM
নাহ্যাঁ
GPT-OSS 20BNVIDIA NIM131K40 অনুরোধ/মিনিট
40 RPM
হ্যাঁনা
Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA NIM262K40 অনুরোধ/মিনিট
40 RPM
নাহ্যাঁ
Ising Calibration 1.5 31BNVIDIA NIM131K40 অনুরোধ/মিনিট
40 RPM
নাহ্যাঁ

মিলে যাওয়া 19টি বিনামূল্যের মডেলের মধ্যে 12টি দেখানো হচ্ছে। সব মডেল দেখুন.

FreeLLMAPI ক্যাটালগের লাইভ ডেটা (সংস্করণ 2026.11.19, যাচাই: 2026-11-19)। বিনামূল্যের সীমা প্রায়ই বদলায়। ক্যাটালগ প্রতিদিন যাচাই করা হয়।

প্রোভাইডারপরিচিত সমস্যাকরণীয়
NVIDIA NIMRecurring free, 40 RPM, eval-only ToSNVIDIA NIM replaced its depleting trial credits with a recurring per-account rate limit (40 RPM default, varies by model), verified June 2026. The trial ToS still scopes usage to evaluation/prototyping, not production.
NVIDIA NIMDeveloper evaluation and data-use termsOngoing zero-price hosted developer access, not a monthly credit grant or unrestricted production service. NVIDIA trial/prototyping and data-use terms apply. Do not submit personal or confidential data. Text completions with exact model identity passed on October 15, 2026; tool and vision flags remain off until separately tested. Sources: https://build.nvidia.com/stepfun-ai/step-5-preview and https://openrouter.ai/nvidia/nemotron-3.5-super-vl:free

FreeLLMAPI ক্যাটালগের লাইভ ডেটা (সংস্করণ 2026.11.19, যাচাই: 2026-11-19)। বিনামূল্যের সীমা প্রায়ই বদলায়। ক্যাটালগ প্রতিদিন যাচাই করা হয়।

সীমার নিচে থাকার উপায়

প্রতি মিনিটে 40 অনুরোধে, গড়ে প্রতি 1.5 সেকেন্ডে একটি অনুরোধ পাঠাতে পারেন। একসাথে অনেক সমান্তরাল অনুরোধ কয়েক সেকেন্ডেই সীমায় পৌঁছায়। এই নিয়মগুলো ব্যবহার করুন:

  1. আপনার ক্লায়েন্টে একসাথে সমান্তরাল অনুরোধের সংখ্যা সীমিত করুন। বেশিরভাগ এজেন্টের জন্য একবারে দুই বা তিনটি নিরাপদ।
  2. প্রতিটি 429 এক্সপোনেনশিয়াল ব্যাকঅফ ও জিটার সহ আবার চেষ্টা করুন। একটি নির্দিষ্ট সংখ্যক রিট্রাইয়ের পর থামুন।
  3. সব মডেল মিলিয়ে অনুরোধ গুনুন। সীমা অ্যাকাউন্টের জন্য, প্রতিটি মডেলের জন্য নয়।
  4. ছোট, সহজ কাজ অন্য প্রোভাইডারে পাঠান। NVIDIA-তে রাখুন শুধু সেই বড় মডেলগুলোর জন্য, যেগুলো শুধু NVIDIA বিনামূল্যে সরবরাহ করে।

সহজ ক্লায়েন্ট-সাইড গতি নিয়ন্ত্রণ (Python)

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://integrate.api.nvidia.com/v1", api_key="<nvidia-key>")
MIN_GAP = 60 / 40  # seconds between requests at 40 RPM
last = 0.0

def ask(prompt, model="openai/gpt-oss-20b"):
    global last
    for attempt in range(5):
        wait = MIN_GAP - (time.time() - last)
        if wait > 0:
            time.sleep(wait)
        last = time.time()
        try:
            r = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(2 ** attempt)
    raise RuntimeError("NVIDIA rate limit: retries used up")

FreeLLMAPI দিয়ে লোড ভাগ করুন

FreeLLMAPI একটি ওপেন-সোর্স গেটওয়ে, যা আপনার কম্পিউটারে চলে। এটি NVIDIA-কে পুরো অ্যাকাউন্টের জন্য প্রতি মিনিটে 40 অনুরোধের একটি পুল হিসেবে দেখে। অনুরোধ পাঠানোর আগে এটি সেই পুল যাচাই করে। পুল ভর্তি হলে এটি অনুরোধটি আপনার চেইনের পরের বিনামূল্যের প্রোভাইডারে পাঠায়।

  • অ্যাকাউন্ট-ব্যাপী মিনিট সীমা PROVIDER_MINUTE_REQUEST_CAP_NVIDIA দিয়ে সেট করা হয়। আপনার অ্যাকাউন্ট ছোট সীমা দেখালে এটি কমান।
  • NVIDIA-তে সমান্তরাল অনুরোধ সীমিত করতে MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA সেট করুন।
  • NVIDIA থেকে 429 এলে কীটি একটি ছোট বিরতিতে যায়। তারপর রাউটার অন্য প্রোভাইডার চেষ্টা করে।
  • X-Routed-Via হেডার দেখায় কোন প্রোভাইডার প্রতিটি অনুরোধের উত্তর দিয়েছে।

~/freellmapi/.env (Docker ইনস্টল)

PROVIDER_MINUTE_REQUEST_CAP_NVIDIA=30
MAX_CONCURRENT_REQUESTS_PER_KEY_NVIDIA=2

# then restart the container
cd ~/freellmapi && docker compose up -d

এক লাইনের ইনস্টলার তার সেটিংস ~/freellmapi/.env-এ রাখে। ওই ফাইলে দুটি লাইন যোগ করুন, তারপর কন্টেইনার আবার চালু করুন। NVIDIA-র ডিফল্ট সীমা প্রতি মিনিটে 40 অনুরোধ। মান 0 দিলে সেই প্রোভাইডারের জন্য অ্যাকাউন্ট-ব্যাপী গেট বন্ধ হয়।

ফেইলওভার NVIDIA-র সীমা বাড়ায় না। NVIDIA পূর্ণ থাকলে এটি অন্য বিনামূল্যের টিয়ার ব্যবহার করে, যেমন Groq, Gemini ও Cloudflare।

একটি কী দিয়ে এর প্রতিটি ব্যবহার করুন। FreeLLMAPI একটি ওপেন-সোর্স, নিজের সার্ভারে চালানো রাউটার। এটি এই সব বিনামূল্যের টিয়ার একটি মাত্র OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টের পেছনে রাখে এবং কোনো একটির সীমা শেষ হলে অন্যটিতে সরে যায়। ক্যাটালগ ব্রাউজ করুন অথবা শুরু করুন.

সাধারণ প্রশ্ন

NVIDIA NIM API-র রেট লিমিট কত?

NVIDIA একটি একক সংখ্যা প্রকাশ করে না। কর্মীরা বলেন, সীমা মডেল অনুযায়ী বদলায়, এবং build.nvidia.com-এর ওপরের ডান দিকে আপনি আপনারটি দেখতে পারেন। বেশিরভাগ বিনামূল্যের অ্যাকাউন্ট প্রতি মিনিটে 40 অনুরোধ জানায়।

40 RPM থেকে NVIDIA NIM রেট লিমিট কীভাবে বাড়াব?

বিনামূল্যের অ্যাকাউন্টের জন্য আমরা কোনো অফিসিয়াল প্রক্রিয়া পাইনি। বেশি ক্ষমতার জন্য NVIDIA-র FAQ নিজে হোস্ট করা, Hugging Face-এর মতো একটি পেইড serverless অংশীদার, অথবা NVIDIA AI Enterprise ট্রায়ালের দিকে নির্দেশ করে।

NVIDIA NIM কি এখনও ক্রেডিট ব্যবহার করে?

না। NVIDIA কর্মীরা সেপ্টেম্বর 2025-এ বলেছিলেন যে build.nvidia.com আর ক্রেডিট ব্যবহার করে না। ট্রায়াল ব্যবহার এখন রেট লিমিট দিয়ে নিয়ন্ত্রিত।

প্রোডাকশনে কি বিনামূল্যের NVIDIA API ব্যবহার করা যায়?

না। NVIDIA API Trial Terms শুধু সীমিত ট্রায়াল ব্যবহার অনুমোদন করে, প্রোডাকশন নয়। প্রোডাকশন ব্যবহারের জন্য NVIDIA AI Enterprise লাইসেন্স বা একটি পেইড প্রোভাইডার দরকার।

NVIDIA-র 40 RPM সীমা কি প্রতি মডেল, না প্রতি অ্যাকাউন্ট?

বিনামূল্যের ব্যবহারকারীরা পুরো অ্যাকাউন্টে একটি সীমা জানান। ধরে নিন সব মডেল এটি ভাগ করে, এবং আপনি যেসব মডেলে কল করেন সবগুলোতে অনুরোধের গতি ঠিক রাখুন।

সম্পর্কিত গাইড

উৎস

সব গাইড · সব বিনামূল্যের মডেল দেখুন