হোম / গাইড / LiteLLM-এর বিকল্প

LiteLLM-এর বিকল্প

LiteLLM একটি ওপেন-সোর্স Python SDK ও প্রক্সি সার্ভার, যা 100+ LLM-কে একটি OpenAI-শৈলীর ইন্টারফেসের পেছনে রাখে। যেসব দল প্রোভাইডারকে টাকা দেয়, তাদের জন্য এটি ভালো গেটওয়ে। আপনার লক্ষ্য যদি বিনামূল্যের inference হয়, তবে এটি একা সাহায্য করে না, কারণ এতে কোনো টোকেন থাকে না। এই গাইড ব্যাখ্যা করে কখন LiteLLM উপযুক্ত, কখন একটি বিকল্প ভালো, এবং বিকল্পগুলো কীভাবে তুলনা হয়।

কোড, মডেলের নাম এবং লাইভ ক্যাটালগের লেবেল ইংরেজিতে দেখানো হয়।

LiteLLM যা ভালো করে

LiteLLM-এর ডকুমেন্টেশনে দুটি অংশ বর্ণনা করা আছে। Python SDK একটি ইন্টারফেসের মাধ্যমে অনেক প্রোভাইডারকে কল করে। প্রক্সি সার্ভার একটি নিজের সার্ভারে চালানো গেটওয়ে, যা যেকোনো OpenAI-সামঞ্জস্যপূর্ণ ক্লায়েন্ট ব্যবহার করতে পারে।

  • Virtual key, প্রতি কী, প্রতি দল ও প্রতি ব্যবহারকারীর বাজেটসহ।
  • খরচ ট্র্যাকিং প্রতি কী, দল ও ব্যবহারকারী অনুযায়ী, সব প্রোভাইডার জুড়ে।
  • লোড ব্যালেন্সিং deployment জুড়ে, স্বয়ংক্রিয় ফলব্যাকসহ।
  • পর্যবেক্ষণ callback Langfuse, MLflow ও Helicone-এর মতো টুলে।
  • Guardrail কনটেন্ট ফিল্টার, PII মাস্কিং ও নিরাপত্তা যাচাইয়ের জন্য।
  • একটি অ্যাডমিন UI কী ও খরচ ট্র্যাকিংয়ের জন্য।

এই ফিচারগুলো সেইসব দলের জন্য যারা পেইড প্রোভাইডার অ্যাকাউন্ট ভাগ করে। আপনার অবস্থা এমন হলে LiteLLM একটি ভালো পছন্দ, এবং আপনার বিকল্পের দরকার নাও হতে পারে।

কেন মানুষ বিকল্প খোঁজে

  • কোনো বিনামূল্যের টোকেন নেই: LiteLLM আপনার দেওয়া প্রোভাইডার কীগুলোর দিকে রাউট করে। প্রতিটি টোকেনের বিল সেই কী-র প্রোভাইডার দেয়।
  • বিনামূল্যের টিয়ার ম্যানুয়াল কাজ: এই সপ্তাহে কোন মডেল বিনামূল্যে, অথবা প্রতিটি প্রোভাইডারের বিনামূল্যের সীমা কত, LiteLLM তা ট্র্যাক করে না। আপনাকে সেগুলো খুঁজে বের করতে হয় এবং কনফিগ হালনাগাদ রাখতে হয়।
  • একজনের জন্য সেটআপ: দলের ফিচারগুলো এমন অংশ যোগ করে যা একজন ডেভেলপারের নাও লাগতে পারে।
  • অন্য API ফরম্যাট: কিছু টুলের শুধু OpenAI ফরম্যাট নয়, Anthropic, Gemini বা Ollama ফরম্যাট লাগে।

সঠিক বিকল্প নির্ভর করে এগুলোর কোনটি আপনার সমস্যা তার ওপর। পরের অংশে বিকল্পগুলো দেওয়া হয়েছে।

বিকল্পগুলোর তুলনা

LiteLLM ও বিকল্পসমূহ (যাচাই: 20 নভেম্বর 2026)
-LiteLLMFreeLLMAPIOpenRouterPortkey
এটি কীওপেন-সোর্স SDK ও প্রক্সিবিনামূল্যের টিয়ারের জন্য ওপেন-সোর্স গেটওয়েহোস্টেড গেটওয়ে, এক বিলেহোস্টেড AI গেটওয়ে
কোথায় চলেনিজের সার্ভারেনিজের সার্ভারে (Docker, ডেস্কটপ অ্যাপ বা Node)হোস্টেডহোস্টেড
Inference অন্তর্ভুক্তনা। আপনি প্রতিটি প্রোভাইডারকে দাম দেনশুধু প্রোভাইডারের বিনামূল্যের টিয়ারে কল করেপেইড ক্রেডিট, সাথে দৈনিক সীমাসহ কিছু বিনামূল্যের মডেলনা। আপনি প্রোভাইডার কী আনেন
বিনামূল্যের টিয়ার ট্র্যাকিংনাহ্যাঁ, বিনামূল্যের মডেল ও সীমার একটি স্বাক্ষরিত ক্যাটালগশুধু নিজের বিনামূল্যের মডেলনা
মাল্টি-ইউজার ও virtual keyহ্যাঁনা। নকশায় একক-ব্যবহারকারী--
API ফরম্যাটOpenAI-সামঞ্জস্যপূর্ণOpenAI, Anthropic, Gemini ও OllamaOpenAI-সামঞ্জস্যপূর্ণOpenAI-সামঞ্জস্যপূর্ণ
সবচেয়ে ভালো যাদের জন্যযেসব দল প্রোভাইডারকে টাকা দেয়একজন ডেভেলপার যিনি $0 inference চানএক বিলে পেইড ফ্রন্টিয়ার মডেলযেসব দল একটি ম্যানেজড গেটওয়ে চায়

আরও বিস্তারিত পড়ুন FreeLLMAPI vs LiteLLM, FreeLLMAPI vs OpenRouter এবং free LLM API gateways compared।

কখন FreeLLMAPI বেশি উপযুক্ত

FreeLLMAPI হলো বিনামূল্যের, নিজের সার্ভারে চালানো বিকল্প। এটি একটি ওপেন-সোর্স রাউটার, যা প্রোভাইডারের বিনামূল্যের টিয়ার একটি OpenAI-সামঞ্জস্যপূর্ণ কী এবং একটি Anthropic-সামঞ্জস্যপূর্ণ কী-র পেছনে একত্র করে। আজ এর ক্যাটালগে 45টি প্রোভাইডারের 487টি বিনামূল্যের মডেল আছে।

  • এটি অনুরোধ ও টোকেনের জন্য প্রতি কী-তে প্রতি মিনিট ও প্রতি দিনের কাউন্টার রাখে, যাতে রাউটিং প্রতিটি বিনামূল্যের সীমার ভেতরে থাকে।
  • 429 বা 5xx ত্রুটিতে এটি কীটিকে কুলডাউনে রাখে এবং আপনার চেইনের পরের মডেল চেষ্টা করে।
  • এটি একটি স্বাক্ষরিত ফিড থেকে তার মডেল ক্যাটালগ হালনাগাদ করে, তাই নতুন বিনামূল্যের মডেল ও কোটার পরিবর্তন কোড আপডেট ছাড়াই আসে।
  • এটি /v1/chat/completions, /v1/responses, /v1/messages, embedding, ছবি ও speech সেবা দেয়।
  • প্রোভাইডার কী একটি স্থানীয় SQLite database-এ AES-256-GCM দিয়ে এনক্রিপ্ট করা থাকে।
প্রোভাইডারবিনামূল্যের মডেলসর্বোচ্চ অনুরোধ/মিনিটসর্বোচ্চ অনুরোধ/দিনসর্বোচ্চ টোকেন/মিনিটটোকেন/মাস (একটি মডেল)সবচেয়ে শক্তিশালী বিনামূল্যের মডেল
ElectronHub84---$0.25/week shared recurring creditQwen3.8 Flash (ElectronHub)
qwen3.8-flash
Cloudflare Workers AI39---~5-10MQwen 3.8 27B (Cloudflare Workers AI)
@cf/qwen/qwen3.8-27b
Inferbase38---5,000 requests/month; 100 requests and $0.50 usage/day sharedDeepSeek V4 Flash (fp8) (Inferbase)
deepseek-v4-flash:fp8
AI Horde31---Ongoing volunteer queue; availability variesGemma 4 31B Heretic (AI Horde)
koboldcpp/gemma-4-31B-it-heretic
ACLIDE29---€20/month shared internal usage credits · no cardQwen3.8 Max (ACLIDE)
qwen/qwen3.8-max:free
Google AI Studio21151,000250,000~3MGemini 3.8 Flash
gemini-3.8-flash
Api.Airforce2011,000-free · 1,000 req/day · 1 req/mingpt-oss-20b (Api.Airforce)
gpt-oss-20b
NVIDIA NIM1940--free · 40 RPMGLM 5.3 Flash (NV)
z-ai/glm-5.3-flash
Cohere172033-~1-2MCommand A+ (05-2026)
command-a-plus-05-2026
DreamPrompting141005,000-free · 500K tokens/day · 5,000 req/dayGemini 3.1 Flash-Lite
google/gemini-3.1-flash-lite
Mistral122-500,000~50-100MMistral Code
mistral-code-latest
ModelScope11-200-Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experienceGLM-5.2 (ModelScope)
ZhipuAI/GLM-5.2

FreeLLMAPI ক্যাটালগের লাইভ ডেটা (সংস্করণ 2026.11.19, যাচাই: 2026-11-19)। বিনামূল্যের সীমা প্রায়ই বদলায়। ক্যাটালগ প্রতিদিন যাচাই করা হয়।

কখন LiteLLM এখনও বেশি উপযুক্ত

  • অনেক ব্যবহারকারী: FreeLLMAPI-তে মাল্টি-টেনান্ট প্রমাণীকরণ নেই। এর ডকুমেন্টেশন বলে, এটি নিজের জন্য চালান এবং ইন্টারনেটে উন্মুক্ত করবেন না।
  • প্রতি দলের বাজেট: LiteLLM-এ প্রতি কী, দল ও ব্যবহারকারীর বাজেট আছে। FreeLLMAPI-তে শুধু প্রতি প্রোভাইডার কী-র মাসিক সীমা আছে।
  • পেইড ফ্রন্টিয়ার মডেল: বিনামূল্যের টিয়ার সবচেয়ে শক্তিশালী মডেলে স্থির অ্যাক্সেস দেয় না। LiteLLM যেকোনো পেইড অ্যাকাউন্টে রাউট করে।
  • সেবার মান: বিনামূল্যের টিয়ারে কোনো SLA নেই। প্রোডাকশন নির্ভরযোগ্যতার জন্য পেইড প্রোভাইডার ব্যবহার করুন।

আপনি দুটিই চালাতে পারেন। পেইড প্রোডাকশন ট্রাফিকে LiteLLM ব্যবহার করুন। উন্নয়ন, পরীক্ষা ও ব্যাচ কাজে, যেগুলোর খরচ লাগার দরকার নেই, FreeLLMAPI ব্যবহার করুন। FreeLLMAPI যেকোনো OpenAI-সামঞ্জস্যপূর্ণ endpoint-কে একটি custom প্রোভাইডার হিসেবেও যোগ করতে পারে।

LiteLLM থেকে FreeLLMAPI-তে যান

  1. এক লাইনের ইনস্টলার দিয়ে FreeLLMAPI ইনস্টল করুন।
  2. http://localhost:3001-এ ড্যাশবোর্ড খুলুন এবং Keys পেজে আপনার বিনামূল্যের প্রোভাইডার কী যোগ করুন।
  3. Keys পেজ থেকে একীভূত কী কপি করুন।
  4. আপনার অ্যাপে base URL-কে LiteLLM প্রক্সি থেকে http://localhost:3001/v1-এ বদলান।
  5. মডেলের নাম বদলে auto বা ক্যাটালগের মডেল ID করুন।

ইনস্টল ও পরীক্ষা

curl -fsSL https://freellmapi.co/install.sh | bash

curl http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{"model": "auto", "messages": [{"role": "user", "content": "Hello"}]}'
একটি কী দিয়ে এর প্রতিটি ব্যবহার করুন। FreeLLMAPI একটি ওপেন-সোর্স, নিজের সার্ভারে চালানো রাউটার। এটি এই সব বিনামূল্যের টিয়ার একটি মাত্র OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টের পেছনে রাখে এবং কোনো একটির সীমা শেষ হলে অন্যটিতে সরে যায়। ক্যাটালগ ব্রাউজ করুন অথবা শুরু করুন.

সাধারণ প্রশ্ন

LiteLLM-এর সেরা বিনামূল্যের বিকল্প কোনটি?

বিনামূল্যের inference চাইলে এমন একটি গেটওয়ে ব্যবহার করুন যা প্রোভাইডারের বিনামূল্যের টিয়ার একত্র করে, যেমন FreeLLMAPI। পেইড প্রোভাইডারের জন্য বিনামূল্যের সফটওয়্যার চাইলে, LiteLLM নিজেই আগে থেকেই বিনামূল্যে এবং ওপেন সোর্স।

LiteLLM কি বিনামূল্যে?

SDK ও প্রক্সি ওপেন সোর্স এবং চালানো বিনামূল্যে। এতে কোনো টোকেন নেই, তাই প্রতিটি অনুরোধের বিল দেয় সেই প্রোভাইডার, যার কী আপনি যোগ করেছেন।

LiteLLM-এর কি কোনো হোস্টেড বিকল্প আছে?

হ্যাঁ। OpenRouter ও Portkey হোস্টেড গেটওয়ে। OpenRouter অনেক মডেলের ক্রেডিট বিক্রি করে। Portkey একটি ম্যানেজড গেটওয়ে, যেখানে আপনি প্রোভাইডার কী আনেন।

FreeLLMAPI কি LiteLLM-এর মতো virtual key সমর্থন করে?

না। FreeLLMAPI নকশায় একক-ব্যবহারকারী, একটি একীভূত কী এবং ঐচ্ছিক ক্লায়েন্ট-প্রোফাইল কী সহ। এতে প্রতি প্রোভাইডার কী-র মাসিক সীমা আছে, প্রতি ব্যবহারকারী বা দলের বাজেট নেই।

আমি কি LiteLLM ও FreeLLMAPI একসাথে ব্যবহার করতে পারি?

হ্যাঁ। FreeLLMAPI একটি OpenAI-সামঞ্জস্যপূর্ণ endpoint দেয়, তাই আপনি এটি LiteLLM-এ একটি অতিরিক্ত deployment হিসেবে যোগ করতে পারেন, যে ট্রাফিকের খরচ শূন্য হওয়া উচিত তার জন্য।

সম্পর্কিত গাইড

উৎস

সব গাইড · সব বিনামূল্যের মডেল দেখুন