LiteLLM-এর বিকল্প
LiteLLM একটি ওপেন-সোর্স Python SDK ও প্রক্সি সার্ভার, যা 100+ LLM-কে একটি OpenAI-শৈলীর ইন্টারফেসের পেছনে রাখে। যেসব দল প্রোভাইডারকে টাকা দেয়, তাদের জন্য এটি ভালো গেটওয়ে। আপনার লক্ষ্য যদি বিনামূল্যের inference হয়, তবে এটি একা সাহায্য করে না, কারণ এতে কোনো টোকেন থাকে না। এই গাইড ব্যাখ্যা করে কখন LiteLLM উপযুক্ত, কখন একটি বিকল্প ভালো, এবং বিকল্পগুলো কীভাবে তুলনা হয়।
কোড, মডেলের নাম এবং লাইভ ক্যাটালগের লেবেল ইংরেজিতে দেখানো হয়।
LiteLLM যা ভালো করে
LiteLLM-এর ডকুমেন্টেশনে দুটি অংশ বর্ণনা করা আছে। Python SDK একটি ইন্টারফেসের মাধ্যমে অনেক প্রোভাইডারকে কল করে। প্রক্সি সার্ভার একটি নিজের সার্ভারে চালানো গেটওয়ে, যা যেকোনো OpenAI-সামঞ্জস্যপূর্ণ ক্লায়েন্ট ব্যবহার করতে পারে।
- Virtual key, প্রতি কী, প্রতি দল ও প্রতি ব্যবহারকারীর বাজেটসহ।
- খরচ ট্র্যাকিং প্রতি কী, দল ও ব্যবহারকারী অনুযায়ী, সব প্রোভাইডার জুড়ে।
- লোড ব্যালেন্সিং deployment জুড়ে, স্বয়ংক্রিয় ফলব্যাকসহ।
- পর্যবেক্ষণ callback Langfuse, MLflow ও Helicone-এর মতো টুলে।
- Guardrail কনটেন্ট ফিল্টার, PII মাস্কিং ও নিরাপত্তা যাচাইয়ের জন্য।
- একটি অ্যাডমিন UI কী ও খরচ ট্র্যাকিংয়ের জন্য।
এই ফিচারগুলো সেইসব দলের জন্য যারা পেইড প্রোভাইডার অ্যাকাউন্ট ভাগ করে। আপনার অবস্থা এমন হলে LiteLLM একটি ভালো পছন্দ, এবং আপনার বিকল্পের দরকার নাও হতে পারে।
কেন মানুষ বিকল্প খোঁজে
- কোনো বিনামূল্যের টোকেন নেই: LiteLLM আপনার দেওয়া প্রোভাইডার কীগুলোর দিকে রাউট করে। প্রতিটি টোকেনের বিল সেই কী-র প্রোভাইডার দেয়।
- বিনামূল্যের টিয়ার ম্যানুয়াল কাজ: এই সপ্তাহে কোন মডেল বিনামূল্যে, অথবা প্রতিটি প্রোভাইডারের বিনামূল্যের সীমা কত, LiteLLM তা ট্র্যাক করে না। আপনাকে সেগুলো খুঁজে বের করতে হয় এবং কনফিগ হালনাগাদ রাখতে হয়।
- একজনের জন্য সেটআপ: দলের ফিচারগুলো এমন অংশ যোগ করে যা একজন ডেভেলপারের নাও লাগতে পারে।
- অন্য API ফরম্যাট: কিছু টুলের শুধু OpenAI ফরম্যাট নয়, Anthropic, Gemini বা Ollama ফরম্যাট লাগে।
সঠিক বিকল্প নির্ভর করে এগুলোর কোনটি আপনার সমস্যা তার ওপর। পরের অংশে বিকল্পগুলো দেওয়া হয়েছে।
বিকল্পগুলোর তুলনা
| - | LiteLLM | FreeLLMAPI | OpenRouter | Portkey |
|---|---|---|---|---|
| এটি কী | ওপেন-সোর্স SDK ও প্রক্সি | বিনামূল্যের টিয়ারের জন্য ওপেন-সোর্স গেটওয়ে | হোস্টেড গেটওয়ে, এক বিলে | হোস্টেড AI গেটওয়ে |
| কোথায় চলে | নিজের সার্ভারে | নিজের সার্ভারে (Docker, ডেস্কটপ অ্যাপ বা Node) | হোস্টেড | হোস্টেড |
| Inference অন্তর্ভুক্ত | না। আপনি প্রতিটি প্রোভাইডারকে দাম দেন | শুধু প্রোভাইডারের বিনামূল্যের টিয়ারে কল করে | পেইড ক্রেডিট, সাথে দৈনিক সীমাসহ কিছু বিনামূল্যের মডেল | না। আপনি প্রোভাইডার কী আনেন |
| বিনামূল্যের টিয়ার ট্র্যাকিং | না | হ্যাঁ, বিনামূল্যের মডেল ও সীমার একটি স্বাক্ষরিত ক্যাটালগ | শুধু নিজের বিনামূল্যের মডেল | না |
| মাল্টি-ইউজার ও virtual key | হ্যাঁ | না। নকশায় একক-ব্যবহারকারী | - | - |
| API ফরম্যাট | OpenAI-সামঞ্জস্যপূর্ণ | OpenAI, Anthropic, Gemini ও Ollama | OpenAI-সামঞ্জস্যপূর্ণ | OpenAI-সামঞ্জস্যপূর্ণ |
| সবচেয়ে ভালো যাদের জন্য | যেসব দল প্রোভাইডারকে টাকা দেয় | একজন ডেভেলপার যিনি $0 inference চান | এক বিলে পেইড ফ্রন্টিয়ার মডেল | যেসব দল একটি ম্যানেজড গেটওয়ে চায় |
আরও বিস্তারিত পড়ুন FreeLLMAPI vs LiteLLM, FreeLLMAPI vs OpenRouter এবং free LLM API gateways compared।
কখন FreeLLMAPI বেশি উপযুক্ত
FreeLLMAPI হলো বিনামূল্যের, নিজের সার্ভারে চালানো বিকল্প। এটি একটি ওপেন-সোর্স রাউটার, যা প্রোভাইডারের বিনামূল্যের টিয়ার একটি OpenAI-সামঞ্জস্যপূর্ণ কী এবং একটি Anthropic-সামঞ্জস্যপূর্ণ কী-র পেছনে একত্র করে। আজ এর ক্যাটালগে 45টি প্রোভাইডারের 487টি বিনামূল্যের মডেল আছে।
- এটি অনুরোধ ও টোকেনের জন্য প্রতি কী-তে প্রতি মিনিট ও প্রতি দিনের কাউন্টার রাখে, যাতে রাউটিং প্রতিটি বিনামূল্যের সীমার ভেতরে থাকে।
- 429 বা 5xx ত্রুটিতে এটি কীটিকে কুলডাউনে রাখে এবং আপনার চেইনের পরের মডেল চেষ্টা করে।
- এটি একটি স্বাক্ষরিত ফিড থেকে তার মডেল ক্যাটালগ হালনাগাদ করে, তাই নতুন বিনামূল্যের মডেল ও কোটার পরিবর্তন কোড আপডেট ছাড়াই আসে।
- এটি
/v1/chat/completions,/v1/responses,/v1/messages, embedding, ছবি ও speech সেবা দেয়। - প্রোভাইডার কী একটি স্থানীয় SQLite database-এ AES-256-GCM দিয়ে এনক্রিপ্ট করা থাকে।
| প্রোভাইডার | বিনামূল্যের মডেল | সর্বোচ্চ অনুরোধ/মিনিট | সর্বোচ্চ অনুরোধ/দিন | সর্বোচ্চ টোকেন/মিনিট | টোকেন/মাস (একটি মডেল) | সবচেয়ে শক্তিশালী বিনামূল্যের মডেল |
|---|---|---|---|---|---|---|
| ElectronHub | 84 | - | - | - | $0.25/week shared recurring credit | Qwen3.8 Flash (ElectronHub)qwen3.8-flash |
| Cloudflare Workers AI | 39 | - | - | - | ~5-10M | Qwen 3.8 27B (Cloudflare Workers AI)@cf/qwen/qwen3.8-27b |
| Inferbase | 38 | - | - | - | 5,000 requests/month; 100 requests and $0.50 usage/day shared | DeepSeek V4 Flash (fp8) (Inferbase)deepseek-v4-flash:fp8 |
| AI Horde | 31 | - | - | - | Ongoing volunteer queue; availability varies | Gemma 4 31B Heretic (AI Horde)koboldcpp/gemma-4-31B-it-heretic |
| ACLIDE | 29 | - | - | - | €20/month shared internal usage credits · no card | Qwen3.8 Max (ACLIDE)qwen/qwen3.8-max:free |
| Google AI Studio | 21 | 15 | 1,000 | 250,000 | ~3M | Gemini 3.8 Flashgemini-3.8-flash |
| Api.Airforce | 20 | 1 | 1,000 | - | free · 1,000 req/day · 1 req/min | gpt-oss-20b (Api.Airforce)gpt-oss-20b |
| NVIDIA NIM | 19 | 40 | - | - | free · 40 RPM | GLM 5.3 Flash (NV)z-ai/glm-5.3-flash |
| Cohere | 17 | 20 | 33 | - | ~1-2M | Command A+ (05-2026)command-a-plus-05-2026 |
| DreamPrompting | 14 | 100 | 5,000 | - | free · 500K tokens/day · 5,000 req/day | Gemini 3.1 Flash-Litegoogle/gemini-3.1-flash-lite |
| Mistral | 12 | 2 | - | 500,000 | ~50-100M | Mistral Codemistral-code-latest |
| ModelScope | 11 | - | 200 | - | Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | GLM-5.2 (ModelScope)ZhipuAI/GLM-5.2 |
FreeLLMAPI ক্যাটালগের লাইভ ডেটা (সংস্করণ 2026.11.19, যাচাই: 2026-11-19)। বিনামূল্যের সীমা প্রায়ই বদলায়। ক্যাটালগ প্রতিদিন যাচাই করা হয়।
কখন LiteLLM এখনও বেশি উপযুক্ত
- অনেক ব্যবহারকারী: FreeLLMAPI-তে মাল্টি-টেনান্ট প্রমাণীকরণ নেই। এর ডকুমেন্টেশন বলে, এটি নিজের জন্য চালান এবং ইন্টারনেটে উন্মুক্ত করবেন না।
- প্রতি দলের বাজেট: LiteLLM-এ প্রতি কী, দল ও ব্যবহারকারীর বাজেট আছে। FreeLLMAPI-তে শুধু প্রতি প্রোভাইডার কী-র মাসিক সীমা আছে।
- পেইড ফ্রন্টিয়ার মডেল: বিনামূল্যের টিয়ার সবচেয়ে শক্তিশালী মডেলে স্থির অ্যাক্সেস দেয় না। LiteLLM যেকোনো পেইড অ্যাকাউন্টে রাউট করে।
- সেবার মান: বিনামূল্যের টিয়ারে কোনো SLA নেই। প্রোডাকশন নির্ভরযোগ্যতার জন্য পেইড প্রোভাইডার ব্যবহার করুন।
আপনি দুটিই চালাতে পারেন। পেইড প্রোডাকশন ট্রাফিকে LiteLLM ব্যবহার করুন। উন্নয়ন, পরীক্ষা ও ব্যাচ কাজে, যেগুলোর খরচ লাগার দরকার নেই, FreeLLMAPI ব্যবহার করুন। FreeLLMAPI যেকোনো OpenAI-সামঞ্জস্যপূর্ণ endpoint-কে একটি custom প্রোভাইডার হিসেবেও যোগ করতে পারে।
LiteLLM থেকে FreeLLMAPI-তে যান
- এক লাইনের ইনস্টলার দিয়ে FreeLLMAPI ইনস্টল করুন।
http://localhost:3001-এ ড্যাশবোর্ড খুলুন এবং Keys পেজে আপনার বিনামূল্যের প্রোভাইডার কী যোগ করুন।- Keys পেজ থেকে একীভূত কী কপি করুন।
- আপনার অ্যাপে base URL-কে LiteLLM প্রক্সি থেকে
http://localhost:3001/v1-এ বদলান। - মডেলের নাম বদলে
autoবা ক্যাটালগের মডেল ID করুন।
ইনস্টল ও পরীক্ষা
curl -fsSL https://freellmapi.co/install.sh | bash
curl http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{"model": "auto", "messages": [{"role": "user", "content": "Hello"}]}'সাধারণ প্রশ্ন
LiteLLM-এর সেরা বিনামূল্যের বিকল্প কোনটি?
বিনামূল্যের inference চাইলে এমন একটি গেটওয়ে ব্যবহার করুন যা প্রোভাইডারের বিনামূল্যের টিয়ার একত্র করে, যেমন FreeLLMAPI। পেইড প্রোভাইডারের জন্য বিনামূল্যের সফটওয়্যার চাইলে, LiteLLM নিজেই আগে থেকেই বিনামূল্যে এবং ওপেন সোর্স।
LiteLLM কি বিনামূল্যে?
SDK ও প্রক্সি ওপেন সোর্স এবং চালানো বিনামূল্যে। এতে কোনো টোকেন নেই, তাই প্রতিটি অনুরোধের বিল দেয় সেই প্রোভাইডার, যার কী আপনি যোগ করেছেন।
LiteLLM-এর কি কোনো হোস্টেড বিকল্প আছে?
হ্যাঁ। OpenRouter ও Portkey হোস্টেড গেটওয়ে। OpenRouter অনেক মডেলের ক্রেডিট বিক্রি করে। Portkey একটি ম্যানেজড গেটওয়ে, যেখানে আপনি প্রোভাইডার কী আনেন।
FreeLLMAPI কি LiteLLM-এর মতো virtual key সমর্থন করে?
না। FreeLLMAPI নকশায় একক-ব্যবহারকারী, একটি একীভূত কী এবং ঐচ্ছিক ক্লায়েন্ট-প্রোফাইল কী সহ। এতে প্রতি প্রোভাইডার কী-র মাসিক সীমা আছে, প্রতি ব্যবহারকারী বা দলের বাজেট নেই।
আমি কি LiteLLM ও FreeLLMAPI একসাথে ব্যবহার করতে পারি?
হ্যাঁ। FreeLLMAPI একটি OpenAI-সামঞ্জস্যপূর্ণ endpoint দেয়, তাই আপনি এটি LiteLLM-এ একটি অতিরিক্ত deployment হিসেবে যোগ করতে পারেন, যে ট্রাফিকের খরচ শূন্য হওয়া উচিত তার জন্য।
সম্পর্কিত গাইড
- freellmapi vs litellm
- free llm api gateways compared
- Helicone-এর বিকল্প
- portkey alternative
- openrouter free alternative
- ফ্রি OpenAI-সামঞ্জস্যপূর্ণ API বেস URL
উৎস
- LiteLLM docs: Getting started (যাচাই: 20 November 2026)
- FreeLLMAPI README: features and how it compares (যাচাই: 20 November 2026)
- FreeLLMAPI docs: Architecture, limitations and scope (যাচাই: 20 November 2026)
- FreeLLMAPI docs: Monthly provider-key budgets (যাচাই: 20 November 2026)