હોમ / માર્ગદર્શિકાઓ / LiteLLM નો વિકલ્પ

LiteLLM નો વિકલ્પ

LiteLLM એક ઓપન-સોર્સ Python SDK અને પ્રોક્સી સર્વર છે, જે 100+ LLM ને એક OpenAI શૈલીના ઇન્ટરફેસ પાછળ મૂકે છે. જે ટીમો પ્રદાતાઓને ચૂકવણી કરે છે, તેમના માટે તે સારો ગેટવે છે. જો તમારો ઉદ્દેશ મફત ઇન્ફરન્સ છે, તો તે એકલું મદદ કરતું નથી, કારણ કે તેમાં કોઈ ટોકન શામેલ નથી. આ માર્ગદર્શિકા સમજાવે છે કે LiteLLM ક્યારે યોગ્ય છે, વિકલ્પ ક્યારે વધુ યોગ્ય છે, અને વિકલ્પોની સરખામણી કેવી રીતે થાય છે.

કોડ, મૉડેલ નામ અને લાઇવ કૅટલૉગ લેબલ અંગ્રેજીમાં બતાવવામાં આવે છે.

LiteLLM શું સારી રીતે કરે છે

LiteLLM ના દસ્તાવેજો બે ભાગ વર્ણવે છે. Python SDK એક ઇન્ટરફેસ દ્વારા ઘણા પ્રદાતાઓને કૉલ કરે છે. પ્રોક્સી સર્વર એક સ્વ-હોસ્ટેડ ગેટવે છે, જેનો કોઈપણ OpenAI સાથે સુસંગત ક્લાયન્ટ ઉપયોગ કરી શકે છે.

  • વર્ચ્યુઅલ કી દરેક કી, ટીમ અને વપરાશકર્તા દીઠ બજેટ સાથે.
  • ખર્ચ ટ્રેકિંગ બધા પ્રદાતાઓમાં દરેક કી, ટીમ અને વપરાશકર્તા પ્રમાણે.
  • લોડ બૅલેન્સિંગ ડિપ્લોયમેન્ટ વચ્ચે, સ્વચાલિત ફેલબેક સાથે.
  • અવલોકનક્ષમતા કૉલબૅક Langfuse, MLflow અને Helicone જેવા સાધનો સુધી.
  • ગાર્ડરેલ કન્ટેન્ટ ફિલ્ટર, PII માસ્કિંગ અને સુરક્ષા તપાસ માટે.
  • એડમિન UI કી અને ખર્ચ ટ્રેકિંગ માટે.

આ સુવિધાઓ એવી ટીમો માટે છે જે ચૂકવણીવાળા પ્રદાતા ખાતાઓ વહેંચે છે. જો તમારી પરિસ્થિતિ આ છે, તો LiteLLM મજબૂત પસંદગી છે, અને તમને વિકલ્પની જરૂર ન પણ હોય.

લોકો વિકલ્પ કેમ શોધે છે

  • મફત ટોકન નથી: LiteLLM તમે આપેલી કી ધરાવતા પ્રદાતાઓ પર રૂટ કરે છે. દરેક ટોકનનું બિલ તે કીના પ્રદાતા દ્વારા થાય છે.
  • મફત ટાયર જાતે કરવાનું કામ છે: LiteLLM ટ્રૅક કરતું નથી કે આ અઠવાડિયે કયા મૉડેલ મફત છે, અથવા દરેક પ્રદાતાની મફત મર્યાદા શું છે. તમારે તે શોધવા પડે છે અને કન્ફિગ અદ્યતન રાખવી પડે છે.
  • એક વ્યક્તિ માટે સેટઅપ: ટીમ સુવિધાઓ એવા ભાગો ઉમેરે છે જેની એક ડેવલપરને જરૂર ન પણ હોય.
  • અન્ય API ફોર્મેટ: કેટલાક સાધનોને ફક્ત OpenAI ફોર્મેટ નહીં, પણ Anthropic, Gemini અથવા Ollama ફોર્મેટ જોઈએ છે.

યોગ્ય વિકલ્પ આમાંથી કઈ સમસ્યા તમારી છે તેના પર આધાર રાખે છે. આગળના વિભાગમાં વિકલ્પો આપેલા છે.

વિકલ્પોની સરખામણી

LiteLLM અને વિકલ્પો (20 નવેમ્બર 2026 પર તપાસ્યું)
-LiteLLMFreeLLMAPIOpenRouterPortkey
તે શું છેઓપન-સોર્સ SDK અને પ્રોક્સીમફત ટાયર માટે ઓપન-સોર્સ ગેટવેએક બિલ સાથે હોસ્ટેડ ગેટવેહોસ્ટેડ AI ગેટવે
ક્યાં ચાલે છેસ્વ-હોસ્ટેડસ્વ-હોસ્ટેડ (Docker, ડેસ્કટૉપ ઍપ અથવા Node)હોસ્ટેડહોસ્ટેડ
ઇન્ફરન્સ શામેલ છેના. તમે દરેક પ્રદાતાને ચૂકવણી કરો છોફક્ત પ્રદાતાઓના મફત ટાયર પર કૉલચૂકવણીવાળા ક્રેડિટ, અને દૈનિક મર્યાદા સાથે કેટલાક મફત મૉડેલના. તમે પ્રદાતાની કી લાવો છો
મફત ટાયર ટ્રેકિંગનાહા, મફત મૉડેલ અને મર્યાદાની સહી કરેલી કૅટલૉગફક્ત પોતાના મફત મૉડેલના
મલ્ટિ-યૂઝર અને વર્ચ્યુઅલ કીહાના. ડિઝાઇન દ્વારા એક-વપરાશકર્તા--
API ફોર્મેટOpenAI સાથે સુસંગતOpenAI, Anthropic, Gemini અને OllamaOpenAI સાથે સુસંગતOpenAI સાથે સુસંગત
માટે શ્રેષ્ઠપ્રદાતાઓને ચૂકવણી કરતી ટીમો$0 ઇન્ફરન્સ ઇચ્છતો એક ડેવલપરએક બિલ પર ચૂકવણીવાળા અગ્રણી મૉડેલમેનેજ્ડ ગેટવે ઇચ્છતી ટીમો

વધુ વિગત માટે, FreeLLMAPI vs LiteLLM, FreeLLMAPI vs OpenRouter અને free LLM API gateways compared વાંચો.

FreeLLMAPI ક્યારે વધુ યોગ્ય છે

FreeLLMAPI મફત, સ્વ-હોસ્ટેડ દૃષ્ટિકોણ છે. તે એક ઓપન-સોર્સ રાઉટર છે, જે પ્રદાતાઓના મફત ટાયર એક OpenAI સાથે સુસંગત કી અને એક Anthropic સાથે સુસંગત કી પાછળ એકત્ર કરે છે. આજે તેની કૅટલૉગમાં 45 પ્રદાતાઓના 487 મફત મૉડેલ છે.

  • તે વિનંતીઓ અને ટોકન માટે દરેક કીના કાઉન્ટર રાખે છે, પ્રતિ મિનિટ અને પ્રતિ દિવસ, જેથી રૂટિંગ દરેક મફત મર્યાદામાં રહે.
  • 429 અથવા 5xx ભૂલ પર, તે કીને કૂલડાઉન પર મૂકે છે અને તમારી સાંકળમાંનું આગલું મૉડેલ અજમાવે છે.
  • તે સહી કરેલા ફીડમાંથી તેની મૉડેલ કૅટલૉગ અપડેટ કરે છે, જેથી નવા મફત મૉડેલ અને ક્વોટા ફેરફારો કોડ અપડેટ વિના આવે છે.
  • તે /v1/chat/completions, /v1/responses, /v1/messages, એમ્બેડિંગ, છબીઓ અને સ્પીચ પીરસે છે.
  • પ્રદાતાની કી સ્થાનિક SQLite ડેટાબેઝમાં AES-256-GCM વડે એન્ક્રિપ્ટ થયેલી છે.
પ્રદાતામફત મૉડેલમહત્તમ વિનંતી/મિનિટમહત્તમ વિનંતી/દિવસમહત્તમ ટોકન/મિનિટટોકન/મહિનો (એક મૉડેલ)સૌથી શક્તિશાળી મફત મૉડેલ
ElectronHub84---$0.25/week shared recurring creditQwen3.8 Flash (ElectronHub)
qwen3.8-flash
Cloudflare Workers AI39---~5-10MQwen 3.8 27B (Cloudflare Workers AI)
@cf/qwen/qwen3.8-27b
Inferbase38---5,000 requests/month; 100 requests and $0.50 usage/day sharedDeepSeek V4 Flash (fp8) (Inferbase)
deepseek-v4-flash:fp8
AI Horde31---Ongoing volunteer queue; availability variesGemma 4 31B Heretic (AI Horde)
koboldcpp/gemma-4-31B-it-heretic
ACLIDE29---€20/month shared internal usage credits · no cardQwen3.8 Max (ACLIDE)
qwen/qwen3.8-max:free
Google AI Studio21151,000250,000~3MGemini 3.8 Flash
gemini-3.8-flash
Api.Airforce2011,000-free · 1,000 req/day · 1 req/mingpt-oss-20b (Api.Airforce)
gpt-oss-20b
NVIDIA NIM1940--free · 40 RPMGLM 5.3 Flash (NV)
z-ai/glm-5.3-flash
Cohere172033-~1-2MCommand A+ (05-2026)
command-a-plus-05-2026
DreamPrompting141005,000-free · 500K tokens/day · 5,000 req/dayGemini 3.1 Flash-Lite
google/gemini-3.1-flash-lite
Mistral122-500,000~50-100MMistral Code
mistral-code-latest
ModelScope11-200-Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experienceGLM-5.2 (ModelScope)
ZhipuAI/GLM-5.2

FreeLLMAPI કૅટલૉગનો લાઇવ ડેટા (સંસ્કરણ 2026.11.19, તપાસ્યું 2026-11-19). મફત મર્યાદાઓ વારંવાર બદલાય છે. કૅટલૉગ દરરોજ તપાસવામાં આવે છે.

LiteLLM ક્યારે હજી વધુ યોગ્ય છે

  • ઘણા વપરાશકર્તાઓ: FreeLLMAPI માં મલ્ટિ-ટેનન્ટ ઓથ નથી. તેના દસ્તાવેજો કહે છે કે તેને તમારા પોતાના માટે ચલાવો અને ઇન્ટરનેટ પર ખુલ્લું ન મૂકો.
  • ટીમ દીઠ બજેટ: LiteLLM પાસે દરેક કી, ટીમ અને વપરાશકર્તા દીઠ બજેટ છે. FreeLLMAPI પાસે ફક્ત દરેક પ્રદાતા કી માટે માસિક મર્યાદા છે.
  • ચૂકવણીવાળા અગ્રણી મૉડેલ: મફત ટાયર સૌથી શક્તિશાળી મૉડેલની સ્થિર ઍક્સેસ આપતા નથી. LiteLLM કોઈપણ ચૂકવણીવાળા ખાતા પર રૂટ કરે છે.
  • સેવા સ્તર: મફત ટાયરમાં SLA નથી. પ્રોડક્શન વિશ્વસનીયતા માટે, ચૂકવણીવાળા પ્રદાતાઓ વાપરો.

તમે બંને ચલાવી શકો છો. ચૂકવણીવાળા પ્રોડક્શન ટ્રાફિક માટે LiteLLM વાપરો. વિકાસ, પરીક્ષણો અને બૅચ કાર્ય માટે FreeLLMAPI વાપરો જેને પૈસા ખર્ચવાની જરૂર નથી. FreeLLMAPI કોઈપણ OpenAI સાથે સુસંગત એન્ડપોઇન્ટને કસ્ટમ પ્રદાતા તરીકે પણ ઉમેરી શકે છે.

LiteLLM થી FreeLLMAPI પર જાઓ

  1. એક-લાઇન ઇન્સ્ટોલર વડે FreeLLMAPI ઇન્સ્ટોલ કરો.
  2. http://localhost:3001 પર ડેશબોર્ડ ખોલો, અને Keys પેજ પર તમારી મફત પ્રદાતા કી ઉમેરો.
  3. Keys પેજ પરથી એકીકૃત કી કૉપિ કરો.
  4. તમારી ઍપમાં, બેઝ URL ને LiteLLM પ્રોક્સીમાંથી http://localhost:3001/v1 પર બદલો.
  5. મૉડેલ નામ auto અથવા કૅટલૉગ મૉડેલ ID પર બદલો.

ઇન્સ્ટોલ કરો અને પરીક્ષણ કરો

curl -fsSL https://freellmapi.co/install.sh | bash

curl http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{"model": "auto", "messages": [{"role": "user", "content": "Hello"}]}'
આ બધાનો ઉપયોગ એક જ કી દ્વારા કરો. FreeLLMAPI એક ઓપન-સોર્સ, સ્વ-હોસ્ટેડ રાઉટર છે. તે આ બધા મફત ટાયરને એક OpenAI સાથે સુસંગત એન્ડપોઇન્ટ પાછળ મૂકે છે અને જ્યારે એક મૉડેલની રેટ મર્યાદા આવે ત્યારે બીજા પર આપમેળે સ્વિચ કરે છે. કૅટલૉગ બ્રાઉઝ કરો અથવા લાઇવ જાઓ.

વારંવાર પૂછાતા પ્રશ્નો

LiteLLM નો શ્રેષ્ઠ મફત વિકલ્પ કયો છે?

જો તમને મફત ઇન્ફરન્સ જોઈએ, તો પ્રદાતાઓના મફત ટાયર એકત્ર કરતો ગેટવે વાપરો, જેમ કે FreeLLMAPI. જો તમને ચૂકવણીવાળા પ્રદાતાઓ માટે મફત સોફ્ટવેર જોઈએ, તો LiteLLM પોતે જ પહેલેથી મફત અને ઓપન સોર્સ છે.

શું LiteLLM મફત છે?

SDK અને પ્રોક્સી ઓપન સોર્સ છે અને ચલાવવા માટે મફત છે. તેમાં કોઈ ટોકન શામેલ નથી, તેથી દરેક વિનંતીનું બિલ તે પ્રદાતા દ્વારા થાય છે જેની કી તમે ઉમેરી છે.

શું LiteLLM નો હોસ્ટેડ વિકલ્પ છે?

હા. OpenRouter અને Portkey હોસ્ટેડ ગેટવે છે. OpenRouter ઘણા મૉડેલ માટે ક્રેડિટ વેચે છે. Portkey એક મેનેજ્ડ ગેટવે છે જ્યાં તમે પ્રદાતાની કી લાવો છો.

શું FreeLLMAPI LiteLLM ની જેમ વર્ચ્યુઅલ કી સપોર્ટ કરે છે?

ના. FreeLLMAPI ડિઝાઇન દ્વારા એક-વપરાશકર્તા છે, જેમાં એક એકીકૃત કી અને વૈકલ્પિક ક્લાયન્ટ-પ્રોફાઇલ કી છે. તેમાં દરેક પ્રદાતા કી દીઠ માસિક મર્યાદા છે, વપરાશકર્તા અથવા ટીમ દીઠ બજેટ નથી.

શું હું LiteLLM અને FreeLLMAPI એકસાથે વાપરી શકું?

હા. FreeLLMAPI એક OpenAI સાથે સુસંગત એન્ડપોઇન્ટ ખુલ્લો પાડે છે, તેથી તમે તેને LiteLLM માં ખર્ચ વિનાના ટ્રાફિક માટે વધુ એક ડિપ્લોયમેન્ટ તરીકે ઉમેરી શકો છો.

સંબંધિત માર્ગદર્શિકાઓ

સ્રોતો

બધી માર્ગદર્શિકાઓ · બધા મફત મૉડેલ જુઓ