LiteLLM ಪರ್ಯಾಯ

LiteLLM ಒಂದು ಮುಕ್ತ ಮೂಲದ Python SDK ಮತ್ತು ಪ್ರಾಕ್ಸಿ ಸರ್ವರ್ ಆಗಿದ್ದು, 100+ LLM ಗಳನ್ನು ಒಂದೇ OpenAI ಶೈಲಿಯ ಇಂಟರ್ಫೇಸ್ ಹಿಂದೆ ಇಡುತ್ತದೆ. ಪೂರೈಕೆದಾರರಿಗೆ ಹಣ ಪಾವತಿಸುವ ತಂಡಗಳಿಗೆ ಇದು ಉತ್ತಮ ಗೇಟ್‌ವೇ. ನಿಮ್ಮ ಗುರಿ ಉಚಿತ ಇನ್ಫರೆನ್ಸ್ ಆಗಿದ್ದರೆ, ಅದು ತಾನಾಗಿ ಸಹಾಯ ಮಾಡುವುದಿಲ್ಲ, ಏಕೆಂದರೆ ಅದು ಯಾವುದೇ ಟೋಕನ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿಲ್ಲ. ಈ ಮಾರ್ಗದರ್ಶಿ LiteLLM ಯಾವಾಗ ಸರಿಹೊಂದುತ್ತದೆ, ಪರ್ಯಾಯ ಯಾವಾಗ ಉತ್ತಮ, ಮತ್ತು ಆಯ್ಕೆಗಳು ಹೇಗೆ ಹೋಲುತ್ತವೆ ಎಂದು ವಿವರಿಸುತ್ತದೆ.

ಕೋಡ್, ಮಾದರಿ ಹೆಸರುಗಳು ಮತ್ತು ನೇರ ಕ್ಯಾಟಲಾಗ್ ಲೇಬಲ್‌ಗಳನ್ನು ಇಂಗ್ಲಿಷ್‌ನಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ.

LiteLLM ಚೆನ್ನಾಗಿ ಏನು ಮಾಡುತ್ತದೆ

LiteLLM ದಸ್ತಾವೇಜು ಎರಡು ಭಾಗಗಳನ್ನು ವಿವರಿಸುತ್ತದೆ. Python SDK ಒಂದೇ ಇಂಟರ್ಫೇಸ್ ಮೂಲಕ ಅನೇಕ ಪೂರೈಕೆದಾರರನ್ನು ಕರೆಯುತ್ತದೆ. ಪ್ರಾಕ್ಸಿ ಸರ್ವರ್ ಯಾವುದೇ OpenAI-ಹೊಂದಾಣಿಕೆಯ ಕ್ಲೈಂಟ್ ಬಳಸಬಹುದಾದ ಸ್ವಯಂ-ಹೋಸ್ಟ್ ಗೇಟ್‌ವೇ.

  • ವರ್ಚುವಲ್ ಕೀಗಳು, ಪ್ರತಿ ಕೀ, ತಂಡ ಮತ್ತು ಬಳಕೆದಾರರಿಗೆ ಬಜೆಟ್‌ಗಳೊಂದಿಗೆ.
  • ವೆಚ್ಚ ಟ್ರ್ಯಾಕಿಂಗ್ ಪ್ರತಿ ಕೀ, ತಂಡ ಮತ್ತು ಬಳಕೆದಾರರಿಗೆ ಎಲ್ಲಾ ಪೂರೈಕೆದಾರರಾದ್ಯಂತ.
  • ಲೋಡ್ ಬ್ಯಾಲೆನ್ಸಿಂಗ್ ನಿಯೋಜನೆಗಳಾದ್ಯಂತ, ಸ್ವಯಂ fallback ಗಳೊಂದಿಗೆ.
  • ಅವಲೋಕನ callbacks Langfuse, MLflow ಮತ್ತು Helicone ನಂತಹ ಉಪಕರಣಗಳಿಗೆ.
  • Guardrails ವಿಷಯ ಫಿಲ್ಟರ್‌ಗಳು, PII ಮರೆಮಾಚುವಿಕೆ ಮತ್ತು ಸುರಕ್ಷತಾ ಪರಿಶೀಲನೆಗಳಿಗಾಗಿ.
  • ಆಡಳಿತ UI ಕೀಗಳು ಮತ್ತು ವೆಚ್ಚ ಟ್ರ್ಯಾಕಿಂಗ್‌ಗಾಗಿ.

ಈ ವೈಶಿಷ್ಟ್ಯಗಳು ಪಾವತಿಸಿದ ಪೂರೈಕೆದಾರ ಖಾತೆಗಳನ್ನು ಹಂಚಿಕೊಳ್ಳುವ ತಂಡಗಳಿಗಾಗಿ. ನಿಮ್ಮ ಸ್ಥಿತಿ ಇದೇ ಆಗಿದ್ದರೆ, LiteLLM ಬಲವಾದ ಆಯ್ಕೆ ಮತ್ತು ನಿಮಗೆ ಪರ್ಯಾಯ ಬೇಕಾಗದೇ ಇರಬಹುದು.

ಜನರು ಪರ್ಯಾಯ ಏಕೆ ಹುಡುಕುತ್ತಾರೆ

  • ಉಚಿತ ಟೋಕನ್‌ಗಳಿಲ್ಲ: LiteLLM ನೀವು ಒದಗಿಸುವ ಕೀಗಳಿರುವ ಪೂರೈಕೆದಾರರಿಗೆ ರೂಟ್ ಮಾಡುತ್ತದೆ. ಪ್ರತಿ ಟೋಕನ್ ಆ ಕೀಯ ಪೂರೈಕೆದಾರರಿಂದ ಬಿಲ್ ಆಗುತ್ತದೆ.
  • ಉಚಿತ ಶ್ರೇಣಿಗಳಿಗೆ ಕೈಯಾರೆ ಕೆಲಸ: ಈ ವಾರ ಯಾವ ಮಾದರಿಗಳು ಉಚಿತ ಎಂದು ಅಥವಾ ಪ್ರತಿ ಪೂರೈಕೆದಾರರ ಉಚಿತ ಮಿತಿಗಳನ್ನು LiteLLM ಟ್ರ್ಯಾಕ್ ಮಾಡುವುದಿಲ್ಲ. ಅವನ್ನು ನೀವೇ ಹುಡುಕಬೇಕು ಮತ್ತು ಸಂರಚನೆಯನ್ನು ನವೀಕೃತವಾಗಿಡಬೇಕು.
  • ಒಬ್ಬ ವ್ಯಕ್ತಿಗೆ ಸೆಟಪ್: ತಂಡ ವೈಶಿಷ್ಟ್ಯಗಳು ಒಬ್ಬ ಡೆವಲಪರ್‌ಗೆ ಬೇಡದ ಭಾಗಗಳನ್ನು ಸೇರಿಸುತ್ತವೆ.
  • ಬೇರೆ API ಸ್ವರೂಪಗಳು: ಕೆಲವು ಉಪಕರಣಗಳಿಗೆ ಕೇವಲ OpenAI ಸ್ವರೂಪವಲ್ಲ, Anthropic, Gemini ಅಥವಾ Ollama ಸ್ವರೂಪ ಬೇಕು.

ಸರಿಯಾದ ಪರ್ಯಾಯವು ಇವುಗಳಲ್ಲಿ ಯಾವುದು ನಿಮ್ಮ ಸಮಸ್ಯೆ ಎಂಬುದರ ಮೇಲೆ ಅವಲಂಬಿಸಿದೆ. ಮುಂದಿನ ವಿಭಾಗ ಆಯ್ಕೆಗಳನ್ನು ನೀಡುತ್ತದೆ.

ಪರ್ಯಾಯಗಳ ಹೋಲಿಕೆ

LiteLLM ಮತ್ತು ಪರ್ಯಾಯಗಳು (20 ನವೆಂಬರ್ 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)
ಗುಣಲಕ್ಷಣLiteLLMFreeLLMAPIOpenRouterPortkey
ಇದು ಏನುಮುಕ್ತ ಮೂಲದ SDK ಮತ್ತು ಪ್ರಾಕ್ಸಿಉಚಿತ ಶ್ರೇಣಿಗಳಿಗಾಗಿ ಮುಕ್ತ ಮೂಲದ ಗೇಟ್‌ವೇಒಂದೇ ಬಿಲ್‌ನೊಂದಿಗೆ ಹೋಸ್ಟ್ ಮಾಡಿದ ಗೇಟ್‌ವೇಹೋಸ್ಟ್ ಮಾಡಿದ AI ಗೇಟ್‌ವೇ
ಇದು ಎಲ್ಲಿ ಚಲಿಸುತ್ತದೆಸ್ವಯಂ-ಹೋಸ್ಟ್ಸ್ವಯಂ-ಹೋಸ್ಟ್ (Docker, ಡೆಸ್ಕ್‌ಟಾಪ್ ಆ್ಯಪ್ ಅಥವಾ Node)ಹೋಸ್ಟ್ ಮಾಡಲಾಗಿದೆಹೋಸ್ಟ್ ಮಾಡಲಾಗಿದೆ
ಇನ್ಫರೆನ್ಸ್ ಸೇರಿದೆಇಲ್ಲ. ಪ್ರತಿ ಪೂರೈಕೆದಾರರಿಗೆ ನೀವು ಪಾವತಿಸುತ್ತೀರಿಪೂರೈಕೆದಾರರ ಉಚಿತ ಶ್ರೇಣಿಗಳನ್ನು ಮಾತ್ರ ಕರೆಯುತ್ತದೆಪಾವತಿಸಿದ ಕ್ರೆಡಿಟ್‌ಗಳು, ಜೊತೆಗೆ ದೈನಂದಿನ ಮಿತಿಗಳಿರುವ ಕೆಲವು ಉಚಿತ ಮಾದರಿಗಳುಇಲ್ಲ. ನೀವು ಪೂರೈಕೆದಾರ ಕೀಗಳನ್ನು ತರುತ್ತೀರಿ
ಉಚಿತ ಶ್ರೇಣಿ ಟ್ರ್ಯಾಕಿಂಗ್ಇಲ್ಲಹೌದು, ಉಚಿತ ಮಾದರಿಗಳು ಮತ್ತು ಮಿತಿಗಳ ಸಹಿ ಮಾಡಿದ ಕ್ಯಾಟಲಾಗ್ತನ್ನದೇ ಉಚಿತ ಮಾದರಿಗಳು ಮಾತ್ರಇಲ್ಲ
ಬಹು-ಬಳಕೆದಾರ ಮತ್ತು ವರ್ಚುವಲ್ ಕೀಗಳುಹೌದುಇಲ್ಲ. ವಿನ್ಯಾಸದಿಂದಲೇ ಒಬ್ಬ ಬಳಕೆದಾರರಿಗಾಗಿ--
API ಸ್ವರೂಪಗಳುOpenAI-ಹೊಂದಾಣಿಕೆಯOpenAI, Anthropic, Gemini ಮತ್ತು OllamaOpenAI-ಹೊಂದಾಣಿಕೆಯOpenAI-ಹೊಂದಾಣಿಕೆಯ
ಇದಕ್ಕೆ ಉತ್ತಮಪೂರೈಕೆದಾರರಿಗೆ ಹಣ ಪಾವತಿಸುವ ತಂಡಗಳು$0 ಇನ್ಫರೆನ್ಸ್ ಬಯಸುವ ಒಬ್ಬ ಡೆವಲಪರ್ಒಂದೇ ಬಿಲ್‌ನಲ್ಲಿ ಪಾವತಿಸಿದ ಮುಂಚೂಣಿ ಮಾದರಿಗಳುನಿರ್ವಹಿಸಲಾದ ಗೇಟ್‌ವೇ ಬಯಸುವ ತಂಡಗಳು

ಹೆಚ್ಚಿನ ವಿವರಗಳಿಗಾಗಿ, FreeLLMAPI vs LiteLLM, FreeLLMAPI vs OpenRouter ಮತ್ತು free LLM API gateways compared ಓದಿ.

FreeLLMAPI ಉತ್ತಮವಾಗಿ ಸರಿಹೊಂದುವಾಗ

FreeLLMAPI ಉಚಿತ, ಸ್ವಯಂ-ಹೋಸ್ಟ್ ಆಯ್ಕೆ. ಇದು ಮುಕ್ತ ಮೂಲದ ರೂಟರ್ ಆಗಿದ್ದು, ಪೂರೈಕೆದಾರರ ಉಚಿತ ಶ್ರೇಣಿಗಳನ್ನು ಒಂದು OpenAI-ಹೊಂದಾಣಿಕೆಯ ಕೀ ಮತ್ತು ಒಂದು Anthropic-ಹೊಂದಾಣಿಕೆಯ ಕೀ ಹಿಂದೆ ಒಟ್ಟುಗೂಡಿಸುತ್ತದೆ. ಇಂದು ಅದರ ಕ್ಯಾಟಲಾಗ್ 45 ಪೂರೈಕೆದಾರರಿಂದ 487 ಉಚಿತ ಮಾದರಿಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ.

  • ವಿನಂತಿಗಳು ಮತ್ತು ಟೋಕನ್‌ಗಳಿಗಾಗಿ ಪ್ರತಿ ಕೀಯ ಎಣಿಕೆದಾರರನ್ನು ಇಡುತ್ತದೆ, ಪ್ರತಿ ನಿಮಿಷ ಮತ್ತು ಪ್ರತಿ ದಿನ, ಆದ್ದರಿಂದ ರೂಟಿಂಗ್ ಪ್ರತಿ ಉಚಿತ ಮಿತಿಯೊಳಗೆ ಉಳಿಯುತ್ತದೆ.
  • 429 ಅಥವಾ 5xx ದೋಷದಲ್ಲಿ, ಅದು ಕೀಯನ್ನು ತಣ್ಣಗಾಗಿಸಿ ನಿಮ್ಮ ಸರಣಿಯಲ್ಲಿ ಮುಂದಿನ ಮಾದರಿಯನ್ನು ಪ್ರಯತ್ನಿಸುತ್ತದೆ.
  • ಇದು ತನ್ನ ಮಾದರಿ ಕ್ಯಾಟಲಾಗ್ ಅನ್ನು ಸಹಿ ಮಾಡಿದ ಫೀಡ್‌ನಿಂದ ನವೀಕರಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಹೊಸ ಉಚಿತ ಮಾದರಿಗಳು ಮತ್ತು ಕೋಟಾ ಬದಲಾವಣೆಗಳು ಕೋಡ್ ನವೀಕರಣವಿಲ್ಲದೆ ಬರುತ್ತವೆ.
  • ಇದು /v1/chat/completions, /v1/responses, /v1/messages, embeddings, ಚಿತ್ರಗಳು ಮತ್ತು speech ಅನ್ನು ಸೇವೆ ಮಾಡುತ್ತದೆ.
  • ಪೂರೈಕೆದಾರ ಕೀಗಳನ್ನು ಸ್ಥಳೀಯ SQLite ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ AES-256-GCM ನೊಂದಿಗೆ ಎನ್‌ಕ್ರಿಪ್ಟ್ ಮಾಡಲಾಗಿದೆ.
ಪೂರೈಕೆದಾರಉಚಿತ ಮಾದರಿಗಳುಗರಿಷ್ಠ ವಿನಂತಿ/ನಿಮಿಷಗರಿಷ್ಠ ವಿನಂತಿ/ದಿನಗರಿಷ್ಠ ಟೋಕನ್/ನಿಮಿಷಟೋಕನ್/ತಿಂಗಳು (ಒಂದು ಮಾದರಿ)ಅತ್ಯಂತ ಬಲವಾದ ಉಚಿತ ಮಾದರಿ
ElectronHub84---$0.25/week shared recurring creditQwen3.8 Flash (ElectronHub)
qwen3.8-flash
Cloudflare Workers AI39---~5-10MQwen 3.8 27B (Cloudflare Workers AI)
@cf/qwen/qwen3.8-27b
Inferbase38---5,000 requests/month; 100 requests and $0.50 usage/day sharedDeepSeek V4 Flash (fp8) (Inferbase)
deepseek-v4-flash:fp8
AI Horde31---Ongoing volunteer queue; availability variesGemma 4 31B Heretic (AI Horde)
koboldcpp/gemma-4-31B-it-heretic
ACLIDE29---€20/month shared internal usage credits · no cardQwen3.8 Max (ACLIDE)
qwen/qwen3.8-max:free
Google AI Studio21151,000250,000~3MGemini 3.8 Flash
gemini-3.8-flash
Api.Airforce2011,000-free · 1,000 req/day · 1 req/mingpt-oss-20b (Api.Airforce)
gpt-oss-20b
NVIDIA NIM1940--free · 40 RPMGLM 5.3 Flash (NV)
z-ai/glm-5.3-flash
Cohere172033-~1-2MCommand A+ (05-2026)
command-a-plus-05-2026
DreamPrompting141005,000-free · 500K tokens/day · 5,000 req/dayGemini 3.1 Flash-Lite
google/gemini-3.1-flash-lite
Mistral122-500,000~50-100MMistral Code
mistral-code-latest
ModelScope11-200-Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experienceGLM-5.2 (ModelScope)
ZhipuAI/GLM-5.2

FreeLLMAPI ಕ್ಯಾಟಲಾಗ್‌ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.

LiteLLM ಇನ್ನೂ ಉತ್ತಮವಾಗಿ ಸರಿಹೊಂದುವಾಗ

  • ಹಲವು ಬಳಕೆದಾರರು: FreeLLMAPI ಬಹು-ಬಾಡಿಗೆದಾರ ದೃಢೀಕರಣ ಹೊಂದಿಲ್ಲ. ಅದರ ದಸ್ತಾವೇಜು ಹೇಳುತ್ತದೆ: ಅದನ್ನು ನಿಮಗಾಗಿ ಚಲಾಯಿಸಿ, ಮತ್ತು ಇಂಟರ್ನೆಟ್‌ಗೆ ತೆರೆಯಬೇಡಿ.
  • ತಂಡಕ್ಕೆ ಬಜೆಟ್‌ಗಳು: LiteLLM ಪ್ರತಿ ಕೀ, ತಂಡ ಮತ್ತು ಬಳಕೆದಾರರಿಗೆ ಬಜೆಟ್‌ಗಳನ್ನು ಹೊಂದಿದೆ. FreeLLMAPI ಕೇವಲ ಪ್ರತಿ ಪೂರೈಕೆದಾರ ಕೀಗೆ ಮಾಸಿಕ ಮಿತಿಗಳನ್ನು ಹೊಂದಿದೆ.
  • ಪಾವತಿಸಿದ ಮುಂಚೂಣಿ ಮಾದರಿಗಳು: ಉಚಿತ ಶ್ರೇಣಿಗಳು ಬಲವಾದ ಮಾದರಿಗಳಿಗೆ ಸ್ಥಿರ ಪ್ರವೇಶ ನೀಡುವುದಿಲ್ಲ. LiteLLM ಯಾವುದೇ ಪಾವತಿಸಿದ ಖಾತೆಗೆ ರೂಟ್ ಮಾಡುತ್ತದೆ.
  • ಸೇವಾ ಮಟ್ಟ: ಉಚಿತ ಶ್ರೇಣಿಗಳಿಗೆ SLA ಇಲ್ಲ. ಉತ್ಪಾದನಾ ವಿಶ್ವಾಸಾರ್ಹತೆಗಾಗಿ, ಪಾವತಿಸಿದ ಪೂರೈಕೆದಾರರನ್ನು ಬಳಸಿ.

ನೀವು ಎರಡನ್ನೂ ಚಲಾಯಿಸಬಹುದು. ಪಾವತಿಸಿದ ಉತ್ಪಾದನಾ ಟ್ರಾಫಿಕ್‌ಗೆ LiteLLM ಬಳಸಿ. ಹಣ ವೆಚ್ಚವಾಗಬೇಕಾಗದ ಅಭಿವೃದ್ಧಿ, ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ಬ್ಯಾಚ್ ಕೆಲಸಗಳಿಗೆ FreeLLMAPI ಬಳಸಿ. FreeLLMAPI ಯಾವುದೇ OpenAI-ಹೊಂದಾಣಿಕೆಯ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ಕಸ್ಟಮ್ ಪೂರೈಕೆದಾರರಾಗಿ ಸೇರಿಸಬಹುದು.

LiteLLM ನಿಂದ FreeLLMAPI ಗೆ ಬದಲಾಯಿಸಿ

  1. ಒಂದು ಸಾಲಿನ ಇನ್‌ಸ್ಟಾಲರ್ ಮೂಲಕ FreeLLMAPI ಸ್ಥಾಪಿಸಿ.
  2. http://localhost:3001 ನಲ್ಲಿ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ತೆರೆಯಿರಿ ಮತ್ತು Keys ಪುಟದಲ್ಲಿ ನಿಮ್ಮ ಉಚಿತ ಪೂರೈಕೆದಾರ ಕೀಗಳನ್ನು ಸೇರಿಸಿ.
  3. Keys ಪುಟದಿಂದ ಏಕೀಕೃತ ಕೀಯನ್ನು ನಕಲಿಸಿ.
  4. ನಿಮ್ಮ ಆ್ಯಪ್‌ನಲ್ಲಿ, ಬೇಸ್ URL ಅನ್ನು LiteLLM ಪ್ರಾಕ್ಸಿಯಿಂದ http://localhost:3001/v1 ಗೆ ಬದಲಿಸಿ.
  5. ಮಾದರಿ ಹೆಸರುಗಳನ್ನು auto ಗೆ ಅಥವಾ ಕ್ಯಾಟಲಾಗ್ ಮಾದರಿ IDಗಳಿಗೆ ಬದಲಿಸಿ.

ಸ್ಥಾಪಿಸಿ ಮತ್ತು ಪರೀಕ್ಷಿಸಿ

curl -fsSL https://freellmapi.co/install.sh | bash

curl http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{"model": "auto", "messages": [{"role": "user", "content": "Hello"}]}'
ಇವೆಲ್ಲವನ್ನೂ ಒಂದೇ ಕೀ ಮೂಲಕ ಬಳಸಿ. FreeLLMAPI ಒಂದು ಮುಕ್ತ ಮೂಲದ, ಸ್ವಯಂ-ಹೋಸ್ಟ್ ಮಾಡಿದ ರೂಟರ್ ಆಗಿದೆ. ಇದು ಈ ಎಲ್ಲಾ ಉಚಿತ ಶ್ರೇಣಿಗಳನ್ನು ಒಂದೇ OpenAI-ಹೊಂದಾಣಿಕೆಯ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಹಿಂದೆ ಇಡುತ್ತದೆ ಮತ್ತು ಒಂದು ಮಿತಿಗೆ ಒಳಪಟ್ಟಾಗ ಬದಲಾಯಿಸುತ್ತದೆ. ಕ್ಯಾಟಲಾಗ್ ನೋಡಿ ಅಥವಾ ಲೈವ್ ಆಗಿ.

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

LiteLLM ಗೆ ಉತ್ತಮ ಉಚಿತ ಪರ್ಯಾಯ ಯಾವುದು?

ನಿಮಗೆ ಉಚಿತ ಇನ್ಫರೆನ್ಸ್ ಬೇಕಾದರೆ, FreeLLMAPI ನಂತಹ ಪೂರೈಕೆದಾರರ ಉಚಿತ ಶ್ರೇಣಿಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸುವ ಗೇಟ್‌ವೇ ಬಳಸಿ. ಪಾವತಿಸಿದ ಪೂರೈಕೆದಾರರಿಗೆ ಉಚಿತ ಸಾಫ್ಟ್‌ವೇರ್ ಬೇಕಾದರೆ, LiteLLM ಸ್ವತಃ ಈಗಾಗಲೇ ಉಚಿತ ಮತ್ತು ಮುಕ್ತ ಮೂಲದ್ದು.

LiteLLM ಉಚಿತವೇ?

SDK ಮತ್ತು ಪ್ರಾಕ್ಸಿ ಮುಕ್ತ ಮೂಲದವು ಮತ್ತು ಚಲಾಯಿಸಲು ಉಚಿತ. ಅವು ಯಾವುದೇ ಟೋಕನ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿಲ್ಲ, ಆದ್ದರಿಂದ ನೀವು ಸೇರಿಸಿದ ಕೀಯ ಪೂರೈಕೆದಾರರಿಂದ ಪ್ರತಿ ವಿನಂತಿಗೆ ಬಿಲ್ ಆಗುತ್ತದೆ.

LiteLLM ಗೆ ಹೋಸ್ಟ್ ಮಾಡಿದ ಪರ್ಯಾಯ ಇದೆಯೇ?

ಹೌದು. OpenRouter ಮತ್ತು Portkey ಹೋಸ್ಟ್ ಮಾಡಿದ ಗೇಟ್‌ವೇಗಳು. OpenRouter ಅನೇಕ ಮಾದರಿಗಳಿಗೆ ಕ್ರೆಡಿಟ್‌ಗಳನ್ನು ಮಾರಾಟ ಮಾಡುತ್ತದೆ. Portkey ನೀವು ಪೂರೈಕೆದಾರ ಕೀಗಳನ್ನು ತರುವ ನಿರ್ವಹಿಸಲಾದ ಗೇಟ್‌ವೇ.

FreeLLMAPI LiteLLM ನಂತಹ ವರ್ಚುವಲ್ ಕೀಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆಯೇ?

ಇಲ್ಲ. FreeLLMAPI ವಿನ್ಯಾಸದಿಂದಲೇ ಒಬ್ಬ ಬಳಕೆದಾರರಿಗಾಗಿ, ಒಂದು ಏಕೀಕೃತ ಕೀ ಮತ್ತು ಐಚ್ಛಿಕ ಕ್ಲೈಂಟ್-ಪ್ರೊಫೈಲ್ ಕೀಗಳೊಂದಿಗೆ. ಇದು ಪ್ರತಿ ಪೂರೈಕೆದಾರ ಕೀಗೆ ಮಾಸಿಕ ಮಿತಿಗಳನ್ನು ಹೊಂದಿದೆ, ಪ್ರತಿ ಬಳಕೆದಾರ ಅಥವಾ ತಂಡಕ್ಕೆ ಬಜೆಟ್‌ಗಳನ್ನು ಅಲ್ಲ.

LiteLLM ಮತ್ತು FreeLLMAPI ಅನ್ನು ಒಟ್ಟಿಗೆ ಬಳಸಬಹುದೇ?

ಹೌದು. FreeLLMAPI OpenAI-ಹೊಂದಾಣಿಕೆಯ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಒದಗಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಯಾವುದೇ ವೆಚ್ಚವಾಗಬಾರದ ಟ್ರಾಫಿಕ್‌ಗಾಗಿ ನೀವು ಅದನ್ನು LiteLLM ಗೆ ಇನ್ನೊಂದು ನಿಯೋಜನೆಯಾಗಿ ಸೇರಿಸಬಹುದು.

ಸಂಬಂಧಿತ ಮಾರ್ಗದರ್ಶಿಗಳು

ಮೂಲಗಳು

ಎಲ್ಲಾ ಮಾರ್ಗದರ್ಶಿಗಳು · ಎಲ್ಲಾ ಉಚಿತ ಮಾದರಿಗಳನ್ನು ನೋಡಿ