首页 / 指南 / LiteLLM 替代方案

LiteLLM 替代方案

LiteLLM 是一个开源的 Python SDK 和代理服务器,通过一个兼容 OpenAI 风格的接口提供 100 多个 LLM。对于向提供方付费的团队,它是一个很好的网关。如果您的目标是免费推理,它本身无法提供帮助,因为它不包含任何令牌。本指南说明何时适合使用 LiteLLM,何时更适合替代方案,以及各选项如何对比。

代码、模型名称和目录中的实时标签以英文显示。

LiteLLM 的优势

LiteLLM 文档描述了两个部分。Python SDK 通过一个接口调用多个提供方。代理服务器是一个自托管网关,任何兼容 OpenAI 的客户端都可以使用它。

  • 虚拟密钥:可按密钥、团队和用户设置预算。
  • 支出跟踪:按密钥、团队和用户跟踪所有提供方的支出。
  • 负载均衡:在多个部署之间分配负载,并支持自动回退。
  • 可观测性回调:可连接 Langfuse、MLflow 和 Helicone 等工具。
  • 护栏:提供内容过滤、个人信息屏蔽和安全检查。
  • 管理界面:用于管理密钥和跟踪成本。

这些功能面向共享付费提供方账户的团队。如果您的情况如此,LiteLLM 是很好的选择,您可能不需要替代方案。

人们为何寻找替代方案

  • 没有免费令牌:LiteLLM 会路由到您提供密钥的提供方。每个令牌都由该密钥对应的提供方计费。
  • 免费套餐需要手动维护:LiteLLM 不会跟踪本周哪些模型免费,也不会跟踪各提供方的免费限制。您必须自行查找,并保持配置为最新。
  • 为一个人设置过于复杂:团队功能增加了单个开发者可能用不到的部分。
  • 其他 API 格式:部分工具需要 Anthropic、Gemini 或 Ollama 格式,而不仅是 OpenAI 格式。

合适的替代方案取决于您面临的是哪一个问题。下一节列出了各个选项。

替代方案对比

LiteLLM 及替代方案(检查于 2026 年 11 月 20 日)
对比项LiteLLMFreeLLMAPIOpenRouterPortkey
产品定位开源 SDK 与代理面向免费套餐的开源网关托管网关,统一账单托管式 AI 网关
运行位置自托管自托管(Docker、桌面应用或 Node)托管托管
包含推理费用否。您需向各提供方付费仅调用提供方的免费套餐付费额度,另有部分每日有上限的免费模型否。您需自备提供方密钥
免费套餐跟踪否是,提供经签名的免费模型及限制目录仅提供其自有的免费模型否
多用户与虚拟密钥是否。设计上仅支持单用户--
API 格式兼容 OpenAIOpenAI、Anthropic、Gemini 和 Ollama兼容 OpenAI兼容 OpenAI
最适合向提供方付费的团队希望推理费用为 0 的单个开发者通过一张账单使用付费的前沿模型希望使用托管网关的团队

更多详情请阅读 FreeLLMAPI 与 LiteLLM 对比、FreeLLMAPI 与 OpenRouter 对比,以及免费 LLM API 网关对比。

FreeLLMAPI 更适合的情况

FreeLLMAPI 的定位是免费的自托管方案。它是一个开源路由器,通过一个兼容 OpenAI 的密钥和一个兼容 Anthropic 的密钥,整合各提供方的免费套餐。目前,其目录列出了 45 个提供方的 487 个免费模型。

  • 它为每个密钥保留请求数和令牌数的计数器,按分钟和按天统计,因此路由会保持在各免费限制之内。
  • 遇到 429 或 5xx 错误时,它会将该密钥置于冷却状态,并尝试您链中的下一个模型。
  • 它从经签名的数据源更新模型目录,因此新的免费模型和配额变化无需更新代码即可生效。
  • 它提供 /v1/chat/completions、/v1/responses、/v1/messages、嵌入、图像和语音服务。
  • 提供方密钥使用 AES-256-GCM 加密,并保存在本地 SQLite 数据库中。
提供方免费模型每分钟最大请求数每天最大请求数每分钟最大令牌数每月令牌数(单个模型)最强的免费模型
ElectronHub84---$0.25/week shared recurring creditQwen3.8 Flash (ElectronHub)
qwen3.8-flash
Cloudflare Workers AI39---~5-10MQwen 3.8 27B (Cloudflare Workers AI)
@cf/qwen/qwen3.8-27b
Inferbase38---5,000 requests/month; 100 requests and $0.50 usage/day sharedDeepSeek V4 Flash (fp8) (Inferbase)
deepseek-v4-flash:fp8
AI Horde31---Ongoing volunteer queue; availability variesGemma 4 31B Heretic (AI Horde)
koboldcpp/gemma-4-31B-it-heretic
ACLIDE29---€20/month shared internal usage credits · no cardQwen3.8 Max (ACLIDE)
qwen/qwen3.8-max:free
Google AI Studio21151,000250,000~3MGemini 3.8 Flash
gemini-3.8-flash
Api.Airforce2011,000-free · 1,000 req/day · 1 req/mingpt-oss-20b (Api.Airforce)
gpt-oss-20b
NVIDIA NIM1940--free · 40 RPMGLM 5.3 Flash (NV)
z-ai/glm-5.3-flash
Cohere172033-~1-2MCommand A+ (05-2026)
command-a-plus-05-2026
DreamPrompting141005,000-free · 500K tokens/day · 5,000 req/dayGemini 3.1 Flash-Lite
google/gemini-3.1-flash-lite
Mistral122-500,000~50-100MMistral Code
mistral-code-latest
ModelScope11-200-Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experienceGLM-5.2 (ModelScope)
ZhipuAI/GLM-5.2

数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。

LiteLLM 仍更适合的情况

  • 多用户:FreeLLMAPI 没有多租户身份验证。其文档说明,应仅为自己运行,不要将其暴露到互联网上。
  • 按团队设置预算:LiteLLM 可按密钥、团队和用户设置预算。FreeLLMAPI 仅支持按提供方密钥设置每月上限。
  • 付费的前沿模型:免费套餐无法稳定提供最强的模型。LiteLLM 可以路由到任何付费账户。
  • 服务等级:免费套餐没有 SLA。如需生产环境的可靠性,请使用付费提供方。

两者可以同时运行。将 LiteLLM 用于付费的生产流量。将 FreeLLMAPI 用于开发、测试以及无需花费的批处理任务。FreeLLMAPI 还可以将任何兼容 OpenAI 的端点添加为自定义提供方。

从 LiteLLM 迁移到 FreeLLMAPI

  1. 使用一行安装命令安装 FreeLLMAPI。
  2. 在浏览器中打开仪表板 http://localhost:3001,并在 Keys 页面添加您的免费提供方密钥。
  3. 从 Keys 页面复制统一密钥。
  4. 在您的应用中,将基础 URL 从 LiteLLM 代理更改为 http://localhost:3001/v1。
  5. 将模型名称更改为 auto 或目录中的模型 ID。

安装并测试

curl -fsSL https://freellmapi.co/install.sh | bash

curl http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{"model": "auto", "messages": [{"role": "user", "content": "Hello"}]}'
通过一个密钥使用以上每一个模型。 FreeLLMAPI 是一个开源的自托管路由器。它将所有这些免费套餐放在一个兼容 OpenAI 的端点之后,并在某个套餐被限速时自动切换。 浏览目录 或 立即开始.

常见问题

LiteLLM 的最佳免费替代方案是什么?

如果您想要免费推理,请使用一个整合提供方免费套餐的网关,例如 FreeLLMAPI。如果您想为付费提供方免费使用软件,LiteLLM 本身已经是免费的开源软件。

LiteLLM 免费吗?

SDK 和代理是开源的,运行免费。它们不包含任何令牌,因此每个请求都由您所添加密钥的提供方计费。

有没有 LiteLLM 的托管替代方案?

有。OpenRouter 和 Portkey 都是托管网关。OpenRouter 销售多种模型的额度。Portkey 是一个托管网关,您需自备提供方密钥。

FreeLLMAPI 是否支持像 LiteLLM 那样的虚拟密钥?

不支持。FreeLLMAPI 在设计上只支持单用户,提供一个统一密钥和可选的客户端配置密钥。它按提供方密钥设置每月上限,而不是按用户或团队设置预算。

我能否同时使用 LiteLLM 和 FreeLLMAPI?

可以。FreeLLMAPI 提供兼容 OpenAI 的端点,因此您可以将其作为 LiteLLM 的另一个部署添加进来,用于那些不应产生费用的流量。

相关指南

来源

全部指南 · 浏览所有免费模型