LiteLLM 替代方案
LiteLLM 是一个开源的 Python SDK 和代理服务器,通过一个兼容 OpenAI 风格的接口提供 100 多个 LLM。对于向提供方付费的团队,它是一个很好的网关。如果您的目标是免费推理,它本身无法提供帮助,因为它不包含任何令牌。本指南说明何时适合使用 LiteLLM,何时更适合替代方案,以及各选项如何对比。
代码、模型名称和目录中的实时标签以英文显示。
LiteLLM 的优势
LiteLLM 文档描述了两个部分。Python SDK 通过一个接口调用多个提供方。代理服务器是一个自托管网关,任何兼容 OpenAI 的客户端都可以使用它。
- 虚拟密钥:可按密钥、团队和用户设置预算。
- 支出跟踪:按密钥、团队和用户跟踪所有提供方的支出。
- 负载均衡:在多个部署之间分配负载,并支持自动回退。
- 可观测性回调:可连接 Langfuse、MLflow 和 Helicone 等工具。
- 护栏:提供内容过滤、个人信息屏蔽和安全检查。
- 管理界面:用于管理密钥和跟踪成本。
这些功能面向共享付费提供方账户的团队。如果您的情况如此,LiteLLM 是很好的选择,您可能不需要替代方案。
人们为何寻找替代方案
- 没有免费令牌:LiteLLM 会路由到您提供密钥的提供方。每个令牌都由该密钥对应的提供方计费。
- 免费套餐需要手动维护:LiteLLM 不会跟踪本周哪些模型免费,也不会跟踪各提供方的免费限制。您必须自行查找,并保持配置为最新。
- 为一个人设置过于复杂:团队功能增加了单个开发者可能用不到的部分。
- 其他 API 格式:部分工具需要 Anthropic、Gemini 或 Ollama 格式,而不仅是 OpenAI 格式。
合适的替代方案取决于您面临的是哪一个问题。下一节列出了各个选项。
替代方案对比
| 对比项 | LiteLLM | FreeLLMAPI | OpenRouter | Portkey |
|---|---|---|---|---|
| 产品定位 | 开源 SDK 与代理 | 面向免费套餐的开源网关 | 托管网关,统一账单 | 托管式 AI 网关 |
| 运行位置 | 自托管 | 自托管(Docker、桌面应用或 Node) | 托管 | 托管 |
| 包含推理费用 | 否。您需向各提供方付费 | 仅调用提供方的免费套餐 | 付费额度,另有部分每日有上限的免费模型 | 否。您需自备提供方密钥 |
| 免费套餐跟踪 | 否 | 是,提供经签名的免费模型及限制目录 | 仅提供其自有的免费模型 | 否 |
| 多用户与虚拟密钥 | 是 | 否。设计上仅支持单用户 | - | - |
| API 格式 | 兼容 OpenAI | OpenAI、Anthropic、Gemini 和 Ollama | 兼容 OpenAI | 兼容 OpenAI |
| 最适合 | 向提供方付费的团队 | 希望推理费用为 0 的单个开发者 | 通过一张账单使用付费的前沿模型 | 希望使用托管网关的团队 |
更多详情请阅读 FreeLLMAPI 与 LiteLLM 对比、FreeLLMAPI 与 OpenRouter 对比,以及免费 LLM API 网关对比。
FreeLLMAPI 更适合的情况
FreeLLMAPI 的定位是免费的自托管方案。它是一个开源路由器,通过一个兼容 OpenAI 的密钥和一个兼容 Anthropic 的密钥,整合各提供方的免费套餐。目前,其目录列出了 45 个提供方的 487 个免费模型。
- 它为每个密钥保留请求数和令牌数的计数器,按分钟和按天统计,因此路由会保持在各免费限制之内。
- 遇到 429 或 5xx 错误时,它会将该密钥置于冷却状态,并尝试您链中的下一个模型。
- 它从经签名的数据源更新模型目录,因此新的免费模型和配额变化无需更新代码即可生效。
- 它提供
/v1/chat/completions、/v1/responses、/v1/messages、嵌入、图像和语音服务。 - 提供方密钥使用 AES-256-GCM 加密,并保存在本地 SQLite 数据库中。
| 提供方 | 免费模型 | 每分钟最大请求数 | 每天最大请求数 | 每分钟最大令牌数 | 每月令牌数(单个模型) | 最强的免费模型 |
|---|---|---|---|---|---|---|
| ElectronHub | 84 | - | - | - | $0.25/week shared recurring credit | Qwen3.8 Flash (ElectronHub)qwen3.8-flash |
| Cloudflare Workers AI | 39 | - | - | - | ~5-10M | Qwen 3.8 27B (Cloudflare Workers AI)@cf/qwen/qwen3.8-27b |
| Inferbase | 38 | - | - | - | 5,000 requests/month; 100 requests and $0.50 usage/day shared | DeepSeek V4 Flash (fp8) (Inferbase)deepseek-v4-flash:fp8 |
| AI Horde | 31 | - | - | - | Ongoing volunteer queue; availability varies | Gemma 4 31B Heretic (AI Horde)koboldcpp/gemma-4-31B-it-heretic |
| ACLIDE | 29 | - | - | - | €20/month shared internal usage credits · no card | Qwen3.8 Max (ACLIDE)qwen/qwen3.8-max:free |
| Google AI Studio | 21 | 15 | 1,000 | 250,000 | ~3M | Gemini 3.8 Flashgemini-3.8-flash |
| Api.Airforce | 20 | 1 | 1,000 | - | free · 1,000 req/day · 1 req/min | gpt-oss-20b (Api.Airforce)gpt-oss-20b |
| NVIDIA NIM | 19 | 40 | - | - | free · 40 RPM | GLM 5.3 Flash (NV)z-ai/glm-5.3-flash |
| Cohere | 17 | 20 | 33 | - | ~1-2M | Command A+ (05-2026)command-a-plus-05-2026 |
| DreamPrompting | 14 | 100 | 5,000 | - | free · 500K tokens/day · 5,000 req/day | Gemini 3.1 Flash-Litegoogle/gemini-3.1-flash-lite |
| Mistral | 12 | 2 | - | 500,000 | ~50-100M | Mistral Codemistral-code-latest |
| ModelScope | 11 | - | 200 | - | Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | GLM-5.2 (ModelScope)ZhipuAI/GLM-5.2 |
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
LiteLLM 仍更适合的情况
- 多用户:FreeLLMAPI 没有多租户身份验证。其文档说明,应仅为自己运行,不要将其暴露到互联网上。
- 按团队设置预算:LiteLLM 可按密钥、团队和用户设置预算。FreeLLMAPI 仅支持按提供方密钥设置每月上限。
- 付费的前沿模型:免费套餐无法稳定提供最强的模型。LiteLLM 可以路由到任何付费账户。
- 服务等级:免费套餐没有 SLA。如需生产环境的可靠性,请使用付费提供方。
两者可以同时运行。将 LiteLLM 用于付费的生产流量。将 FreeLLMAPI 用于开发、测试以及无需花费的批处理任务。FreeLLMAPI 还可以将任何兼容 OpenAI 的端点添加为自定义提供方。
从 LiteLLM 迁移到 FreeLLMAPI
- 使用一行安装命令安装 FreeLLMAPI。
- 在浏览器中打开仪表板
http://localhost:3001,并在 Keys 页面添加您的免费提供方密钥。 - 从 Keys 页面复制统一密钥。
- 在您的应用中,将基础 URL 从 LiteLLM 代理更改为
http://localhost:3001/v1。 - 将模型名称更改为
auto或目录中的模型 ID。
安装并测试
curl -fsSL https://freellmapi.co/install.sh | bash
curl http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{"model": "auto", "messages": [{"role": "user", "content": "Hello"}]}'常见问题
LiteLLM 的最佳免费替代方案是什么?
如果您想要免费推理,请使用一个整合提供方免费套餐的网关,例如 FreeLLMAPI。如果您想为付费提供方免费使用软件,LiteLLM 本身已经是免费的开源软件。
LiteLLM 免费吗?
SDK 和代理是开源的,运行免费。它们不包含任何令牌,因此每个请求都由您所添加密钥的提供方计费。
有没有 LiteLLM 的托管替代方案?
有。OpenRouter 和 Portkey 都是托管网关。OpenRouter 销售多种模型的额度。Portkey 是一个托管网关,您需自备提供方密钥。
FreeLLMAPI 是否支持像 LiteLLM 那样的虚拟密钥?
不支持。FreeLLMAPI 在设计上只支持单用户,提供一个统一密钥和可选的客户端配置密钥。它按提供方密钥设置每月上限,而不是按用户或团队设置预算。
我能否同时使用 LiteLLM 和 FreeLLMAPI?
可以。FreeLLMAPI 提供兼容 OpenAI 的端点,因此您可以将其作为 LiteLLM 的另一个部署添加进来,用于那些不应产生费用的流量。
相关指南
- freellmapi vs litellm
- free llm api gateways compared
- Helicone 替代方案
- portkey alternative
- openrouter free alternative
- 免费兼容 OpenAI 的 API Base URL
来源
- LiteLLM docs: Getting started (检查于 20 November 2026)
- FreeLLMAPI README: features and how it compares (检查于 20 November 2026)
- FreeLLMAPI docs: Architecture, limitations and scope (检查于 20 November 2026)
- FreeLLMAPI docs: Monthly provider-key budgets (检查于 20 November 2026)