支持函数调用的免费 LLM API
函数调用(即工具调用)允许 LLM 请求您的代码运行某个函数。智能体、使用实时数据的聊天机器人以及结构化提取都会使用它。FreeLLMAPI 目录中有 190 个支持工具调用的免费模型选项。您发送 OpenAI 风格的 tools,网关会为每个提供商进行转换。
代码、模型名称和目录中的实时标签以英文显示。
工具调用如何通过 FreeLLMAPI 运行
- 您发送消息和
tools列表。每个工具都有名称、描述以及参数的 JSON Schema。 - 模型以
tool_calls和finish_reason: "tool_calls"作答。它自身不运行任何内容。 - 您的代码运行该函数,并将结果作为
role: "tool"的消息添加。 - 您再次发送对话。模型利用该结果撰写最终回答。
兼容 OpenAI 的提供商(例如 Groq、Cerebras、Mistral、OpenRouter 和 Cloudflare)会原样接收请求。对于 Gemini,FreeLLMAPI 会将工具转换为 Google 的 functionDeclarations 格式,并将回答转换回来。无论使用哪个提供商,您的代码都相同。
部分模型会以纯文本形式写出工具调用,而不是真正的工具调用。FreeLLMAPI 会检测这些情况,并将其转换为真正的 tool_calls。
当前支持工具调用的免费模型
下表列出了支持工具调用的最强免费模型。数据来自实时目录。对于智能体,还需检查上下文大小,因为工具定义和结果会占用大量 token。
| 模型 | 免费提供方 | 上下文 | 免费额度(最优惠) | 工具 | 视觉 |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 请求/分钟 1 req/min per model | 是 | 否 |
| Qwen3.8 Max | ACLIDE | - | €20/month shared internal usage credits · no card | 是 | 否 |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 请求/分钟 40 RPM | 是 | 是 |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | 是 | 是 |
| Gemini Flash (latest alias) | Google AI Studio | - | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | 是 | 否 |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | 是 | 是 |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | 是 | 是 |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 请求/分钟 50 请求/天 50 req/day account-wide (1,000 after a $10 purchase) | 是 | 是 |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 请求/分钟 50 请求/天 Shared rate limit | 是 | 否 |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 请求/分钟 250 请求/天 70,000 令牌/分钟 ~6M | 是 | 是 |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | 是 | 是 |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 请求/分钟 20 请求/天 250,000 令牌/分钟 ~3M | 是 | 是 |
显示 15 个(共 146 个匹配的免费模型)。 查看所有模型.
数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。
第 1 步:安装 FreeLLMAPI 并添加密钥
FreeLLMAPI 是开源软件。它通过 Docker 在您的计算机上运行。您的提供商密钥保存在您的计算机上。
安装(macOS 或 Linux)
curl -fsSL https://freellmapi.co/install.sh | bash在 http://localhost:3001 打开仪表板。在 Keys 页面添加三个或更多提供商的密钥。一次工具循环会为同一任务发送多个请求,因此更多密钥意味着更多余量。从同一页面复制您的统一密钥。
第 2 步:运行完整的工具循环
curl:第一个请求
curl http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "What is the weather in Karachi?"}],
"tools": [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"]
}
}
}]
}'Python:循环直到模型给出最终回答
import json
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 32, "condition": "sunny"} # call a real API here
FUNCS = {"get_weather": get_weather}
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "What is the weather in Karachi and Lahore?"}]
for _ in range(5): # stop after 5 rounds
msg = client.chat.completions.create(model="auto", messages=messages, tools=tools).choices[0].message
if not msg.tool_calls:
print(msg.content)
break
messages.append(msg)
for call in msg.tool_calls:
try:
args = json.loads(call.function.arguments or "{}")
result = FUNCS[call.function.name](**args)
except Exception as exc: # bad JSON, unknown tool or wrong arguments
result = {"error": str(exc)}
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})工具调用也适用于 stream=True。您会收到 delta.tool_calls 数据块,然后是一个带有 finish_reason: "tool_calls" 的最终数据块。解析 JSON 之前,请先拼接参数数据块。
使用工具获取结构化数据
工具调用也是获取固定格式数据的好方法。定义一个工具,其参数即为您需要的字段。将 tool_choice 设为 "required",使模型必须调用工具。然后读取参数。您无需运行任何函数。
Python:通过必需的工具调用提取字段
import json
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
schema = {
"type": "function",
"function": {
"name": "save_contact",
"description": "Save one contact found in the text.",
"parameters": {
"type": "object",
"properties": {"name": {"type": "string"}, "email": {"type": "string"}},
"required": ["name", "email"],
},
},
}
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Reach Sara Khan at [email protected]."}],
tools=[schema],
tool_choice="required",
)
print(json.loads(resp.choices[0].message.tool_calls[0].function.arguments))使用您自己的代码验证参数。模型可能会遗漏必需字段,或发送错误的类型。如果检查失败,请将错误发送回去,并重新请求。
注意事项
- 参数是字符串:
function.arguments是一个 JSON 字符串。请解析它,并捕获错误。小模型有时会发送无效的 JSON。 - 匹配 ID:每条工具消息都需要其对应调用的
tool_call_id。请在工具消息之前添加带有tool_calls的 assistant 消息。 - 同时多次调用:模型可能在一次回答中返回多个工具调用。请运行所有调用,然后发送全部结果。
- token 成本:每个工具定义都会随每个请求发送。二十个大型工具可能占用数千个 token,并很快达到较低的每分钟 token 限制。请只发送任务所需的工具。
- 清晰的描述:模型根据工具的名称和描述选择工具。请写一句简短的话,说明工具的作用以及何时使用。
- 停止循环:设置最大轮次数。能力较弱的模型可能会反复调用同一工具。
- 不支持工具的模型:部分免费提供商不支持工具。例如,AI Horde 会丢弃工具,并以普通对话的形式作答。
故障排除
| 问题 | 原因 | 解决方法 |
|---|---|---|
| 模型以文本作答,未调用任何工具 | 模型的工具调用能力较弱,或描述不清楚 | 从表中固定使用更强的模型,或改进工具描述 |
参数出现 json.JSONDecodeError | 模型发送了无效的 JSON | 捕获该错误,并将其作为工具结果发送回去,使模型可以重试 |
| 工具消息返回错误 400 | tool_call_id 不匹配,或缺少 assistant 消息 | 先添加 assistant 消息,然后为每个调用添加一条工具消息 |
| 智能体任务期间出现错误 429 | 循环发送了大量大型请求 | 添加更多提供商密钥,并减少发送的工具数量 |
| 循环无法停止 | 模型反复调用同一工具 | 设置轮次上限,并返回清晰的结果 |
常见问题
哪些免费 LLM API 支持函数调用?
Gemini、Groq、Cerebras、Mistral、OpenRouter、Cloudflare 以及其他提供商都有支持工具调用的免费模型。目前,FreeLLMAPI 目录中有 190 个支持工具的免费模型选项。
工具调用与函数调用是一回事吗?
是的。OpenAI 最早使用了函数调用这一名称。目前的 API 使用 tools 和 tool_calls。两个名称都表示模型请求您的代码运行某个函数。
Gemini 的工具调用能否配合 OpenAI 格式使用?
可以,通过 FreeLLMAPI 实现。网关会将 OpenAI 的 tools 转换为 Gemini 的 functionDeclarations,并将回答转换回 OpenAI 的 tool_calls。
工具调用可以流式输出吗?
可以。使用 stream=True 时,您会收到 delta.tool_calls 数据块,以及最终 finish_reason 为 tool_calls。解析之前请先拼接参数数据块。
相关指南
来源
- FreeLLMAPI docs: Tool calling (检查于 20 November 2026)
- FreeLLMAPI README: features (检查于 20 November 2026)
- OpenAI API reference: Chat Completions tools (检查于 20 November 2026)