首页 / 指南 / 支持函数调用的免费 LLM API

支持函数调用的免费 LLM API

函数调用(即工具调用)允许 LLM 请求您的代码运行某个函数。智能体、使用实时数据的聊天机器人以及结构化提取都会使用它。FreeLLMAPI 目录中有 190 个支持工具调用的免费模型选项。您发送 OpenAI 风格的 tools,网关会为每个提供商进行转换。

代码、模型名称和目录中的实时标签以英文显示。

工具调用如何通过 FreeLLMAPI 运行

  1. 您发送消息和 tools 列表。每个工具都有名称、描述以及参数的 JSON Schema。
  2. 模型以 tool_calls 和 finish_reason: "tool_calls" 作答。它自身不运行任何内容。
  3. 您的代码运行该函数,并将结果作为 role: "tool" 的消息添加。
  4. 您再次发送对话。模型利用该结果撰写最终回答。

兼容 OpenAI 的提供商(例如 Groq、Cerebras、Mistral、OpenRouter 和 Cloudflare)会原样接收请求。对于 Gemini,FreeLLMAPI 会将工具转换为 Google 的 functionDeclarations 格式,并将回答转换回来。无论使用哪个提供商,您的代码都相同。

部分模型会以纯文本形式写出工具调用,而不是真正的工具调用。FreeLLMAPI 会检测这些情况,并将其转换为真正的 tool_calls。

当前支持工具调用的免费模型

下表列出了支持工具调用的最强免费模型。数据来自实时目录。对于智能体,还需检查上下文大小,因为工具定义和结果会占用大量 token。

支持工具调用的免费模型,按能力从强到弱排列
模型免费提供方上下文免费额度(最优惠)工具视觉
GLM 5.3UnoRouter1M1 请求/分钟
1 req/min per model
是否
Qwen3.8 MaxACLIDE-€20/month shared internal usage credits · no card是否
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 请求/分钟
40 RPM
是是
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quota是是
Gemini Flash (latest alias)Google AI Studio-10 请求/分钟
20 请求/天
250,000 令牌/分钟
~3M
是是
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowance是否
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring credit是是
Gemini 3.7 FlashGoogle AI Studio1M10 请求/分钟
20 请求/天
250,000 令牌/分钟
~3M
是是
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring credit是是
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 请求/分钟
50 请求/天
50 req/day account-wide (1,000 after a $10 purchase)
是是
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 请求/分钟
50 请求/天
Shared rate limit
是否
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 请求/分钟
250 请求/天
70,000 令牌/分钟
~6M
是是
Gemini 3.6 FlashGoogle AI Studio1M10 请求/分钟
20 请求/天
250,000 令牌/分钟
~3M
是是
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/day是是
Gemini 3.5 FlashGoogle AI Studio1M10 请求/分钟
20 请求/天
250,000 令牌/分钟
~3M
是是

显示 15 个(共 146 个匹配的免费模型)。 查看所有模型.

数据来自 FreeLLMAPI 目录(版本 2026.11.19,检查于 2026-11-19)。免费额度经常变化。该目录每天检查一次。

第 1 步:安装 FreeLLMAPI 并添加密钥

FreeLLMAPI 是开源软件。它通过 Docker 在您的计算机上运行。您的提供商密钥保存在您的计算机上。

安装(macOS 或 Linux)

curl -fsSL https://freellmapi.co/install.sh | bash

在 http://localhost:3001 打开仪表板。在 Keys 页面添加三个或更多提供商的密钥。一次工具循环会为同一任务发送多个请求,因此更多密钥意味着更多余量。从同一页面复制您的统一密钥。

第 2 步:运行完整的工具循环

curl:第一个请求

curl http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "What is the weather in Karachi?"}],
    "tools": [{
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
          "type": "object",
          "properties": {"city": {"type": "string"}},
          "required": ["city"]
        }
      }
    }]
  }'

Python:循环直到模型给出最终回答

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 32, "condition": "sunny"}  # call a real API here

FUNCS = {"get_weather": get_weather}
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
messages = [{"role": "user", "content": "What is the weather in Karachi and Lahore?"}]

for _ in range(5):  # stop after 5 rounds
    msg = client.chat.completions.create(model="auto", messages=messages, tools=tools).choices[0].message
    if not msg.tool_calls:
        print(msg.content)
        break
    messages.append(msg)
    for call in msg.tool_calls:
        try:
            args = json.loads(call.function.arguments or "{}")
            result = FUNCS[call.function.name](**args)
        except Exception as exc:  # bad JSON, unknown tool or wrong arguments
            result = {"error": str(exc)}
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})

工具调用也适用于 stream=True。您会收到 delta.tool_calls 数据块,然后是一个带有 finish_reason: "tool_calls" 的最终数据块。解析 JSON 之前,请先拼接参数数据块。

使用工具获取结构化数据

工具调用也是获取固定格式数据的好方法。定义一个工具,其参数即为您需要的字段。将 tool_choice 设为 "required",使模型必须调用工具。然后读取参数。您无需运行任何函数。

Python:通过必需的工具调用提取字段

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
schema = {
    "type": "function",
    "function": {
        "name": "save_contact",
        "description": "Save one contact found in the text.",
        "parameters": {
            "type": "object",
            "properties": {"name": {"type": "string"}, "email": {"type": "string"}},
            "required": ["name", "email"],
        },
    },
}
resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Reach Sara Khan at [email protected]."}],
    tools=[schema],
    tool_choice="required",
)
print(json.loads(resp.choices[0].message.tool_calls[0].function.arguments))

使用您自己的代码验证参数。模型可能会遗漏必需字段,或发送错误的类型。如果检查失败,请将错误发送回去,并重新请求。

安全:在未经检查的情况下,请勿运行具有副作用的工具调用,例如付款、发送邮件或删除文件。请先让用户确认这些操作。

注意事项

  • 参数是字符串:function.arguments 是一个 JSON 字符串。请解析它,并捕获错误。小模型有时会发送无效的 JSON。
  • 匹配 ID:每条工具消息都需要其对应调用的 tool_call_id。请在工具消息之前添加带有 tool_calls 的 assistant 消息。
  • 同时多次调用:模型可能在一次回答中返回多个工具调用。请运行所有调用,然后发送全部结果。
  • token 成本:每个工具定义都会随每个请求发送。二十个大型工具可能占用数千个 token,并很快达到较低的每分钟 token 限制。请只发送任务所需的工具。
  • 清晰的描述:模型根据工具的名称和描述选择工具。请写一句简短的话,说明工具的作用以及何时使用。
  • 停止循环:设置最大轮次数。能力较弱的模型可能会反复调用同一工具。
  • 不支持工具的模型:部分免费提供商不支持工具。例如,AI Horde 会丢弃工具,并以普通对话的形式作答。
任务期间使用同一模型:FreeLLMAPI 会将一段对话保持在同一模型上 30 分钟。工具循环通常会停留在同一模型上。如果某个限制迫使切换模型,下一个模型将获得完整的消息历史,包括工具结果。

故障排除

问题原因解决方法
模型以文本作答,未调用任何工具模型的工具调用能力较弱,或描述不清楚从表中固定使用更强的模型,或改进工具描述
参数出现 json.JSONDecodeError模型发送了无效的 JSON捕获该错误,并将其作为工具结果发送回去,使模型可以重试
工具消息返回错误 400tool_call_id 不匹配,或缺少 assistant 消息先添加 assistant 消息,然后为每个调用添加一条工具消息
智能体任务期间出现错误 429循环发送了大量大型请求添加更多提供商密钥,并减少发送的工具数量
循环无法停止模型反复调用同一工具设置轮次上限,并返回清晰的结果
通过一个密钥使用以上每一个模型。 FreeLLMAPI 是一个开源的自托管路由器。它将所有这些免费套餐放在一个兼容 OpenAI 的端点之后,并在某个套餐被限速时自动切换。 浏览目录 或 立即开始.

常见问题

哪些免费 LLM API 支持函数调用?

Gemini、Groq、Cerebras、Mistral、OpenRouter、Cloudflare 以及其他提供商都有支持工具调用的免费模型。目前,FreeLLMAPI 目录中有 190 个支持工具的免费模型选项。

工具调用与函数调用是一回事吗?

是的。OpenAI 最早使用了函数调用这一名称。目前的 API 使用 tools 和 tool_calls。两个名称都表示模型请求您的代码运行某个函数。

Gemini 的工具调用能否配合 OpenAI 格式使用?

可以,通过 FreeLLMAPI 实现。网关会将 OpenAI 的 tools 转换为 Gemini 的 functionDeclarations,并将回答转换回 OpenAI 的 tool_calls。

工具调用可以流式输出吗?

可以。使用 stream=True 时,您会收到 delta.tool_calls 数据块,以及最终 finish_reason 为 tool_calls。解析之前请先拼接参数数据块。

相关指南

来源

全部指南 · 浏览所有免费模型