Trang chủ / Hướng dẫn / API LLM miễn phí với function calling

API LLM miễn phí với function calling

Function calling, hay gọi công cụ (tool calling), cho phép LLM yêu cầu mã của bạn chạy một hàm. Agent, bot chat với dữ liệu trực tiếp và trích xuất có cấu trúc đều dùng tính năng này. Danh mục FreeLLMAPI có 190 mô hình miễn phí hỗ trợ gọi công cụ. Bạn gửi tools theo kiểu OpenAI, và gateway dịch chúng cho từng nhà cung cấp.

Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.

Cách gọi công cụ hoạt động qua FreeLLMAPI

  1. Bạn gửi các tin nhắn và một danh sách tools. Mỗi công cụ có tên, mô tả và một JSON Schema cho các tham số của nó.
  2. Mô hình trả lời bằng tool_calls và finish_reason: "tool_calls". Bản thân nó không chạy gì cả.
  3. Mã của bạn chạy hàm và thêm kết quả như một tin nhắn với role: "tool".
  4. Bạn gửi lại cuộc hội thoại. Mô hình dùng kết quả để viết câu trả lời cuối cùng.

Các nhà cung cấp tương thích OpenAI, như Groq, Cerebras, Mistral, OpenRouter và Cloudflare, nhận yêu cầu y nguyên. Với Gemini, FreeLLMAPI dịch các công cụ sang định dạng functionDeclarations của Google và dịch câu trả lời ngược lại. Mã của bạn giống nhau cho mọi nhà cung cấp.

Một số mô hình viết lệnh gọi công cụ thành văn bản thuần thay vì một lệnh gọi công cụ thật. FreeLLMAPI phát hiện các trường hợp này và chuyển chúng thành tool_calls thật.

Mô hình miễn phí hỗ trợ gọi công cụ hiện nay

Bảng liệt kê các mô hình miễn phí mạnh nhất có gọi công cụ. Dữ liệu lấy từ danh mục trực tiếp. Với agent, cũng hãy kiểm tra kích thước ngữ cảnh, vì định nghĩa công cụ và kết quả dùng nhiều token.

Mô hình miễn phí có gọi công cụ, mạnh nhất trước
Mô hìnhMiễn phí trênNgữ cảnhGiới hạn miễn phí (ưu đãi tốt nhất)Công cụThị giác
GLM 5.3UnoRouter1M1 yêu cầu/phút
1 req/min per model
CóKhông
Qwen3.8 MaxACLIDE-€20/month shared internal usage credits · no cardCóKhông
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 yêu cầu/phút
40 RPM
CóCó
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaCóCó
Gemini Flash (latest alias)Google AI Studio-10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceCóKhông
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditCóCó
Gemini 3.7 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditCóCó
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 yêu cầu/phút
50 yêu cầu/ngày
50 req/day account-wide (1,000 after a $10 purchase)
CóCó
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 yêu cầu/phút
50 yêu cầu/ngày
Shared rate limit
CóKhông
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 yêu cầu/phút
250 yêu cầu/ngày
70,000 token/phút
~6M
CóCó
Gemini 3.6 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayCóCó
Gemini 3.5 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó

Đang hiển thị 15 trong số 146 mô hình miễn phí phù hợp. Xem tất cả mô hình.

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Bước 1: Cài đặt FreeLLMAPI và thêm khóa

FreeLLMAPI là mã nguồn mở. Nó chạy trên máy tính của bạn trong Docker. Khóa nhà cung cấp của bạn nằm trên máy tính của bạn.

Cài đặt (macOS hoặc Linux)

curl -fsSL https://freellmapi.co/install.sh | bash

Mở bảng điều khiển tại http://localhost:3001. Thêm khóa từ ba nhà cung cấp trở lên ở trang Keys. Một vòng lặp gọi công cụ gửi nhiều yêu cầu cho một tác vụ, nên nhiều khóa hơn cho nhiều dư địa hơn. Sao chép khóa thống nhất của bạn từ cùng trang đó.

Bước 2: Chạy một vòng lặp gọi công cụ đầy đủ

curl: yêu cầu đầu tiên

curl http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "What is the weather in Karachi?"}],
    "tools": [{
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
          "type": "object",
          "properties": {"city": {"type": "string"}},
          "required": ["city"]
        }
      }
    }]
  }'

Python: lặp cho đến khi mô hình đưa ra câu trả lời cuối cùng

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 32, "condition": "sunny"}  # call a real API here

FUNCS = {"get_weather": get_weather}
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
messages = [{"role": "user", "content": "What is the weather in Karachi and Lahore?"}]

for _ in range(5):  # stop after 5 rounds
    msg = client.chat.completions.create(model="auto", messages=messages, tools=tools).choices[0].message
    if not msg.tool_calls:
        print(msg.content)
        break
    messages.append(msg)
    for call in msg.tool_calls:
        try:
            args = json.loads(call.function.arguments or "{}")
            result = FUNCS[call.function.name](**args)
        except Exception as exc:  # bad JSON, unknown tool or wrong arguments
            result = {"error": str(exc)}
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})

Gọi công cụ cũng hoạt động với stream=True. Bạn nhận các khối delta.tool_calls, rồi một khối cuối với finish_reason: "tool_calls". Ghép các khối đối số lại trước khi phân tích JSON.

Dùng công cụ để lấy dữ liệu có cấu trúc

Gọi công cụ cũng là cách tốt để nhận dữ liệu theo một hình dạng cố định. Định nghĩa một công cụ có các tham số là những trường bạn muốn. Đặt tool_choice thành "required", để mô hình phải gọi một công cụ. Sau đó đọc các đối số. Bạn không cần chạy hàm nào.

Python: trích xuất trường bằng một lệnh gọi công cụ bắt buộc

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
schema = {
    "type": "function",
    "function": {
        "name": "save_contact",
        "description": "Save one contact found in the text.",
        "parameters": {
            "type": "object",
            "properties": {"name": {"type": "string"}, "email": {"type": "string"}},
            "required": ["name", "email"],
        },
    },
}
resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Reach Sara Khan at [email protected]."}],
    tools=[schema],
    tool_choice="required",
)
print(json.loads(resp.choices[0].message.tool_calls[0].function.arguments))

Kiểm tra các đối số bằng mã của riêng bạn. Một mô hình có thể bỏ sót một trường bắt buộc hoặc gửi sai kiểu dữ liệu. Nếu kiểm tra thất bại, gửi lỗi trở lại và hỏi lại.

An toàn: đừng chạy các lệnh gọi công cụ có tác dụng phụ, như thanh toán, email hoặc xóa tệp, khi chưa kiểm tra. Hỏi người dùng xác nhận các hành động này trước.

Các lỗi thường gặp

  • Đối số là chuỗi: function.arguments là một chuỗi JSON. Phân tích nó, và bắt lỗi. Các mô hình nhỏ đôi khi gửi JSON không hợp lệ.
  • Khớp các id: mỗi tin nhắn công cụ cần tool_call_id của lệnh gọi tương ứng. Thêm tin nhắn assistant có tool_calls trước các tin nhắn công cụ.
  • Nhiều lệnh gọi cùng lúc: một mô hình có thể trả về nhiều hơn một lệnh gọi công cụ trong một câu trả lời. Chạy tất cả, rồi gửi tất cả kết quả.
  • Chi phí token: mỗi định nghĩa công cụ được gửi kèm mọi yêu cầu. Hai mươi công cụ lớn có thể dùng hàng nghìn token và nhanh chóng chạm giới hạn token mỗi phút thấp. Chỉ gửi các công cụ mà tác vụ cần.
  • Mô tả rõ ràng: mô hình chọn công cụ dựa trên tên và mô tả của nó. Viết một câu ngắn nêu công cụ làm gì và khi nào dùng.
  • Dừng vòng lặp: đặt số vòng tối đa. Một mô hình yếu có thể gọi cùng một công cụ lặp đi lặp lại.
  • Mô hình không có công cụ: một số nhà cung cấp miễn phí không hỗ trợ công cụ. Ví dụ, AI Horde bỏ các công cụ và trả lời như chat thông thường.
Cùng một mô hình trong suốt tác vụ: FreeLLMAPI giữ một cuộc hội thoại trên một mô hình trong 30 phút. Một vòng lặp gọi công cụ thường ở trên một mô hình. Nếu một giới hạn buộc phải đổi, mô hình tiếp theo nhận toàn bộ lịch sử tin nhắn, kể cả kết quả công cụ.

Khắc phục sự cố

Vấn đềNguyên nhânCách khắc phục
Mô hình trả lời bằng văn bản và không gọi công cụ nàoMô hình yếu về công cụ, hoặc mô tả chưa rõGhim một mô hình mạnh hơn từ bảng, hoặc cải thiện mô tả công cụ
json.JSONDecodeError ở các đối sốMô hình đã gửi JSON không hợp lệBắt lỗi và gửi lại như kết quả công cụ, để mô hình thử lại
Lỗi 400 về một tin nhắn công cụtool_call_id không khớp, hoặc thiếu tin nhắn assistantThêm tin nhắn assistant trước, rồi một tin nhắn công cụ cho mỗi lệnh gọi
Lỗi 429 trong tác vụ agentVòng lặp gửi nhiều yêu cầu lớnThêm khóa nhà cung cấp, và gửi ít công cụ hơn
Vòng lặp không dừngMô hình gọi cùng một công cụ lạiĐặt giới hạn số vòng, và trả về kết quả rõ ràng
Dùng tất cả các mô hình này qua một khóa duy nhất. FreeLLMAPI là bộ định tuyến mã nguồn mở, tự lưu trữ. Nó đặt tất cả các gói miễn phí này sau một endpoint duy nhất tương thích OpenAI, và tự chuyển sang nhà cung cấp khác khi một nhà cung cấp bị giới hạn tốc độ. Xem danh mục hoặc bắt đầu.

Câu hỏi thường gặp

Những API LLM miễn phí nào hỗ trợ function calling?

Gemini, Groq, Cerebras, Mistral, OpenRouter, Cloudflare và các nhà cung cấp khác có mô hình miễn phí hỗ trợ gọi công cụ. Danh mục FreeLLMAPI hiện có 190 mô hình miễn phí hỗ trợ công cụ.

Gọi công cụ có giống function calling không?

Có. OpenAI dùng tên function calling trước. API hiện tại dùng tools và tool_calls. Cả hai tên đều có nghĩa rằng mô hình yêu cầu mã của bạn chạy một hàm.

Gọi công cụ của Gemini có hoạt động với định dạng OpenAI không?

Có, qua FreeLLMAPI. Gateway dịch các tools của OpenAI thành functionDeclarations của Gemini, và dịch câu trả lời ngược lại thành tool_calls của OpenAI.

Tôi có thể stream các lệnh gọi công cụ không?

Có. Với stream=True, bạn nhận các khối delta.tool_calls và finish_reason cuối cùng là tool_calls. Ghép các khối đối số lại trước khi phân tích chúng.

Hướng dẫn liên quan

Nguồn

Tất cả hướng dẫn · Xem tất cả mô hình miễn phí