Beranda / Panduan / Free LLM API dengan function calling

Free LLM API dengan function calling

Function calling, atau tool calling, memungkinkan LLM meminta kode Anda menjalankan sebuah fungsi. Agent, bot chat dengan data langsung, dan ekstraksi terstruktur semuanya menggunakannya. Katalog FreeLLMAPI memiliki 190 penawaran model gratis dengan tool calling. Anda mengirim tools gaya OpenAI, dan gateway menerjemahkannya untuk setiap penyedia.

Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.

Cara kerja tool calling melalui FreeLLMAPI

  1. Anda mengirim pesan dan daftar tools. Setiap tool memiliki nama, deskripsi, dan JSON Schema untuk parameternya.
  2. Model menjawab dengan tool_calls dan finish_reason: "tool_calls". Model tidak menjalankan apa pun sendiri.
  3. Kode Anda menjalankan fungsi dan menambahkan hasilnya sebagai pesan dengan role: "tool".
  4. Anda mengirim percakapan lagi. Model menggunakan hasil tersebut untuk menulis jawaban akhir.

Penyedia yang kompatibel dengan OpenAI, seperti Groq, Cerebras, Mistral, OpenRouter, dan Cloudflare, menerima permintaan apa adanya. Untuk Gemini, FreeLLMAPI menerjemahkan tool ke format functionDeclarations milik Google dan menerjemahkan jawabannya kembali. Kode Anda sama untuk setiap penyedia.

Beberapa model menulis panggilan tool sebagai teks biasa dan bukan sebagai panggilan tool yang sebenarnya. FreeLLMAPI mendeteksinya dan mengubahnya menjadi tool_calls yang sebenarnya.

Model gratis dengan tool calling saat ini

Tabel menunjukkan model gratis terkuat dengan tool calling. Datanya berasal dari katalog langsung. Untuk agent, periksa juga ukuran konteks, karena definisi tool dan hasilnya menggunakan banyak token.

Model gratis dengan tool calling, dari yang terkuat
ModelGratis diKonteksBatas gratis (penawaran terbaik)AlatPemrosesan gambar
GLM 5.3UnoRouter1M1 permintaan/menit
1 req/min per model
YaTidak
Qwen3.8 MaxACLIDE-€20/month shared internal usage credits · no cardYaTidak
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 permintaan/menit
40 RPM
YaYa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaYaYa
Gemini Flash (latest alias)Google AI Studio-10 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceYaTidak
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditYaYa
Gemini 3.7 FlashGoogle AI Studio1M10 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditYaYa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 permintaan/menit
50 permintaan/hari
50 req/day account-wide (1,000 after a $10 purchase)
YaYa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 permintaan/menit
50 permintaan/hari
Shared rate limit
YaTidak
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 permintaan/menit
250 permintaan/hari
70,000 token/menit
~6M
YaYa
Gemini 3.6 FlashGoogle AI Studio1M10 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayYaYa
Gemini 3.5 FlashGoogle AI Studio1M10 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa

Menampilkan 15 dari 146 model gratis yang cocok. Lihat semua model.

Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.

Langkah 1: Pasang FreeLLMAPI dan tambahkan kunci

FreeLLMAPI bersifat open source. Aplikasi ini berjalan di komputer Anda melalui Docker. Kunci penyedia Anda tetap berada di komputer Anda.

Pasang (macOS atau Linux)

curl -fsSL https://freellmapi.co/install.sh | bash

Buka dashboard di http://localhost:3001. Tambahkan kunci dari tiga penyedia atau lebih di halaman Keys. Satu loop tool mengirim beberapa permintaan untuk satu tugas, sehingga lebih banyak kunci memberi lebih banyak ruang. Salin kunci terpadu Anda dari halaman yang sama.

Langkah 2: Jalankan loop tool yang lengkap

curl: permintaan pertama

curl http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "What is the weather in Karachi?"}],
    "tools": [{
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
          "type": "object",
          "properties": {"city": {"type": "string"}},
          "required": ["city"]
        }
      }
    }]
  }'

Python: ulangi sampai model memberi jawaban akhir

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 32, "condition": "sunny"}  # call a real API here

FUNCS = {"get_weather": get_weather}
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
messages = [{"role": "user", "content": "What is the weather in Karachi and Lahore?"}]

for _ in range(5):  # stop after 5 rounds
    msg = client.chat.completions.create(model="auto", messages=messages, tools=tools).choices[0].message
    if not msg.tool_calls:
        print(msg.content)
        break
    messages.append(msg)
    for call in msg.tool_calls:
        try:
            args = json.loads(call.function.arguments or "{}")
            result = FUNCS[call.function.name](**args)
        except Exception as exc:  # bad JSON, unknown tool or wrong arguments
            result = {"error": str(exc)}
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})

Tool calling juga berfungsi dengan stream=True. Anda menerima potongan delta.tool_calls, lalu potongan akhir dengan finish_reason: "tool_calls". Gabungkan potongan argumen sebelum Anda mengurai JSON.

Gunakan tool untuk mendapatkan data terstruktur

Tool calling juga merupakan cara yang baik untuk mendapatkan data dalam bentuk tetap. Definisikan satu tool yang parameternya adalah kolom yang Anda inginkan. Atur tool_choice ke "required", sehingga model harus memanggil tool. Kemudian baca argumennya. Anda tidak perlu menjalankan fungsi apa pun.

Python: ekstrak kolom dengan panggilan tool yang wajib

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
schema = {
    "type": "function",
    "function": {
        "name": "save_contact",
        "description": "Save one contact found in the text.",
        "parameters": {
            "type": "object",
            "properties": {"name": {"type": "string"}, "email": {"type": "string"}},
            "required": ["name", "email"],
        },
    },
}
resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Reach Sara Khan at [email protected]."}],
    tools=[schema],
    tool_choice="required",
)
print(json.loads(resp.choices[0].message.tool_calls[0].function.arguments))

Validasi argumen dengan kode Anda sendiri. Model dapat melewatkan kolom yang wajib atau mengirim tipe yang salah. Jika pemeriksaan gagal, kirim error kembali dan minta lagi.

Keamanan: jangan jalankan panggilan tool dengan efek samping, seperti pembayaran, email, atau penghapusan file, tanpa pemeriksaan. Minta pengguna mengonfirmasi tindakan ini terlebih dahulu.

Jebakan

  • Argumen berupa string: function.arguments adalah string JSON. Urai, dan tangkap error. Model kecil terkadang mengirim JSON yang tidak valid.
  • Cocokkan ID: setiap pesan tool memerlukan tool_call_id dari panggilannya. Tambahkan pesan assistant dengan tool_calls sebelum pesan tool.
  • Beberapa panggilan sekaligus: model dapat mengembalikan lebih dari satu panggilan tool dalam satu jawaban. Jalankan semuanya, lalu kirim semua hasilnya.
  • Biaya token: setiap definisi tool dikirim dengan setiap permintaan. Dua puluh tool besar dapat menggunakan ribuan token dan cepat mencapai batas token per menit yang rendah. Kirim hanya tool yang dibutuhkan tugas.
  • Deskripsi yang jelas: model memilih tool dari nama dan deskripsinya. Tulis satu kalimat singkat yang menyatakan apa yang dilakukan tool dan kapan menggunakannya.
  • Hentikan loop: atur jumlah putaran maksimum. Model yang lemah dapat memanggil tool yang sama berulang kali.
  • Model tanpa tool: beberapa penyedia gratis tidak mendukung tool. Misalnya, AI Horde menghapus tool dan menjawab sebagai chat biasa.
Model yang sama selama tugas: FreeLLMAPI mempertahankan percakapan pada satu model selama 30 menit. Loop tool biasanya tetap pada satu model. Jika batas memaksa perubahan, model berikutnya menerima seluruh riwayat pesan, termasuk hasil tool.

Pemecahan masalah

MasalahPenyebabSolusi
Model menjawab dengan teks dan tidak memanggil toolModel lemah dalam tool, atau deskripsinya tidak jelasTetapkan model yang lebih kuat dari tabel, atau perbaiki deskripsi tool
json.JSONDecodeError pada argumenModel mengirim JSON yang tidak validTangkap error dan kirim kembali sebagai hasil tool, sehingga model dapat mencoba lagi
Error 400 tentang pesan tooltool_call_id tidak cocok, atau pesan assistant tidak adaTambahkan pesan assistant terlebih dahulu, lalu satu pesan tool untuk setiap panggilan
Error 429 selama tugas agentLoop mengirim banyak permintaan besarTambahkan lebih banyak kunci penyedia, dan kirim lebih sedikit tool
Loop tidak berhentiModel memanggil tool yang sama lagiAtur batas putaran, dan kembalikan hasil yang jelas
Gunakan semua ini melalui satu kunci. FreeLLMAPI adalah router sumber terbuka yang Anda hosting sendiri. Router ini menempatkan semua paket gratis ini di balik satu endpoint yang kompatibel dengan OpenAI, dan beralih ke penyedia lain saat batas permintaan tercapai. Lihat katalog atau mulai.

Pertanyaan yang sering diajukan

Free LLM API mana yang mendukung function calling?

Gemini, Groq, Cerebras, Mistral, OpenRouter, Cloudflare, dan penyedia lain memiliki model gratis dengan tool calling. Katalog FreeLLMAPI memiliki 190 penawaran model gratis dengan tool saat ini.

Apakah tool calling sama dengan function calling?

Ya. OpenAI pertama kali menggunakan nama function calling. API saat ini menggunakan tools dan tool_calls. Kedua nama tersebut berarti bahwa model meminta kode Anda menjalankan sebuah fungsi.

Apakah tool calling Gemini berfungsi dengan format OpenAI?

Ya, melalui FreeLLMAPI. Gateway menerjemahkan tool OpenAI menjadi functionDeclarations Gemini dan menerjemahkan jawaban kembali menjadi tool_calls OpenAI.

Bisakah saya melakukan streaming panggilan tool?

Bisa. Dengan stream=True, Anda menerima potongan delta.tool_calls dan finish_reason akhir berupa tool_calls. Gabungkan potongan argumen sebelum Anda mengurainya.

Panduan terkait

Sumber

Semua panduan · Lihat semua model gratis