Free LLM API dengan function calling
Function calling, atau tool calling, memungkinkan LLM meminta kode Anda menjalankan sebuah fungsi. Agent, bot chat dengan data langsung, dan ekstraksi terstruktur semuanya menggunakannya. Katalog FreeLLMAPI memiliki 190 penawaran model gratis dengan tool calling. Anda mengirim tools gaya OpenAI, dan gateway menerjemahkannya untuk setiap penyedia.
Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.
Cara kerja tool calling melalui FreeLLMAPI
- Anda mengirim pesan dan daftar
tools. Setiap tool memiliki nama, deskripsi, dan JSON Schema untuk parameternya. - Model menjawab dengan
tool_callsdanfinish_reason: "tool_calls". Model tidak menjalankan apa pun sendiri. - Kode Anda menjalankan fungsi dan menambahkan hasilnya sebagai pesan dengan
role: "tool". - Anda mengirim percakapan lagi. Model menggunakan hasil tersebut untuk menulis jawaban akhir.
Penyedia yang kompatibel dengan OpenAI, seperti Groq, Cerebras, Mistral, OpenRouter, dan Cloudflare, menerima permintaan apa adanya. Untuk Gemini, FreeLLMAPI menerjemahkan tool ke format functionDeclarations milik Google dan menerjemahkan jawabannya kembali. Kode Anda sama untuk setiap penyedia.
Beberapa model menulis panggilan tool sebagai teks biasa dan bukan sebagai panggilan tool yang sebenarnya. FreeLLMAPI mendeteksinya dan mengubahnya menjadi tool_calls yang sebenarnya.
Model gratis dengan tool calling saat ini
Tabel menunjukkan model gratis terkuat dengan tool calling. Datanya berasal dari katalog langsung. Untuk agent, periksa juga ukuran konteks, karena definisi tool dan hasilnya menggunakan banyak token.
| Model | Gratis di | Konteks | Batas gratis (penawaran terbaik) | Alat | Pemrosesan gambar |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 permintaan/menit 1 req/min per model | Ya | Tidak |
| Qwen3.8 Max | ACLIDE | - | €20/month shared internal usage credits · no card | Ya | Tidak |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 permintaan/menit 40 RPM | Ya | Ya |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ya | Ya |
| Gemini Flash (latest alias) | Google AI Studio | - | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ya | Tidak |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 permintaan/menit 50 permintaan/hari 50 req/day account-wide (1,000 after a $10 purchase) | Ya | Ya |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 permintaan/menit 50 permintaan/hari Shared rate limit | Ya | Tidak |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 permintaan/menit 250 permintaan/hari 70,000 token/menit ~6M | Ya | Ya |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | Ya | Ya |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
Menampilkan 15 dari 146 model gratis yang cocok. Lihat semua model.
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
Langkah 1: Pasang FreeLLMAPI dan tambahkan kunci
FreeLLMAPI bersifat open source. Aplikasi ini berjalan di komputer Anda melalui Docker. Kunci penyedia Anda tetap berada di komputer Anda.
Pasang (macOS atau Linux)
curl -fsSL https://freellmapi.co/install.sh | bashBuka dashboard di http://localhost:3001. Tambahkan kunci dari tiga penyedia atau lebih di halaman Keys. Satu loop tool mengirim beberapa permintaan untuk satu tugas, sehingga lebih banyak kunci memberi lebih banyak ruang. Salin kunci terpadu Anda dari halaman yang sama.
Langkah 2: Jalankan loop tool yang lengkap
curl: permintaan pertama
curl http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "What is the weather in Karachi?"}],
"tools": [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"]
}
}
}]
}'Python: ulangi sampai model memberi jawaban akhir
import json
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 32, "condition": "sunny"} # call a real API here
FUNCS = {"get_weather": get_weather}
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "What is the weather in Karachi and Lahore?"}]
for _ in range(5): # stop after 5 rounds
msg = client.chat.completions.create(model="auto", messages=messages, tools=tools).choices[0].message
if not msg.tool_calls:
print(msg.content)
break
messages.append(msg)
for call in msg.tool_calls:
try:
args = json.loads(call.function.arguments or "{}")
result = FUNCS[call.function.name](**args)
except Exception as exc: # bad JSON, unknown tool or wrong arguments
result = {"error": str(exc)}
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})Tool calling juga berfungsi dengan stream=True. Anda menerima potongan delta.tool_calls, lalu potongan akhir dengan finish_reason: "tool_calls". Gabungkan potongan argumen sebelum Anda mengurai JSON.
Gunakan tool untuk mendapatkan data terstruktur
Tool calling juga merupakan cara yang baik untuk mendapatkan data dalam bentuk tetap. Definisikan satu tool yang parameternya adalah kolom yang Anda inginkan. Atur tool_choice ke "required", sehingga model harus memanggil tool. Kemudian baca argumennya. Anda tidak perlu menjalankan fungsi apa pun.
Python: ekstrak kolom dengan panggilan tool yang wajib
import json
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
schema = {
"type": "function",
"function": {
"name": "save_contact",
"description": "Save one contact found in the text.",
"parameters": {
"type": "object",
"properties": {"name": {"type": "string"}, "email": {"type": "string"}},
"required": ["name", "email"],
},
},
}
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Reach Sara Khan at [email protected]."}],
tools=[schema],
tool_choice="required",
)
print(json.loads(resp.choices[0].message.tool_calls[0].function.arguments))Validasi argumen dengan kode Anda sendiri. Model dapat melewatkan kolom yang wajib atau mengirim tipe yang salah. Jika pemeriksaan gagal, kirim error kembali dan minta lagi.
Jebakan
- Argumen berupa string:
function.argumentsadalah string JSON. Urai, dan tangkap error. Model kecil terkadang mengirim JSON yang tidak valid. - Cocokkan ID: setiap pesan tool memerlukan
tool_call_iddari panggilannya. Tambahkan pesan assistant dengantool_callssebelum pesan tool. - Beberapa panggilan sekaligus: model dapat mengembalikan lebih dari satu panggilan tool dalam satu jawaban. Jalankan semuanya, lalu kirim semua hasilnya.
- Biaya token: setiap definisi tool dikirim dengan setiap permintaan. Dua puluh tool besar dapat menggunakan ribuan token dan cepat mencapai batas token per menit yang rendah. Kirim hanya tool yang dibutuhkan tugas.
- Deskripsi yang jelas: model memilih tool dari nama dan deskripsinya. Tulis satu kalimat singkat yang menyatakan apa yang dilakukan tool dan kapan menggunakannya.
- Hentikan loop: atur jumlah putaran maksimum. Model yang lemah dapat memanggil tool yang sama berulang kali.
- Model tanpa tool: beberapa penyedia gratis tidak mendukung tool. Misalnya, AI Horde menghapus tool dan menjawab sebagai chat biasa.
Pemecahan masalah
| Masalah | Penyebab | Solusi |
|---|---|---|
| Model menjawab dengan teks dan tidak memanggil tool | Model lemah dalam tool, atau deskripsinya tidak jelas | Tetapkan model yang lebih kuat dari tabel, atau perbaiki deskripsi tool |
json.JSONDecodeError pada argumen | Model mengirim JSON yang tidak valid | Tangkap error dan kirim kembali sebagai hasil tool, sehingga model dapat mencoba lagi |
| Error 400 tentang pesan tool | tool_call_id tidak cocok, atau pesan assistant tidak ada | Tambahkan pesan assistant terlebih dahulu, lalu satu pesan tool untuk setiap panggilan |
| Error 429 selama tugas agent | Loop mengirim banyak permintaan besar | Tambahkan lebih banyak kunci penyedia, dan kirim lebih sedikit tool |
| Loop tidak berhenti | Model memanggil tool yang sama lagi | Atur batas putaran, dan kembalikan hasil yang jelas |
Pertanyaan yang sering diajukan
Free LLM API mana yang mendukung function calling?
Gemini, Groq, Cerebras, Mistral, OpenRouter, Cloudflare, dan penyedia lain memiliki model gratis dengan tool calling. Katalog FreeLLMAPI memiliki 190 penawaran model gratis dengan tool saat ini.
Apakah tool calling sama dengan function calling?
Ya. OpenAI pertama kali menggunakan nama function calling. API saat ini menggunakan tools dan tool_calls. Kedua nama tersebut berarti bahwa model meminta kode Anda menjalankan sebuah fungsi.
Apakah tool calling Gemini berfungsi dengan format OpenAI?
Ya, melalui FreeLLMAPI. Gateway menerjemahkan tool OpenAI menjadi functionDeclarations Gemini dan menerjemahkan jawaban kembali menjadi tool_calls OpenAI.
Bisakah saya melakukan streaming panggilan tool?
Bisa. Dengan stream=True, Anda menerima potongan delta.tool_calls dan finish_reason akhir berupa tool_calls. Gabungkan potongan argumen sebelum Anda mengurainya.
Panduan terkait
- API LLM gratis untuk agen AI
- API pencarian web gratis untuk agent AI
- API model coding gratis terbaik
- Free LLM API untuk LangChain
- API LLM gratis di Python
Sumber
- FreeLLMAPI docs: Tool calling (diperiksa 20 November 2026)
- FreeLLMAPI README: features (diperiksa 20 November 2026)
- OpenAI API reference: Chat Completions tools (diperiksa 20 November 2026)