API LLM gratis untuk agen AI
Agen AI mengirim banyak permintaan model untuk satu tugas. Setiap langkah membutuhkan tool calling dan konteks yang besar. Satu tier gratis dapat menghentikan agen dengan cepat. FreeLLMAPI menggabungkan 45 tier penyedia gratis di balik satu kunci yang kompatibel dengan OpenAI. Jika batas menghentikan sebuah permintaan, sistem pindah ke penyedia berikutnya, sehingga agen dapat terus berjalan. Panduan ini membahas tool calling, routing per langkah, sesi panjang, dan server MCP dari router.
Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.
Yang dibutuhkan agen dari API gratis
| Kebutuhan | Alasan | Yang dilakukan FreeLLMAPI |
|---|---|---|
| Tool calling | Agen memilih dan menjalankan tool | Meneruskan tools bergaya OpenAI ke setiap penyedia. Mengubah panggilan tool teks biasa menjadi tool_calls yang sebenarnya. |
| Banyak permintaan | Satu tugas dapat memakan 20 sampai 100 langkah | Menghitung kuota setiap kunci dan pindah ke kunci atau penyedia berikutnya saat terjadi 429 |
| Konteks besar | Hasil tool dan riwayat bertambah pada setiap langkah | Merutekan ke model dari rantai Anda. Anda dapat membuat profil konteks panjang. |
| Perilaku stabil | Pergantian model di tengah tugas dapat membingungkan agen | Menjaga sesi tetap pada satu model selama 30 menit. Context handoff opsional saat pergantian terjadi. |
| Visibilitas | Anda harus tahu model mana yang gagal | Header X-Routed-Via dan X-Fallback-Trail pada setiap respons |
Tier gratis memiliki batas. Failover membagi beban ke kunci Anda, tetapi totalnya tetap jumlah dari batas gratis. Tambahkan kunci dari empat penyedia atau lebih untuk pekerjaan agen.
| Model | Gratis di | Konteks | Batas gratis (penawaran terbaik) | Alat | Pemrosesan gambar |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 permintaan/menit 1 req/min per model | Ya | Tidak |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 permintaan/menit 40 RPM | Ya | Ya |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ya | Ya |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ya | Tidak |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 permintaan/menit 50 permintaan/hari 50 req/day account-wide (1,000 after a $10 purchase) | Ya | Ya |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 permintaan/menit 50 permintaan/hari Shared rate limit | Ya | Tidak |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 permintaan/menit 250 permintaan/hari 70,000 token/menit ~6M | Ya | Ya |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | Ya | Ya |
Menampilkan 12 dari 109 model gratis yang cocok. Lihat semua model.
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
Loop agen lengkap dengan Python
Loop di bawah ini menggunakan SDK OpenAI resmi. Loop mengirim tools, menjalankan setiap panggilan tool, mengirim hasilnya kembali, dan berhenti saat model memberikan jawaban akhir. Loop juga berhenti setelah jumlah langkah maksimum.
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: menjaga semua langkah dari satu tugas tetap pada model yang sama selama model itu masih memiliki kuota.
- Retry-After: saat semua kunci mencapai batasnya, gateway mengembalikan 429 dengan header ini. Loop menunggu lalu mencoba lagi.
- Error tool: loop mengirim error kembali ke model sebagai hasil tool. Model kemudian dapat memperbaiki panggilannya.
Arahkan setiap langkah ke model yang tepat
Langkah agen tidak sama. Langkah perencanaan membutuhkan model yang kuat. Langkah yang hanya mengekstrak satu field membutuhkan model yang cepat. Gunakan string model yang berbeda untuk setiap jenis langkah. Anda tidak perlu mengubah dasbor.
| String model | Peringkat berdasarkan | Penggunaan untuk agen |
|---|---|---|
auto:smart | Kecerdasan | Perencanaan, pemilihan tool, jawaban akhir |
auto:fast | Kecepatan terukur dan time to first byte | Ekstraksi, klasifikasi, dan ringkasan singkat dari output tool |
auto:reliable | Tingkat keberhasilan terbaru | Agen terjadwal yang harus selesai |
auto:balanced | Keandalan dulu, lalu kecepatan dan kecerdasan | Bawaan umum |
auto:<profile> | Rantai cadangan bernama Anda | Rantai yang hanya berisi model tool-calling |
Strategi auto:* memberi peringkat setiap model yang aktif dan mengabaikan urutan rantai Anda. Permintaan dengan tool tetap membutuhkan model yang mendukung tool calling. Jika beberapa model yang aktif tidak mendukung tool dengan baik, buat profil yang hanya berisi model tool-calling. Lalu gunakan auto:<profile> untuk langkah tool. Nama profil yang tidak dikenal mengembalikan error 400.
Header X-FreeLLM-Task-Type: code memindahkan bobot routing dari kecepatan ke kecerdasan untuk satu permintaan. Ini adalah preferensi lunak. Header ini tidak mengubah pemeriksaan kapabilitas atau rantai cadangan.
Sesi agen panjang dan pergantian model
Selama tugas panjang, sebuah model dapat mencapai batas hariannya. Router kemudian pindah ke model lain. Model baru menerima seluruh riwayat pesan, tetapi tidak tahu bahwa model lain telah mengerjakan langkah sebelumnya.
Aktifkan context handoff untuk menambahkan satu pesan sistem pendek saat model berganti. Pesan itu meminta model baru untuk melanjutkan tugas dan mempertahankan hasil tool sebelumnya.
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- Pesan handoff hanya ditambahkan saat model yang dipilih berganti untuk sebuah sesi.
- Sesi disimpan di memori selama 3 jam. Tidak ada yang ditulis ke disk.
- Kunci sesi adalah header
X-Session-Id. Tanpa header ini, kunci berupa hash dari pesan pengguna pertama.
Gunakan router sebagai server MCP
FreeLLMAPI juga merupakan server MCP di /mcp. Agen yang mendukung MCP dapat mengirim tugas teks ke model FreeLLMAPI. Agen juga dapat membaca status gateway selama sesi: model yang dapat digunakan beserta parameternya, kesehatan penyedia, statistik penggunaan dan cache, serta strategi routing.
Permukaan MCP nonaktif pada instalasi baru. Aktifkan di dasbor, pada halaman Keys, di bawah Agent compatibility. Selama nonaktif, /mcp mengembalikan 403.
Tambahkan server MCP ke Claude Code
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Klien MCP apa pun dengan Streamable HTTP bekerja dengan cara yang sama. Arahkan ke /mcp dan kirim kunci terpadu sebagai Bearer token. Tool yang berguna termasuk healthcheck, list_models, dan ask_freellmapi. Tool ask_freellmapi menjalankan tugas melalui rute chat yang sama dengan API, termasuk routing dan fallback.
Untuk agen pemrograman, FreeLLMAPI memiliki perintah pengaturan yang menulis konfigurasi klien untuk Anda. Contohnya adalah npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw, dan setup-hermes. Setiap perintah mendukung --dry-run dan membuat cadangan terlebih dahulu.
Pemecahan masalah
| Masalah | Penyebab | Solusi |
|---|---|---|
| Model menjawab dengan teks dan tidak memanggil tool | Model memiliki tool calling yang lemah | Gunakan auto:<profile> dengan model tool-calling saja |
| Agen memulai ulang tugas di tengah jalan | Sebuah batas memaksa pergantian model | Kirim X-Session-Id dan aktifkan context handoff |
| Error 429 setelah banyak langkah | Semua kunci dalam rantai mencapai batasnya | Tambahkan penyedia, gunakan auto:fast untuk langkah kecil, dan tunggu Retry-After |
Error 400 dengan auto:name | Profil tidak ada | Periksa nama profil di dasbor |
/mcp mengembalikan 403 | Permukaan MCP nonaktif | Aktifkan di bawah Agent compatibility pada halaman Keys |
| Error panjang konteks di akhir tugas | Riwayat lebih besar dari jendela konteks model | Ringkas hasil tool lama atau gunakan profil konteks panjang |
Pertanyaan yang sering diajukan
Apakah ada API LLM gratis untuk agen AI?
Ada. Beberapa penyedia memiliki tier gratis dengan tool calling. FreeLLMAPI menggabungkannya di balik satu kunci yang kompatibel dengan OpenAI, dan pindah ke penyedia berikutnya saat batas menghentikan sebuah permintaan.
LLM gratis mana yang terbaik untuk tool calling?
Gunakan model dengan tool calling dan jendela konteks 128K token atau lebih. Tabel di halaman ini menunjukkan model gratis terkuat yang memenuhi kedua aturan tersebut saat ini.
Bisakah saya menggunakan FreeLLMAPI sebagai server MCP?
Bisa. Aktifkan permukaan MCP di halaman Keys, pada bagian Agent compatibility. Lalu hubungkan klien MCP Anda ke /mcp dengan kunci terpadu sebagai Bearer token.
Bagaimana cara mencegah agen gagal karena rate limit?
Tambahkan kunci dari lebih banyak penyedia, kirim langkah kecil ke auto:fast, coba lagi saat 429 dengan header Retry-After, dan atur jumlah langkah maksimum.
Apa yang terjadi saat model berganti di tengah tugas agen?
Model baru menerima seluruh riwayat pesan. Jika context handoff aktif, model itu juga menerima catatan singkat yang memintanya untuk melanjutkan tugas.
Panduan terkait
- Free LLM API dengan function calling
- API LLM gratis di Python
- Free LLM API untuk LangChain
- Free LLM API untuk n8n
- Cara memakai Claude Code secara gratis
- Batas rate limit API LLM gratis
Sumber
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (diperiksa 20 November 2026)
- FreeLLMAPI docs: clients, MCP server and context handoff (diperiksa 20 November 2026)
- OpenAI Python SDK: errors and retries (diperiksa 20 November 2026)
- Claude Code docs: MCP (diperiksa 20 November 2026)