Beranda / Panduan / API LLM gratis untuk agen AI

API LLM gratis untuk agen AI

Agen AI mengirim banyak permintaan model untuk satu tugas. Setiap langkah membutuhkan tool calling dan konteks yang besar. Satu tier gratis dapat menghentikan agen dengan cepat. FreeLLMAPI menggabungkan 45 tier penyedia gratis di balik satu kunci yang kompatibel dengan OpenAI. Jika batas menghentikan sebuah permintaan, sistem pindah ke penyedia berikutnya, sehingga agen dapat terus berjalan. Panduan ini membahas tool calling, routing per langkah, sesi panjang, dan server MCP dari router.

Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.

Yang dibutuhkan agen dari API gratis

KebutuhanAlasanYang dilakukan FreeLLMAPI
Tool callingAgen memilih dan menjalankan toolMeneruskan tools bergaya OpenAI ke setiap penyedia. Mengubah panggilan tool teks biasa menjadi tool_calls yang sebenarnya.
Banyak permintaanSatu tugas dapat memakan 20 sampai 100 langkahMenghitung kuota setiap kunci dan pindah ke kunci atau penyedia berikutnya saat terjadi 429
Konteks besarHasil tool dan riwayat bertambah pada setiap langkahMerutekan ke model dari rantai Anda. Anda dapat membuat profil konteks panjang.
Perilaku stabilPergantian model di tengah tugas dapat membingungkan agenMenjaga sesi tetap pada satu model selama 30 menit. Context handoff opsional saat pergantian terjadi.
VisibilitasAnda harus tahu model mana yang gagalHeader X-Routed-Via dan X-Fallback-Trail pada setiap respons

Tier gratis memiliki batas. Failover membagi beban ke kunci Anda, tetapi totalnya tetap jumlah dari batas gratis. Tambahkan kunci dari empat penyedia atau lebih untuk pekerjaan agen.

Model gratis dengan tool calling dan konteks 128K+
ModelGratis diKonteksBatas gratis (penawaran terbaik)AlatPemrosesan gambar
GLM 5.3UnoRouter1M1 permintaan/menit
1 req/min per model
YaTidak
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 permintaan/menit
40 RPM
YaYa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaYaYa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceYaTidak
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditYaYa
Gemini 3.7 FlashGoogle AI Studio1M10 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditYaYa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 permintaan/menit
50 permintaan/hari
50 req/day account-wide (1,000 after a $10 purchase)
YaYa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 permintaan/menit
50 permintaan/hari
Shared rate limit
YaTidak
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 permintaan/menit
250 permintaan/hari
70,000 token/menit
~6M
YaYa
Gemini 3.6 FlashGoogle AI Studio1M10 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayYaYa

Menampilkan 12 dari 109 model gratis yang cocok. Lihat semua model.

Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.

Loop agen lengkap dengan Python

Loop di bawah ini menggunakan SDK OpenAI resmi. Loop mengirim tools, menjalankan setiap panggilan tool, mengirim hasilnya kembali, dan berhenti saat model memberikan jawaban akhir. Loop juga berhenti setelah jumlah langkah maksimum.

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: menjaga semua langkah dari satu tugas tetap pada model yang sama selama model itu masih memiliki kuota.
  • Retry-After: saat semua kunci mencapai batasnya, gateway mengembalikan 429 dengan header ini. Loop menunggu lalu mencoba lagi.
  • Error tool: loop mengirim error kembali ke model sebagai hasil tool. Model kemudian dapat memperbaiki panggilannya.

Arahkan setiap langkah ke model yang tepat

Langkah agen tidak sama. Langkah perencanaan membutuhkan model yang kuat. Langkah yang hanya mengekstrak satu field membutuhkan model yang cepat. Gunakan string model yang berbeda untuk setiap jenis langkah. Anda tidak perlu mengubah dasbor.

String modelPeringkat berdasarkanPenggunaan untuk agen
auto:smartKecerdasanPerencanaan, pemilihan tool, jawaban akhir
auto:fastKecepatan terukur dan time to first byteEkstraksi, klasifikasi, dan ringkasan singkat dari output tool
auto:reliableTingkat keberhasilan terbaruAgen terjadwal yang harus selesai
auto:balancedKeandalan dulu, lalu kecepatan dan kecerdasanBawaan umum
auto:<profile>Rantai cadangan bernama AndaRantai yang hanya berisi model tool-calling

Strategi auto:* memberi peringkat setiap model yang aktif dan mengabaikan urutan rantai Anda. Permintaan dengan tool tetap membutuhkan model yang mendukung tool calling. Jika beberapa model yang aktif tidak mendukung tool dengan baik, buat profil yang hanya berisi model tool-calling. Lalu gunakan auto:<profile> untuk langkah tool. Nama profil yang tidak dikenal mengembalikan error 400.

Header X-FreeLLM-Task-Type: code memindahkan bobot routing dari kecepatan ke kecerdasan untuk satu permintaan. Ini adalah preferensi lunak. Header ini tidak mengubah pemeriksaan kapabilitas atau rantai cadangan.

Sesi agen panjang dan pergantian model

Selama tugas panjang, sebuah model dapat mencapai batas hariannya. Router kemudian pindah ke model lain. Model baru menerima seluruh riwayat pesan, tetapi tidak tahu bahwa model lain telah mengerjakan langkah sebelumnya.

Aktifkan context handoff untuk menambahkan satu pesan sistem pendek saat model berganti. Pesan itu meminta model baru untuk melanjutkan tugas dan mempertahankan hasil tool sebelumnya.

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • Pesan handoff hanya ditambahkan saat model yang dipilih berganti untuk sebuah sesi.
  • Sesi disimpan di memori selama 3 jam. Tidak ada yang ditulis ke disk.
  • Kunci sesi adalah header X-Session-Id. Tanpa header ini, kunci berupa hash dari pesan pengguna pertama.

Gunakan router sebagai server MCP

FreeLLMAPI juga merupakan server MCP di /mcp. Agen yang mendukung MCP dapat mengirim tugas teks ke model FreeLLMAPI. Agen juga dapat membaca status gateway selama sesi: model yang dapat digunakan beserta parameternya, kesehatan penyedia, statistik penggunaan dan cache, serta strategi routing.

Permukaan MCP nonaktif pada instalasi baru. Aktifkan di dasbor, pada halaman Keys, di bawah Agent compatibility. Selama nonaktif, /mcp mengembalikan 403.

Tambahkan server MCP ke Claude Code

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Klien MCP apa pun dengan Streamable HTTP bekerja dengan cara yang sama. Arahkan ke /mcp dan kirim kunci terpadu sebagai Bearer token. Tool yang berguna termasuk healthcheck, list_models, dan ask_freellmapi. Tool ask_freellmapi menjalankan tugas melalui rute chat yang sama dengan API, termasuk routing dan fallback.

Untuk agen pemrograman, FreeLLMAPI memiliki perintah pengaturan yang menulis konfigurasi klien untuk Anda. Contohnya adalah npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw, dan setup-hermes. Setiap perintah mendukung --dry-run dan membuat cadangan terlebih dahulu.

Pemecahan masalah

MasalahPenyebabSolusi
Model menjawab dengan teks dan tidak memanggil toolModel memiliki tool calling yang lemahGunakan auto:<profile> dengan model tool-calling saja
Agen memulai ulang tugas di tengah jalanSebuah batas memaksa pergantian modelKirim X-Session-Id dan aktifkan context handoff
Error 429 setelah banyak langkahSemua kunci dalam rantai mencapai batasnyaTambahkan penyedia, gunakan auto:fast untuk langkah kecil, dan tunggu Retry-After
Error 400 dengan auto:nameProfil tidak adaPeriksa nama profil di dasbor
/mcp mengembalikan 403Permukaan MCP nonaktifAktifkan di bawah Agent compatibility pada halaman Keys
Error panjang konteks di akhir tugasRiwayat lebih besar dari jendela konteks modelRingkas hasil tool lama atau gunakan profil konteks panjang
Gunakan semua ini melalui satu kunci. FreeLLMAPI adalah router sumber terbuka yang Anda hosting sendiri. Router ini menempatkan semua paket gratis ini di balik satu endpoint yang kompatibel dengan OpenAI, dan beralih ke penyedia lain saat batas permintaan tercapai. Lihat katalog atau mulai.

Pertanyaan yang sering diajukan

Apakah ada API LLM gratis untuk agen AI?

Ada. Beberapa penyedia memiliki tier gratis dengan tool calling. FreeLLMAPI menggabungkannya di balik satu kunci yang kompatibel dengan OpenAI, dan pindah ke penyedia berikutnya saat batas menghentikan sebuah permintaan.

LLM gratis mana yang terbaik untuk tool calling?

Gunakan model dengan tool calling dan jendela konteks 128K token atau lebih. Tabel di halaman ini menunjukkan model gratis terkuat yang memenuhi kedua aturan tersebut saat ini.

Bisakah saya menggunakan FreeLLMAPI sebagai server MCP?

Bisa. Aktifkan permukaan MCP di halaman Keys, pada bagian Agent compatibility. Lalu hubungkan klien MCP Anda ke /mcp dengan kunci terpadu sebagai Bearer token.

Bagaimana cara mencegah agen gagal karena rate limit?

Tambahkan kunci dari lebih banyak penyedia, kirim langkah kecil ke auto:fast, coba lagi saat 429 dengan header Retry-After, dan atur jumlah langkah maksimum.

Apa yang terjadi saat model berganti di tengah tugas agen?

Model baru menerima seluruh riwayat pesan. Jika context handoff aktif, model itu juga menerima catatan singkat yang memintanya untuk melanjutkan tugas.

Panduan terkait

Sumber

Semua panduan · Lihat semua model gratis