Laman utama / Panduan / Free LLM API untuk ejen AI

Free LLM API untuk ejen AI

Ejen AI menghantar banyak permintaan model untuk satu tugas. Setiap langkah memerlukan panggilan alat dan konteks yang besar. Satu tier percuma menghentikan ejen dengan cepat. FreeLLMAPI menghimpunkan 45 tier percuma pembekal di sebalik satu kunci yang serasi dengan OpenAI. Ia beralih ke pembekal seterusnya apabila had menghentikan permintaan, supaya ejen boleh diteruskan. Panduan ini merangkumi panggilan alat, penghalaan setiap langkah, sesi yang panjang dan pelayan MCP get laluan.

Kod, nama model dan label katalog langsung dipaparkan dalam bahasa Inggeris.

Apa yang diperlukan ejen daripada API percuma

KeperluanSebabApa yang FreeLLMAPI lakukan
Panggilan alatEjen memilih dan menjalankan alatMenghantar tools gaya OpenAI kepada setiap pembekal. Menukar panggilan alat teks biasa kepada tool_calls sebenar.
Banyak permintaanSatu tugas boleh mengambil 20 hingga 100 langkahMengira kuota setiap kunci dan beralih ke kunci atau pembekal seterusnya apabila 429
Konteks besarHasil alat dan sejarah bertambah setiap langkahMenghalakan ke model dalam rantaian anda. Anda boleh membuat profil konteks panjang.
Kelakuan yang stabilPertukaran model di tengah tugas boleh mengelirukan ejenMengekalkan sesi pada satu model selama 30 minit. Pilihan pemindahan konteks apabila pertukaran berlaku.
KeterlihatanAnda mesti tahu model mana yang gagalPengepala X-Routed-Via dan X-Fallback-Trail pada setiap respons

Tier percuma mempunyai had. Failover mengagihkan beban merentasi kunci anda, tetapi jumlahnya tetap hasil tambah had percuma. Tambah kunci daripada empat pembekal atau lebih untuk kerja ejen.

Model percuma dengan panggilan alat dan konteks 128K+
ModelPercuma padaKonteksHad percuma (tawaran terbaik)AlatPenglihatan
GLM 5.3UnoRouter1M1 permintaan/minit
1 req/min per model
YaTidak
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 permintaan/minit
40 RPM
YaYa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaYaYa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceYaTidak
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditYaYa
Gemini 3.7 FlashGoogle AI Studio1M10 permintaan/minit
20 permintaan/hari
250,000 token/minit
~3M
YaYa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditYaYa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 permintaan/minit
50 permintaan/hari
50 req/day account-wide (1,000 after a $10 purchase)
YaYa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 permintaan/minit
50 permintaan/hari
Shared rate limit
YaTidak
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 permintaan/minit
250 permintaan/hari
70,000 token/minit
~6M
YaYa
Gemini 3.6 FlashGoogle AI Studio1M10 permintaan/minit
20 permintaan/hari
250,000 token/minit
~3M
YaYa
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayYaYa

Memaparkan 12 daripada 109 model percuma yang sepadan. Lihat semua model.

Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.

Gelung ejen lengkap dalam Python

Gelung di bawah menggunakan SDK OpenAI rasmi. Ia menghantar alat, menjalankan setiap panggilan alat, menghantar hasil kembali dan berhenti apabila model memberikan jawapan akhir. Ia juga berhenti selepas bilangan langkah maksimum.

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: mengekalkan semua langkah bagi satu tugas pada model yang sama selagi model itu mempunyai kuota.
  • Retry-After: apabila setiap kunci berada pada had, get laluan mengembalikan 429 dengan pengepala ini. Gelung menunggu dan mencuba semula.
  • Ralat alat: gelung menghantar ralat kepada model sebagai hasil alat. Model kemudian boleh membetulkan panggilannya.

Halakan setiap langkah ke model yang betul

Langkah ejen tidak sama. Langkah perancangan memerlukan model yang kuat. Langkah yang mengekstrak satu medan memerlukan model yang pantas. Gunakan rentetan model yang berbeza untuk setiap jenis langkah. Anda tidak perlu menukar papan pemuka.

Rentetan modelMenyusun model mengikutPenggunaan ejen
auto:smartKecerdasanPerancangan, pemilihan alat, jawapan akhir
auto:fastKelajuan diukur dan masa ke bait pertamaPengekstrakan, klasifikasi, ringkasan pendek bagi output alat
auto:reliableKadar kejayaan terkiniEjen berjadual yang mesti selesai
auto:balancedKebolehpercayaan dahulu, kemudian kelajuan dan kecerdasanLalai umum
auto:<profile>Rantaian sandaran bernama andaRantaian yang hanya mengandungi model panggilan alat

Strategi auto:* menyusun setiap model yang diaktifkan dan mengabaikan susunan rantaian anda. Permintaan dengan alat tetap memerlukan model yang mempunyai panggilan alat. Jika sesetengah model yang diaktifkan tidak menyokong alat dengan baik, buat profil yang hanya mengandungi model panggilan alat. Kemudian gunakan auto:<profile> untuk langkah alat. Nama profil yang tidak wujud mengembalikan ralat 400.

Pengepala X-FreeLLM-Task-Type: code mengalihkan pemberat penghalaan daripada kelajuan kepada kecerdasan untuk satu permintaan. Ia adalah pilihan yang lembut. Ia tidak mengubah semakan keupayaan atau rantaian sandaran.

Sesi ejen yang panjang dan pertukaran model

Semasa tugas yang panjang, model boleh mencapai had hariannya. Penghala kemudian beralih ke model lain. Model baharu menerima keseluruhan sejarah mesej, tetapi ia tidak tahu bahawa model lain melakukan langkah sebelumnya.

Hidupkan pemindahan konteks untuk menambah satu mesej sistem pendek apabila model bertukar. Mesej itu memberitahu model baharu supaya meneruskan tugas dan mengekalkan hasil alat sebelumnya.

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • Mesej pemindahan hanya ditambah apabila model yang dipilih bertukar untuk satu sesi.
  • Sesi disimpan dalam memori selama 3 jam. Tiada apa-apa ditulis ke cakera.
  • Kunci sesi ialah pengepala X-Session-Id. Tanpa pengepala ini, ia ialah cincang bagi mesej pengguna pertama.

Gunakan penghala sebagai pelayan MCP

FreeLLMAPI juga ialah pelayan MCP pada /mcp. Ejen yang menggunakan MCP boleh menghantar tugas teks kepada model FreeLLMAPI. Ia juga boleh membaca keadaan get laluan semasa sesi: model yang boleh digunakan dan parameternya, kesihatan pembekal, statistik penggunaan dan cache, serta strategi penghalaan.

Permukaan MCP dimatikan pada pemasangan baharu. Hidupkannya dalam papan pemuka pada halaman Keys, di bawah Agent compatibility. Semasa ia dimatikan, /mcp mengembalikan 403.

Tambah pelayan MCP ke Claude Code

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Mana-mana klien MCP dengan Streamable HTTP berfungsi dengan cara yang sama. Halakannya ke /mcp dan hantar kunci bersatu sebagai token Bearer. Alat yang berguna termasuk healthcheck, list_models dan ask_freellmapi. Alat ask_freellmapi menjalankan tugas melalui laluan sembang yang sama dengan API, dengan penghalaan dan sandaran.

Untuk ejen pengekodan, FreeLLMAPI mempunyai arahan persediaan yang menulis konfigurasi klien untuk anda. Contohnya ialah npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw dan setup-hermes. Setiap arahan menyokong --dry-run dan membuat sandaran dahulu.

Penyelesaian masalah

MasalahPuncaPenyelesaian
Model menjawab dalam teks dan tidak memanggil alatModel mempunyai panggilan alat yang lemahGunakan auto:<profile> dengan model panggilan alat sahaja
Ejen memulakan semula tugas di tengah jalanHad memaksa pertukaran modelHantar X-Session-Id dan hidupkan pemindahan konteks
Ralat 429 selepas banyak langkahSemua kunci dalam rantaian berada pada hadTambah pembekal, gunakan auto:fast untuk langkah kecil dan tunggu Retry-After
Ralat 400 dengan auto:nameProfil tidak wujudSemak nama profil pada papan pemuka
/mcp mengembalikan 403Permukaan MCP dimatikanHidupkannya di bawah Agent compatibility pada halaman Keys
Ralat panjang konteks lewat dalam tugasSejarah lebih besar daripada tetingkap modelRingkaskan hasil alat lama atau gunakan profil konteks panjang
Guna setiap satu daripada ini melalui satu kunci. FreeLLMAPI ialah penghala sumber terbuka yang anda hoskan sendiri. Ia meletakkan semua peringkat percuma ini di belakang satu titik akhir serasi OpenAI dan beralih ke pembekal lain apabila had kadar dicapai. Layari katalog atau mula sekarang.

Soalan lazim

Adakah terdapat Free LLM API untuk ejen AI?

Ada. Beberapa pembekal mempunyai tier percuma dengan panggilan alat. FreeLLMAPI menggabungkannya di sebalik satu kunci yang serasi dengan OpenAI dan beralih ke pembekal seterusnya apabila had menghentikan permintaan.

Model LLM percuma yang manakah terbaik untuk panggilan alat?

Gunakan model yang mempunyai panggilan alat dan tetingkap konteks 128K token atau lebih. Jadual pada halaman ini menunjukkan model percuma yang paling kuat yang memenuhi kedua-dua syarat hari ini.

Bolehkah saya menggunakan FreeLLMAPI sebagai pelayan MCP?

Boleh. Hidupkan permukaan MCP pada halaman Keys di bawah Agent compatibility. Kemudian sambungkan klien MCP anda ke /mcp dengan kunci bersatu sebagai token Bearer.

Bagaimana saya menghalang ejen daripada gagal kerana had kadar?

Tambah kunci daripada lebih banyak pembekal, hantar langkah kecil ke auto:fast, cuba semula pada 429 dengan pengepala Retry-After dan tetapkan bilangan langkah maksimum.

Apakah yang berlaku apabila model bertukar di tengah tugas ejen?

Model baharu menerima keseluruhan sejarah mesej. Dengan pemindahan konteks dihidupkan, ia juga menerima nota pendek yang memberitahunya supaya meneruskan tugas.

Panduan berkaitan

Sumber

Semua panduan · Lihat semua model percuma