Free LLM API untuk ejen AI
Ejen AI menghantar banyak permintaan model untuk satu tugas. Setiap langkah memerlukan panggilan alat dan konteks yang besar. Satu tier percuma menghentikan ejen dengan cepat. FreeLLMAPI menghimpunkan 45 tier percuma pembekal di sebalik satu kunci yang serasi dengan OpenAI. Ia beralih ke pembekal seterusnya apabila had menghentikan permintaan, supaya ejen boleh diteruskan. Panduan ini merangkumi panggilan alat, penghalaan setiap langkah, sesi yang panjang dan pelayan MCP get laluan.
Kod, nama model dan label katalog langsung dipaparkan dalam bahasa Inggeris.
Apa yang diperlukan ejen daripada API percuma
| Keperluan | Sebab | Apa yang FreeLLMAPI lakukan |
|---|---|---|
| Panggilan alat | Ejen memilih dan menjalankan alat | Menghantar tools gaya OpenAI kepada setiap pembekal. Menukar panggilan alat teks biasa kepada tool_calls sebenar. |
| Banyak permintaan | Satu tugas boleh mengambil 20 hingga 100 langkah | Mengira kuota setiap kunci dan beralih ke kunci atau pembekal seterusnya apabila 429 |
| Konteks besar | Hasil alat dan sejarah bertambah setiap langkah | Menghalakan ke model dalam rantaian anda. Anda boleh membuat profil konteks panjang. |
| Kelakuan yang stabil | Pertukaran model di tengah tugas boleh mengelirukan ejen | Mengekalkan sesi pada satu model selama 30 minit. Pilihan pemindahan konteks apabila pertukaran berlaku. |
| Keterlihatan | Anda mesti tahu model mana yang gagal | Pengepala X-Routed-Via dan X-Fallback-Trail pada setiap respons |
Tier percuma mempunyai had. Failover mengagihkan beban merentasi kunci anda, tetapi jumlahnya tetap hasil tambah had percuma. Tambah kunci daripada empat pembekal atau lebih untuk kerja ejen.
| Model | Percuma pada | Konteks | Had percuma (tawaran terbaik) | Alat | Penglihatan |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 permintaan/minit 1 req/min per model | Ya | Tidak |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 permintaan/minit 40 RPM | Ya | Ya |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ya | Ya |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ya | Tidak |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 permintaan/minit 50 permintaan/hari 50 req/day account-wide (1,000 after a $10 purchase) | Ya | Ya |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 permintaan/minit 50 permintaan/hari Shared rate limit | Ya | Tidak |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 permintaan/minit 250 permintaan/hari 70,000 token/minit ~6M | Ya | Ya |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | Ya | Ya |
Memaparkan 12 daripada 109 model percuma yang sepadan. Lihat semua model.
Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.
Gelung ejen lengkap dalam Python
Gelung di bawah menggunakan SDK OpenAI rasmi. Ia menghantar alat, menjalankan setiap panggilan alat, menghantar hasil kembali dan berhenti apabila model memberikan jawapan akhir. Ia juga berhenti selepas bilangan langkah maksimum.
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: mengekalkan semua langkah bagi satu tugas pada model yang sama selagi model itu mempunyai kuota.
- Retry-After: apabila setiap kunci berada pada had, get laluan mengembalikan 429 dengan pengepala ini. Gelung menunggu dan mencuba semula.
- Ralat alat: gelung menghantar ralat kepada model sebagai hasil alat. Model kemudian boleh membetulkan panggilannya.
Halakan setiap langkah ke model yang betul
Langkah ejen tidak sama. Langkah perancangan memerlukan model yang kuat. Langkah yang mengekstrak satu medan memerlukan model yang pantas. Gunakan rentetan model yang berbeza untuk setiap jenis langkah. Anda tidak perlu menukar papan pemuka.
| Rentetan model | Menyusun model mengikut | Penggunaan ejen |
|---|---|---|
auto:smart | Kecerdasan | Perancangan, pemilihan alat, jawapan akhir |
auto:fast | Kelajuan diukur dan masa ke bait pertama | Pengekstrakan, klasifikasi, ringkasan pendek bagi output alat |
auto:reliable | Kadar kejayaan terkini | Ejen berjadual yang mesti selesai |
auto:balanced | Kebolehpercayaan dahulu, kemudian kelajuan dan kecerdasan | Lalai umum |
auto:<profile> | Rantaian sandaran bernama anda | Rantaian yang hanya mengandungi model panggilan alat |
Strategi auto:* menyusun setiap model yang diaktifkan dan mengabaikan susunan rantaian anda. Permintaan dengan alat tetap memerlukan model yang mempunyai panggilan alat. Jika sesetengah model yang diaktifkan tidak menyokong alat dengan baik, buat profil yang hanya mengandungi model panggilan alat. Kemudian gunakan auto:<profile> untuk langkah alat. Nama profil yang tidak wujud mengembalikan ralat 400.
Pengepala X-FreeLLM-Task-Type: code mengalihkan pemberat penghalaan daripada kelajuan kepada kecerdasan untuk satu permintaan. Ia adalah pilihan yang lembut. Ia tidak mengubah semakan keupayaan atau rantaian sandaran.
Sesi ejen yang panjang dan pertukaran model
Semasa tugas yang panjang, model boleh mencapai had hariannya. Penghala kemudian beralih ke model lain. Model baharu menerima keseluruhan sejarah mesej, tetapi ia tidak tahu bahawa model lain melakukan langkah sebelumnya.
Hidupkan pemindahan konteks untuk menambah satu mesej sistem pendek apabila model bertukar. Mesej itu memberitahu model baharu supaya meneruskan tugas dan mengekalkan hasil alat sebelumnya.
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- Mesej pemindahan hanya ditambah apabila model yang dipilih bertukar untuk satu sesi.
- Sesi disimpan dalam memori selama 3 jam. Tiada apa-apa ditulis ke cakera.
- Kunci sesi ialah pengepala
X-Session-Id. Tanpa pengepala ini, ia ialah cincang bagi mesej pengguna pertama.
Gunakan penghala sebagai pelayan MCP
FreeLLMAPI juga ialah pelayan MCP pada /mcp. Ejen yang menggunakan MCP boleh menghantar tugas teks kepada model FreeLLMAPI. Ia juga boleh membaca keadaan get laluan semasa sesi: model yang boleh digunakan dan parameternya, kesihatan pembekal, statistik penggunaan dan cache, serta strategi penghalaan.
Permukaan MCP dimatikan pada pemasangan baharu. Hidupkannya dalam papan pemuka pada halaman Keys, di bawah Agent compatibility. Semasa ia dimatikan, /mcp mengembalikan 403.
Tambah pelayan MCP ke Claude Code
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Mana-mana klien MCP dengan Streamable HTTP berfungsi dengan cara yang sama. Halakannya ke /mcp dan hantar kunci bersatu sebagai token Bearer. Alat yang berguna termasuk healthcheck, list_models dan ask_freellmapi. Alat ask_freellmapi menjalankan tugas melalui laluan sembang yang sama dengan API, dengan penghalaan dan sandaran.
Untuk ejen pengekodan, FreeLLMAPI mempunyai arahan persediaan yang menulis konfigurasi klien untuk anda. Contohnya ialah npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw dan setup-hermes. Setiap arahan menyokong --dry-run dan membuat sandaran dahulu.
Penyelesaian masalah
| Masalah | Punca | Penyelesaian |
|---|---|---|
| Model menjawab dalam teks dan tidak memanggil alat | Model mempunyai panggilan alat yang lemah | Gunakan auto:<profile> dengan model panggilan alat sahaja |
| Ejen memulakan semula tugas di tengah jalan | Had memaksa pertukaran model | Hantar X-Session-Id dan hidupkan pemindahan konteks |
| Ralat 429 selepas banyak langkah | Semua kunci dalam rantaian berada pada had | Tambah pembekal, gunakan auto:fast untuk langkah kecil dan tunggu Retry-After |
Ralat 400 dengan auto:name | Profil tidak wujud | Semak nama profil pada papan pemuka |
/mcp mengembalikan 403 | Permukaan MCP dimatikan | Hidupkannya di bawah Agent compatibility pada halaman Keys |
| Ralat panjang konteks lewat dalam tugas | Sejarah lebih besar daripada tetingkap model | Ringkaskan hasil alat lama atau gunakan profil konteks panjang |
Soalan lazim
Adakah terdapat Free LLM API untuk ejen AI?
Ada. Beberapa pembekal mempunyai tier percuma dengan panggilan alat. FreeLLMAPI menggabungkannya di sebalik satu kunci yang serasi dengan OpenAI dan beralih ke pembekal seterusnya apabila had menghentikan permintaan.
Model LLM percuma yang manakah terbaik untuk panggilan alat?
Gunakan model yang mempunyai panggilan alat dan tetingkap konteks 128K token atau lebih. Jadual pada halaman ini menunjukkan model percuma yang paling kuat yang memenuhi kedua-dua syarat hari ini.
Bolehkah saya menggunakan FreeLLMAPI sebagai pelayan MCP?
Boleh. Hidupkan permukaan MCP pada halaman Keys di bawah Agent compatibility. Kemudian sambungkan klien MCP anda ke /mcp dengan kunci bersatu sebagai token Bearer.
Bagaimana saya menghalang ejen daripada gagal kerana had kadar?
Tambah kunci daripada lebih banyak pembekal, hantar langkah kecil ke auto:fast, cuba semula pada 429 dengan pengepala Retry-After dan tetapkan bilangan langkah maksimum.
Apakah yang berlaku apabila model bertukar di tengah tugas ejen?
Model baharu menerima keseluruhan sejarah mesej. Dengan pemindahan konteks dihidupkan, ia juga menerima nota pendek yang memberitahunya supaya meneruskan tugas.
Panduan berkaitan
- API LLM percuma dengan panggilan fungsi
- API LLM percuma dalam Python
- API LLM percuma untuk LangChain
- API LLM percuma untuk n8n
- Cara guna Claude Code secara percuma
- Had kadar Free LLM API
Sumber
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (disemak 20 November 2026)
- FreeLLMAPI docs: clients, MCP server and context handoff (disemak 20 November 2026)
- OpenAI Python SDK: errors and retries (disemak 20 November 2026)
- Claude Code docs: MCP (disemak 20 November 2026)