API LLM miễn phí cho AI agent
Một AI agent gửi nhiều yêu cầu đến mô hình cho một tác vụ. Mỗi bước cần gọi công cụ và ngữ cảnh lớn. Một gói miễn phí đơn lẻ sẽ nhanh chóng làm agent dừng lại. FreeLLMAPI gom 45 gói miễn phí của nhà cung cấp sau một khóa OpenAI-compatible duy nhất. Khi một giới hạn chặn yêu cầu, hệ thống chuyển sang nhà cung cấp tiếp theo, nên agent có thể tiếp tục. Hướng dẫn này nói về gọi công cụ, định tuyến theo từng bước, phiên làm việc dài và máy chủ MCP của bộ định tuyến.
Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.
Agent cần gì từ API miễn phí
| Nhu cầu | Lý do | FreeLLMAPI làm gì |
|---|---|---|
| Gọi công cụ | Agent chọn và chạy công cụ | Gửi tools theo kiểu OpenAI đến từng nhà cung cấp. Chuyển các lệnh gọi công cụ dạng văn bản thành tool_calls thật. |
| Nhiều yêu cầu | Một tác vụ có thể cần 20 đến 100 bước | Đếm hạn mức của từng khóa và chuyển sang khóa hoặc nhà cung cấp tiếp theo khi gặp 429 |
| Ngữ cảnh lớn | Kết quả công cụ và lịch sử tăng dần qua từng bước | Định tuyến đến các mô hình trong chuỗi của bạn. Bạn có thể tạo hồ sơ ngữ cảnh dài. |
| Hành vi ổn định | Đổi mô hình giữa chừng một tác vụ có thể làm agent bị nhầm | Giữ một phiên trên cùng một mô hình trong 30 phút. Có thể bật chuyển giao ngữ cảnh khi đổi mô hình. |
| Khả năng theo dõi | Bạn cần biết mô hình nào bị lỗi | Header X-Routed-Via và X-Fallback-Trail trên mỗi phản hồi |
Gói miễn phí có giới hạn. Chuyển dự phòng giúp chia tải cho các khóa của bạn, nhưng tổng lượng vẫn bằng tổng các giới hạn miễn phí. Với agent, hãy thêm khóa từ bốn nhà cung cấp trở lên.
| Mô hình | Miễn phí trên | Ngữ cảnh | Giới hạn miễn phí (ưu đãi tốt nhất) | Công cụ | Thị giác |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 yêu cầu/phút 1 req/min per model | Có | Không |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 yêu cầu/phút 40 RPM | Có | Có |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Có | Có |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Có | Không |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Có | Có |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Có | Có |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 yêu cầu/phút 50 yêu cầu/ngày 50 req/day account-wide (1,000 after a $10 purchase) | Có | Có |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 yêu cầu/phút 50 yêu cầu/ngày Shared rate limit | Có | Không |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 yêu cầu/phút 250 yêu cầu/ngày 70,000 token/phút ~6M | Có | Có |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | Có | Có |
Đang hiển thị 12 trong số 109 mô hình miễn phí phù hợp. Xem tất cả mô hình.
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
Vòng lặp agent đầy đủ bằng Python
Vòng lặp dưới đây dùng SDK OpenAI chính thức. Nó gửi các công cụ, chạy từng lệnh gọi công cụ, gửi kết quả trở lại và dừng khi mô hình đưa ra câu trả lời cuối. Vòng lặp cũng dừng sau một số bước tối đa.
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: giữ mọi bước của một tác vụ trên cùng một mô hình khi mô hình đó còn hạn mức.
- Retry-After: khi mọi khóa đều đạt giới hạn, gateway trả về 429 kèm header này. Vòng lặp sẽ chờ và thử lại.
- Lỗi công cụ: vòng lặp gửi lỗi lại cho mô hình dưới dạng kết quả công cụ. Mô hình sau đó có thể sửa lệnh gọi của nó.
Định tuyến từng bước đến đúng mô hình
Các bước của agent không giống nhau. Bước lập kế hoạch cần mô hình mạnh. Bước chỉ trích xuất một trường cần mô hình nhanh. Hãy dùng một chuỗi mô hình khác cho mỗi loại bước. Bạn không cần thay đổi bảng điều khiển.
| Chuỗi mô hình | Xếp hạng mô hình theo | Dùng cho agent |
|---|---|---|
auto:smart | Trí tuệ | Lập kế hoạch, chọn công cụ, câu trả lời cuối |
auto:fast | Tốc độ đo được và thời gian đến byte đầu tiên | Trích xuất, phân loại, tóm tắt ngắn kết quả công cụ |
auto:reliable | Tỷ lệ thành công gần đây | Agent theo lịch phải hoàn thành |
auto:balanced | Độ tin cậy trước, sau đó đến tốc độ và trí tuệ | Mặc định chung |
auto:<profile> | Chuỗi dự phòng có tên do bạn đặt | Một chuỗi chỉ gồm mô hình có gọi công cụ |
Các chiến lược auto:* xếp hạng mọi mô hình đã bật và bỏ qua thứ tự trong chuỗi của bạn. Yêu cầu có công cụ vẫn cần mô hình hỗ trợ gọi công cụ. Nếu một số mô hình đã bật hỗ trợ công cụ kém, hãy tạo một hồ sơ chỉ có mô hình gọi công cụ. Sau đó dùng auto:<profile> cho các bước dùng công cụ. Tên hồ sơ không tồn tại sẽ trả về lỗi 400.
Header X-FreeLLM-Task-Type: code chuyển trọng số định tuyến từ tốc độ sang trí tuệ cho một yêu cầu. Đây là tùy chọn ưu tiên mềm. Nó không thay đổi các kiểm tra khả năng hay chuỗi dự phòng.
Phiên agent dài và đổi mô hình
Trong một tác vụ dài, một mô hình có thể đạt hạn mức ngày. Khi đó bộ định tuyến chuyển sang mô hình khác. Mô hình mới nhận toàn bộ lịch sử tin nhắn, nhưng nó không biết rằng mô hình khác đã thực hiện các bước trước đó.
Bật chuyển giao ngữ cảnh để thêm một tin nhắn hệ thống ngắn khi đổi mô hình. Tin nhắn này bảo mô hình mới tiếp tục tác vụ và giữ lại kết quả công cụ trước đó.
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- Tin nhắn chuyển giao chỉ được thêm khi mô hình được chọn thay đổi trong một phiên.
- Phiên được giữ trong bộ nhớ trong 3 giờ. Không có gì được ghi xuống đĩa.
- Khóa phiên là header
X-Session-Id. Nếu không có header này, khóa là hash của tin nhắn người dùng đầu tiên.
Dùng bộ định tuyến làm máy chủ MCP
FreeLLMAPI cũng là một máy chủ MCP tại /mcp. Agent hỗ trợ MCP có thể gửi một tác vụ văn bản đến mô hình của FreeLLMAPI. Agent cũng có thể đọc trạng thái gateway trong một phiên: các mô hình dùng được và tham số của chúng, tình trạng nhà cung cấp, thống kê sử dụng và bộ nhớ đệm, cùng chiến lược định tuyến.
Bề mặt MCP được tắt trên bản cài đặt mới. Hãy bật trong bảng điều khiển ở trang Keys, dưới mục Agent compatibility. Khi tắt, /mcp trả về 403.
Thêm máy chủ MCP vào Claude Code
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Mọi client MCP có Streamable HTTP đều làm theo cách tương tự. Trỏ đến /mcp và gửi khóa thống nhất dưới dạng Bearer token. Các công cụ hữu ích gồm healthcheck, list_models và ask_freellmapi. Công cụ ask_freellmapi chạy một tác vụ qua cùng tuyến chat như API, có định tuyến và dự phòng.
Với agent lập trình, FreeLLMAPI có các lệnh thiết lập ghi cấu hình client thay bạn. Ví dụ gồm npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw và setup-hermes. Mỗi lệnh hỗ trợ --dry-run và tạo bản sao lưu trước.
Xử lý sự cố
| Vấn đề | Nguyên nhân | Cách khắc phục |
|---|---|---|
| Mô hình trả lời bằng văn bản và không gọi công cụ | Mô hình hỗ trợ gọi công cụ kém | Dùng auto:<profile> chỉ với mô hình gọi công cụ |
| Agent khởi động lại tác vụ giữa chừng | Một giới hạn buộc phải đổi mô hình | Gửi X-Session-Id và bật chuyển giao ngữ cảnh |
| Lỗi 429 sau nhiều bước | Mọi khóa trong chuỗi đều đạt giới hạn | Thêm nhà cung cấp, dùng auto:fast cho các bước nhỏ và chờ Retry-After |
Lỗi 400 với auto:name | Hồ sơ không tồn tại | Kiểm tra tên hồ sơ trên bảng điều khiển |
/mcp trả về 403 | Bề mặt MCP đang tắt | Bật trong mục Agent compatibility ở trang Keys |
| Lỗi độ dài ngữ cảnh xuất hiện muộn trong tác vụ | Lịch sử lớn hơn cửa sổ của mô hình | Tóm tắt kết quả công cụ cũ hoặc dùng hồ sơ ngữ cảnh dài |
Câu hỏi thường gặp
Có API LLM miễn phí cho AI agent không?
Có. Nhiều nhà cung cấp có gói miễn phí hỗ trợ gọi công cụ. FreeLLMAPI gom chúng sau một khóa OpenAI-compatible duy nhất và chuyển sang nhà cung cấp tiếp theo khi một giới hạn chặn yêu cầu.
LLM miễn phí nào tốt nhất cho gọi công cụ?
Hãy dùng mô hình có gọi công cụ và cửa sổ ngữ cảnh từ 128K token trở lên. Bảng trên trang này liệt kê các mô hình miễn phí mạnh nhất đáp ứng cả hai điều kiện hiện nay.
Tôi có thể dùng FreeLLMAPI làm máy chủ MCP không?
Có. Bật bề mặt MCP ở trang Keys, dưới mục Agent compatibility. Sau đó kết nối client MCP của bạn đến /mcp với khóa thống nhất dưới dạng Bearer token.
Làm sao để agent không lỗi vì giới hạn tốc độ?
Thêm khóa từ nhiều nhà cung cấp hơn, gửi các bước nhỏ đến auto:fast, thử lại khi gặp 429 theo header Retry-After và đặt số bước tối đa.
Điều gì xảy ra khi mô hình đổi giữa một tác vụ agent?
Mô hình mới nhận toàn bộ lịch sử tin nhắn. Khi bật chuyển giao ngữ cảnh, nó cũng nhận một ghi chú ngắn bảo nó tiếp tục tác vụ.
Hướng dẫn liên quan
- API LLM miễn phí với function calling
- API LLM miễn phí trong Python
- API LLM miễn phí cho LangChain
- API LLM miễn phí cho n8n
- Cách dùng Claude Code miễn phí
- Giới hạn tốc độ API LLM miễn phí
Nguồn
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (đã kiểm tra 20 November 2026)
- FreeLLMAPI docs: clients, MCP server and context handoff (đã kiểm tra 20 November 2026)
- OpenAI Python SDK: errors and retries (đã kiểm tra 20 November 2026)
- Claude Code docs: MCP (đã kiểm tra 20 November 2026)