Trang chủ / Hướng dẫn / API LLM miễn phí cho AI agent

API LLM miễn phí cho AI agent

Một AI agent gửi nhiều yêu cầu đến mô hình cho một tác vụ. Mỗi bước cần gọi công cụ và ngữ cảnh lớn. Một gói miễn phí đơn lẻ sẽ nhanh chóng làm agent dừng lại. FreeLLMAPI gom 45 gói miễn phí của nhà cung cấp sau một khóa OpenAI-compatible duy nhất. Khi một giới hạn chặn yêu cầu, hệ thống chuyển sang nhà cung cấp tiếp theo, nên agent có thể tiếp tục. Hướng dẫn này nói về gọi công cụ, định tuyến theo từng bước, phiên làm việc dài và máy chủ MCP của bộ định tuyến.

Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.

Agent cần gì từ API miễn phí

Nhu cầuLý doFreeLLMAPI làm gì
Gọi công cụAgent chọn và chạy công cụGửi tools theo kiểu OpenAI đến từng nhà cung cấp. Chuyển các lệnh gọi công cụ dạng văn bản thành tool_calls thật.
Nhiều yêu cầuMột tác vụ có thể cần 20 đến 100 bướcĐếm hạn mức của từng khóa và chuyển sang khóa hoặc nhà cung cấp tiếp theo khi gặp 429
Ngữ cảnh lớnKết quả công cụ và lịch sử tăng dần qua từng bướcĐịnh tuyến đến các mô hình trong chuỗi của bạn. Bạn có thể tạo hồ sơ ngữ cảnh dài.
Hành vi ổn địnhĐổi mô hình giữa chừng một tác vụ có thể làm agent bị nhầmGiữ một phiên trên cùng một mô hình trong 30 phút. Có thể bật chuyển giao ngữ cảnh khi đổi mô hình.
Khả năng theo dõiBạn cần biết mô hình nào bị lỗiHeader X-Routed-Via và X-Fallback-Trail trên mỗi phản hồi

Gói miễn phí có giới hạn. Chuyển dự phòng giúp chia tải cho các khóa của bạn, nhưng tổng lượng vẫn bằng tổng các giới hạn miễn phí. Với agent, hãy thêm khóa từ bốn nhà cung cấp trở lên.

Mô hình miễn phí có gọi công cụ và ngữ cảnh 128K trở lên
Mô hìnhMiễn phí trênNgữ cảnhGiới hạn miễn phí (ưu đãi tốt nhất)Công cụThị giác
GLM 5.3UnoRouter1M1 yêu cầu/phút
1 req/min per model
CóKhông
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 yêu cầu/phút
40 RPM
CóCó
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaCóCó
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceCóKhông
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditCóCó
Gemini 3.7 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditCóCó
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 yêu cầu/phút
50 yêu cầu/ngày
50 req/day account-wide (1,000 after a $10 purchase)
CóCó
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 yêu cầu/phút
50 yêu cầu/ngày
Shared rate limit
CóKhông
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 yêu cầu/phút
250 yêu cầu/ngày
70,000 token/phút
~6M
CóCó
Gemini 3.6 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayCóCó

Đang hiển thị 12 trong số 109 mô hình miễn phí phù hợp. Xem tất cả mô hình.

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Vòng lặp agent đầy đủ bằng Python

Vòng lặp dưới đây dùng SDK OpenAI chính thức. Nó gửi các công cụ, chạy từng lệnh gọi công cụ, gửi kết quả trở lại và dừng khi mô hình đưa ra câu trả lời cuối. Vòng lặp cũng dừng sau một số bước tối đa.

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: giữ mọi bước của một tác vụ trên cùng một mô hình khi mô hình đó còn hạn mức.
  • Retry-After: khi mọi khóa đều đạt giới hạn, gateway trả về 429 kèm header này. Vòng lặp sẽ chờ và thử lại.
  • Lỗi công cụ: vòng lặp gửi lỗi lại cho mô hình dưới dạng kết quả công cụ. Mô hình sau đó có thể sửa lệnh gọi của nó.

Định tuyến từng bước đến đúng mô hình

Các bước của agent không giống nhau. Bước lập kế hoạch cần mô hình mạnh. Bước chỉ trích xuất một trường cần mô hình nhanh. Hãy dùng một chuỗi mô hình khác cho mỗi loại bước. Bạn không cần thay đổi bảng điều khiển.

Chuỗi mô hìnhXếp hạng mô hình theoDùng cho agent
auto:smartTrí tuệLập kế hoạch, chọn công cụ, câu trả lời cuối
auto:fastTốc độ đo được và thời gian đến byte đầu tiênTrích xuất, phân loại, tóm tắt ngắn kết quả công cụ
auto:reliableTỷ lệ thành công gần đâyAgent theo lịch phải hoàn thành
auto:balancedĐộ tin cậy trước, sau đó đến tốc độ và trí tuệMặc định chung
auto:<profile>Chuỗi dự phòng có tên do bạn đặtMột chuỗi chỉ gồm mô hình có gọi công cụ

Các chiến lược auto:* xếp hạng mọi mô hình đã bật và bỏ qua thứ tự trong chuỗi của bạn. Yêu cầu có công cụ vẫn cần mô hình hỗ trợ gọi công cụ. Nếu một số mô hình đã bật hỗ trợ công cụ kém, hãy tạo một hồ sơ chỉ có mô hình gọi công cụ. Sau đó dùng auto:<profile> cho các bước dùng công cụ. Tên hồ sơ không tồn tại sẽ trả về lỗi 400.

Header X-FreeLLM-Task-Type: code chuyển trọng số định tuyến từ tốc độ sang trí tuệ cho một yêu cầu. Đây là tùy chọn ưu tiên mềm. Nó không thay đổi các kiểm tra khả năng hay chuỗi dự phòng.

Phiên agent dài và đổi mô hình

Trong một tác vụ dài, một mô hình có thể đạt hạn mức ngày. Khi đó bộ định tuyến chuyển sang mô hình khác. Mô hình mới nhận toàn bộ lịch sử tin nhắn, nhưng nó không biết rằng mô hình khác đã thực hiện các bước trước đó.

Bật chuyển giao ngữ cảnh để thêm một tin nhắn hệ thống ngắn khi đổi mô hình. Tin nhắn này bảo mô hình mới tiếp tục tác vụ và giữ lại kết quả công cụ trước đó.

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • Tin nhắn chuyển giao chỉ được thêm khi mô hình được chọn thay đổi trong một phiên.
  • Phiên được giữ trong bộ nhớ trong 3 giờ. Không có gì được ghi xuống đĩa.
  • Khóa phiên là header X-Session-Id. Nếu không có header này, khóa là hash của tin nhắn người dùng đầu tiên.

Dùng bộ định tuyến làm máy chủ MCP

FreeLLMAPI cũng là một máy chủ MCP tại /mcp. Agent hỗ trợ MCP có thể gửi một tác vụ văn bản đến mô hình của FreeLLMAPI. Agent cũng có thể đọc trạng thái gateway trong một phiên: các mô hình dùng được và tham số của chúng, tình trạng nhà cung cấp, thống kê sử dụng và bộ nhớ đệm, cùng chiến lược định tuyến.

Bề mặt MCP được tắt trên bản cài đặt mới. Hãy bật trong bảng điều khiển ở trang Keys, dưới mục Agent compatibility. Khi tắt, /mcp trả về 403.

Thêm máy chủ MCP vào Claude Code

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Mọi client MCP có Streamable HTTP đều làm theo cách tương tự. Trỏ đến /mcp và gửi khóa thống nhất dưới dạng Bearer token. Các công cụ hữu ích gồm healthcheck, list_models và ask_freellmapi. Công cụ ask_freellmapi chạy một tác vụ qua cùng tuyến chat như API, có định tuyến và dự phòng.

Với agent lập trình, FreeLLMAPI có các lệnh thiết lập ghi cấu hình client thay bạn. Ví dụ gồm npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw và setup-hermes. Mỗi lệnh hỗ trợ --dry-run và tạo bản sao lưu trước.

Xử lý sự cố

Vấn đềNguyên nhânCách khắc phục
Mô hình trả lời bằng văn bản và không gọi công cụMô hình hỗ trợ gọi công cụ kémDùng auto:<profile> chỉ với mô hình gọi công cụ
Agent khởi động lại tác vụ giữa chừngMột giới hạn buộc phải đổi mô hìnhGửi X-Session-Id và bật chuyển giao ngữ cảnh
Lỗi 429 sau nhiều bướcMọi khóa trong chuỗi đều đạt giới hạnThêm nhà cung cấp, dùng auto:fast cho các bước nhỏ và chờ Retry-After
Lỗi 400 với auto:nameHồ sơ không tồn tạiKiểm tra tên hồ sơ trên bảng điều khiển
/mcp trả về 403Bề mặt MCP đang tắtBật trong mục Agent compatibility ở trang Keys
Lỗi độ dài ngữ cảnh xuất hiện muộn trong tác vụLịch sử lớn hơn cửa sổ của mô hìnhTóm tắt kết quả công cụ cũ hoặc dùng hồ sơ ngữ cảnh dài
Dùng tất cả các mô hình này qua một khóa duy nhất. FreeLLMAPI là bộ định tuyến mã nguồn mở, tự lưu trữ. Nó đặt tất cả các gói miễn phí này sau một endpoint duy nhất tương thích OpenAI, và tự chuyển sang nhà cung cấp khác khi một nhà cung cấp bị giới hạn tốc độ. Xem danh mục hoặc bắt đầu.

Câu hỏi thường gặp

Có API LLM miễn phí cho AI agent không?

Có. Nhiều nhà cung cấp có gói miễn phí hỗ trợ gọi công cụ. FreeLLMAPI gom chúng sau một khóa OpenAI-compatible duy nhất và chuyển sang nhà cung cấp tiếp theo khi một giới hạn chặn yêu cầu.

LLM miễn phí nào tốt nhất cho gọi công cụ?

Hãy dùng mô hình có gọi công cụ và cửa sổ ngữ cảnh từ 128K token trở lên. Bảng trên trang này liệt kê các mô hình miễn phí mạnh nhất đáp ứng cả hai điều kiện hiện nay.

Tôi có thể dùng FreeLLMAPI làm máy chủ MCP không?

Có. Bật bề mặt MCP ở trang Keys, dưới mục Agent compatibility. Sau đó kết nối client MCP của bạn đến /mcp với khóa thống nhất dưới dạng Bearer token.

Làm sao để agent không lỗi vì giới hạn tốc độ?

Thêm khóa từ nhiều nhà cung cấp hơn, gửi các bước nhỏ đến auto:fast, thử lại khi gặp 429 theo header Retry-After và đặt số bước tối đa.

Điều gì xảy ra khi mô hình đổi giữa một tác vụ agent?

Mô hình mới nhận toàn bộ lịch sử tin nhắn. Khi bật chuyển giao ngữ cảnh, nó cũng nhận một ghi chú ngắn bảo nó tiếp tục tác vụ.

Hướng dẫn liên quan

Nguồn

Tất cả hướng dẫn · Xem tất cả mô hình miễn phí