Trang chủ / Hướng dẫn / API LLM miễn phí trong Python

API LLM miễn phí trong Python

Gói Python openai chính thức hoạt động với mọi API tương thích OpenAI. Bạn đổi base URL và khóa. Hướng dẫn này dùng FreeLLMAPI, nơi gom 45 gói miễn phí của nhà cung cấp sau một khóa và chuyển sang nhà cung cấp tiếp theo khi một giới hạn chặn yêu cầu. Mỗi ví dụ dưới đây đầy đủ và chạy được ngay.

Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.

Thiết lập

Cài đặt FreeLLMAPI. Nó chạy trong Docker. Mở bảng điều khiển tại http://localhost:3001, thêm khóa miễn phí từ hai nhà cung cấp trở lên ở trang Keys và sao chép khóa thống nhất. Sau đó cài đặt gói Python.

Mã Python của bạn chỉ dùng khóa thống nhất. Khóa nhà cung cấp nằm trong FreeLLMAPI, được mã hóa trong cơ sở dữ liệu của nó. Nếu bạn đổi hoặc thêm khóa nhà cung cấp, bạn không cần đổi mã.

Cài đặt

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

Model auto theo chuỗi dự phòng trên bảng điều khiển của bạn. Bạn cũng có thể dùng auto:fast, auto:smart hoặc auto:reliable, một hồ sơ như auto:coding, hoặc một model ID cố định.

Streaming và tiêu đề phản hồi

Truyền câu trả lời theo luồng

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

Mỗi phản hồi có tiêu đề X-Routed-Via cho biết nhà cung cấp và model đã trả lời. Để đọc tiêu đề bằng SDK, dùng with_raw_response và gọi parse() để lấy đối tượng thông thường.

Đọc tiêu đề định tuyến

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

Gọi công cụ

Gửi tools theo kiểu OpenAI. Bộ định tuyến chuyển chúng cho các nhà cung cấp tương thích OpenAI và dịch chúng cho Gemini. Câu trả lời trở về cùng một định dạng cho mọi nhà cung cấp.

Một lệnh gọi công cụ và câu trả lời cuối

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Một số nhà cung cấp trả về lệnh gọi công cụ dưới dạng văn bản thuần. FreeLLMAPI chuyển các câu trả lời này thành tool_calls thật, nên mã của bạn chỉ đọc một định dạng. Luôn kiểm tra msg.tool_calls trước khi đọc msg.content, vì một model cũng có thể trả lời mà không dùng công cụ.

Dùng model có gọi công cụ. Các model miễn phí này hỗ trợ công cụ và có tốc độ đo được nhanh nhất hiện nay:

Model miễn phí nhanh có gọi công cụ
Mô hìnhMiễn phí trênNgữ cảnhGiới hạn miễn phí (ưu đãi tốt nhất)Công cụThị giác
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 yêu cầu/phút
250 yêu cầu/ngày
70,000 token/phút
~6M
CóCó
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 yêu cầu/phút
50 yêu cầu/ngày
50 req/day account-wide (1,000 after a $10 purchase)
CóKhông
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq +1 nữa131K30 yêu cầu/phút
1,000 yêu cầu/ngày
8,000 token/phút
200,000 token/ngày
~6M
CóKhông
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM +1 nữa131K30 yêu cầu/phút
1,000 yêu cầu/ngày
8,000 token/phút
200,000 token/ngày
~6M
CóKhông
GPT-OSS Safeguard 20BGroq131K30 yêu cầu/phút
1,000 yêu cầu/ngày
8,000 token/phút
200,000 token/ngày
~6M
CóKhông
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditCóCó
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 yêu cầu/phút
5,000 yêu cầu/ngày
500,000 token/ngày
500K tokens/day · 5,000 req/day
CóCó
Nemotron 3.5 Lightning 30BRequesty1M200 yêu cầu/ngày
200 rpd
CóKhông
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó

Đang hiển thị 10 trong số 146 mô hình miễn phí phù hợp. Xem tất cả mô hình.

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Lô bất đồng bộ trong giới hạn miễn phí

AsyncOpenAI gửi nhiều yêu cầu cùng lúc. Gói miễn phí giới hạn yêu cầu mỗi phút, nên hãy giới hạn số yêu cầu chạy song song bằng semaphore. Ví dụ cũng thử lại khi mọi nhà cung cấp đều đạt giới hạn.

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

Bộ định tuyến chỉ trả về 429 khi mọi khóa trong chuỗi đều đạt giới hạn. Khi đó phản hồi có tiêu đề Retry-After. Giá trị semaphore nhỏ và nhiều khóa nhà cung cấp hơn cho kết quả tốt nhất với lô lớn.

Chọn chuỗi model cho từng tác vụ

Chuỗi model cho bộ định tuyến biết cách chọn model. Bạn có thể dùng chuỗi khác nhau trong mỗi lệnh gọi. Bạn không cần đổi bảng điều khiển.

Tác vụChuỗi modelLý do
Câu trả lời chat cho người dùngautoTheo chuỗi dự phòng bạn đặt trên bảng điều khiển
Phân loại, trích xuất, tóm tắt ngắnauto:fastXếp hạng các model đã bật theo tốc độ đo được
Câu hỏi khó, đánh giá mã, lập kế hoạchauto:smartXếp hạng các model đã bật theo trí tuệ
Tác vụ định kỳ phải hoàn thànhauto:reliableXếp hạng các model đã bật theo tỷ lệ thành công gần đây
Một chuỗi riêng cho một ứng dụngauto:<profile>Dùng một chuỗi dự phòng có tên
Kiểm thử phải lặp lại đượcMột model ID cố địnhCùng một model mỗi lần, nhưng dừng khi model đó đạt giới hạn

Để xem các model mà khóa của bạn gọi được ngay bây giờ, yêu cầu danh sách model với bộ lọc. Danh sách đầy đủ cũng chứa các model chưa có khóa.

Liệt kê các model có thể trả lời ngay

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

Model có trạng thái exhausted có khóa, nhưng tất cả đều đang đạt giới hạn. Trạng thái này xóa khi thời gian nghỉ kết thúc. Model có trạng thái needsKey không có khóa nào được bật.

Với một cuộc trò chuyện, gửi tiêu đề X-Session-Id bằng extra_headers. FreeLLMAPI khi đó giữ cuộc trò chuyện đó trên một model trong 30 phút. Nếu không có tiêu đề, nó dùng băm của tin nhắn người dùng đầu tiên làm khóa phiên.

Embeddings

Nhúng văn bản

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

Chuyển dự phòng embeddings không bao giờ đổi model. Nó chỉ chuyển giữa các nhà cung cấp phục vụ cùng họ, nên vector của bạn vẫn tương thích. Giá trị auto dùng họ mặc định mà bạn đặt trên bảng điều khiển.

Gửi nhiều văn bản trong một danh sách input. Một yêu cầu với 32 văn bản dùng một yêu cầu từ giới hạn miễn phí, không phải 32. Giữ mỗi văn bản dưới đầu vào tối đa của họ. Lưu tên họ cùng với vector, để sau này bạn nhúng truy vấn bằng cùng họ.

Lỗi và cách sửa

Ngoại lệNguyên nhânCách khắc phục
openai.AuthenticationErrorKhóa thống nhất saiSao chép lại khóa từ trang Keys
openai.APIConnectionErrorFreeLLMAPI chưa chạy, hoặc sai cổngMở http://localhost:3001 trong trình duyệt
openai.NotFoundErrorBase URL thiếu /v1Dùng http://localhost:3001/v1
openai.RateLimitErrorMọi khóa trong chuỗi đều đạt giới hạnThêm nhà cung cấp, giảm số yêu cầu song song, chờ Retry-After
openai.BadRequestError với auto:nameTên hồ sơ không tồn tạiKiểm tra tên hồ sơ trên bảng điều khiển
openai.UnprocessableEntityError (422) với hình ảnhKhông có model thị giác trong chuỗi của bạnBật một model thị giác trong chuỗi dự phòng

Gói miễn phí không có SLA. Độ trễ thay đổi trong ngày. Các model mạnh nhất đạt giới hạn hằng ngày trước, và nhiều giới hạn được làm mới lúc nửa đêm UTC. Đừng dùng cổng miễn phí cho dịch vụ phải trả lời trong thời gian cố định.

Dùng tất cả các mô hình này qua một khóa duy nhất. FreeLLMAPI là bộ định tuyến mã nguồn mở, tự lưu trữ. Nó đặt tất cả các gói miễn phí này sau một endpoint duy nhất tương thích OpenAI, và tự chuyển sang nhà cung cấp khác khi một nhà cung cấp bị giới hạn tốc độ. Xem danh mục hoặc bắt đầu.

Câu hỏi thường gặp

Có API LLM miễn phí cho Python không?

Có. Nhiều nhà cung cấp có gói miễn phí hoạt động với gói Python openai. FreeLLMAPI gom chúng sau một base URL và một khóa, với chuyển dự phòng giữa các nhà cung cấp.

Làm sao để dùng thư viện Python openai với base URL khác?

Truyền base_url vào OpenAI() hoặc AsyncOpenAI(), ví dụ base_url="http://localhost:3001/v1". Truyền khóa cổng của bạn làm api_key.

Làm sao để xử lý lỗi giới hạn tốc độ trong Python?

Đặt max_retries trên client. Bắt openai.RateLimitError, đọc tiêu đề Retry-After và chờ. Giới hạn số yêu cầu đồng thời bằng semaphore của asyncio.

Streaming có hoạt động với API LLM miễn phí trong Python không?

Có. Truyền stream=True và đọc chunk.choices[0].delta.content. FreeLLMAPI truyền theo luồng theo định dạng OpenAI cho mọi nhà cung cấp.

Tôi có thể dùng Python bất đồng bộ với API LLM miễn phí không?

Có. Dùng AsyncOpenAI với cùng base_url và khóa. Giữ số yêu cầu song song nhỏ, vì gói miễn phí giới hạn yêu cầu mỗi phút.

Hướng dẫn liên quan

Nguồn

Tất cả hướng dẫn · Xem tất cả mô hình miễn phí