API LLM miễn phí trong Python
Gói Python openai chính thức hoạt động với mọi API tương thích OpenAI. Bạn đổi base URL và khóa. Hướng dẫn này dùng FreeLLMAPI, nơi gom 45 gói miễn phí của nhà cung cấp sau một khóa và chuyển sang nhà cung cấp tiếp theo khi một giới hạn chặn yêu cầu. Mỗi ví dụ dưới đây đầy đủ và chạy được ngay.
Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.
Thiết lập
Cài đặt FreeLLMAPI. Nó chạy trong Docker. Mở bảng điều khiển tại http://localhost:3001, thêm khóa miễn phí từ hai nhà cung cấp trở lên ở trang Keys và sao chép khóa thống nhất. Sau đó cài đặt gói Python.
Mã Python của bạn chỉ dùng khóa thống nhất. Khóa nhà cung cấp nằm trong FreeLLMAPI, được mã hóa trong cơ sở dữ liệu của nó. Nếu bạn đổi hoặc thêm khóa nhà cung cấp, bạn không cần đổi mã.
Cài đặt
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)Model auto theo chuỗi dự phòng trên bảng điều khiển của bạn. Bạn cũng có thể dùng auto:fast, auto:smart hoặc auto:reliable, một hồ sơ như auto:coding, hoặc một model ID cố định.
Streaming và tiêu đề phản hồi
Truyền câu trả lời theo luồng
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()Mỗi phản hồi có tiêu đề X-Routed-Via cho biết nhà cung cấp và model đã trả lời. Để đọc tiêu đề bằng SDK, dùng with_raw_response và gọi parse() để lấy đối tượng thông thường.
Đọc tiêu đề định tuyến
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)Gọi công cụ
Gửi tools theo kiểu OpenAI. Bộ định tuyến chuyển chúng cho các nhà cung cấp tương thích OpenAI và dịch chúng cho Gemini. Câu trả lời trở về cùng một định dạng cho mọi nhà cung cấp.
Một lệnh gọi công cụ và câu trả lời cuối
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)Một số nhà cung cấp trả về lệnh gọi công cụ dưới dạng văn bản thuần. FreeLLMAPI chuyển các câu trả lời này thành tool_calls thật, nên mã của bạn chỉ đọc một định dạng. Luôn kiểm tra msg.tool_calls trước khi đọc msg.content, vì một model cũng có thể trả lời mà không dùng công cụ.
Dùng model có gọi công cụ. Các model miễn phí này hỗ trợ công cụ và có tốc độ đo được nhanh nhất hiện nay:
| Mô hình | Miễn phí trên | Ngữ cảnh | Giới hạn miễn phí (ưu đãi tốt nhất) | Công cụ | Thị giác |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 yêu cầu/phút 250 yêu cầu/ngày 70,000 token/phút ~6M | Có | Có |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 yêu cầu/phút 50 yêu cầu/ngày 50 req/day account-wide (1,000 after a $10 purchase) | Có | Không |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq +1 nữa | 131K | 30 yêu cầu/phút 1,000 yêu cầu/ngày 8,000 token/phút 200,000 token/ngày ~6M | Có | Không |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM +1 nữa | 131K | 30 yêu cầu/phút 1,000 yêu cầu/ngày 8,000 token/phút 200,000 token/ngày ~6M | Có | Không |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 yêu cầu/phút 1,000 yêu cầu/ngày 8,000 token/phút 200,000 token/ngày ~6M | Có | Không |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | Có | Có |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 yêu cầu/phút 5,000 yêu cầu/ngày 500,000 token/ngày 500K tokens/day · 5,000 req/day | Có | Có |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 yêu cầu/ngày 200 rpd | Có | Không |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
Đang hiển thị 10 trong số 146 mô hình miễn phí phù hợp. Xem tất cả mô hình.
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
Lô bất đồng bộ trong giới hạn miễn phí
AsyncOpenAI gửi nhiều yêu cầu cùng lúc. Gói miễn phí giới hạn yêu cầu mỗi phút, nên hãy giới hạn số yêu cầu chạy song song bằng semaphore. Ví dụ cũng thử lại khi mọi nhà cung cấp đều đạt giới hạn.
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())Bộ định tuyến chỉ trả về 429 khi mọi khóa trong chuỗi đều đạt giới hạn. Khi đó phản hồi có tiêu đề Retry-After. Giá trị semaphore nhỏ và nhiều khóa nhà cung cấp hơn cho kết quả tốt nhất với lô lớn.
Chọn chuỗi model cho từng tác vụ
Chuỗi model cho bộ định tuyến biết cách chọn model. Bạn có thể dùng chuỗi khác nhau trong mỗi lệnh gọi. Bạn không cần đổi bảng điều khiển.
| Tác vụ | Chuỗi model | Lý do |
|---|---|---|
| Câu trả lời chat cho người dùng | auto | Theo chuỗi dự phòng bạn đặt trên bảng điều khiển |
| Phân loại, trích xuất, tóm tắt ngắn | auto:fast | Xếp hạng các model đã bật theo tốc độ đo được |
| Câu hỏi khó, đánh giá mã, lập kế hoạch | auto:smart | Xếp hạng các model đã bật theo trí tuệ |
| Tác vụ định kỳ phải hoàn thành | auto:reliable | Xếp hạng các model đã bật theo tỷ lệ thành công gần đây |
| Một chuỗi riêng cho một ứng dụng | auto:<profile> | Dùng một chuỗi dự phòng có tên |
| Kiểm thử phải lặp lại được | Một model ID cố định | Cùng một model mỗi lần, nhưng dừng khi model đó đạt giới hạn |
Để xem các model mà khóa của bạn gọi được ngay bây giờ, yêu cầu danh sách model với bộ lọc. Danh sách đầy đủ cũng chứa các model chưa có khóa.
Liệt kê các model có thể trả lời ngay
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])Model có trạng thái exhausted có khóa, nhưng tất cả đều đang đạt giới hạn. Trạng thái này xóa khi thời gian nghỉ kết thúc. Model có trạng thái needsKey không có khóa nào được bật.
Với một cuộc trò chuyện, gửi tiêu đề X-Session-Id bằng extra_headers. FreeLLMAPI khi đó giữ cuộc trò chuyện đó trên một model trong 30 phút. Nếu không có tiêu đề, nó dùng băm của tin nhắn người dùng đầu tiên làm khóa phiên.
Embeddings
Nhúng văn bản
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")Chuyển dự phòng embeddings không bao giờ đổi model. Nó chỉ chuyển giữa các nhà cung cấp phục vụ cùng họ, nên vector của bạn vẫn tương thích. Giá trị auto dùng họ mặc định mà bạn đặt trên bảng điều khiển.
Gửi nhiều văn bản trong một danh sách input. Một yêu cầu với 32 văn bản dùng một yêu cầu từ giới hạn miễn phí, không phải 32. Giữ mỗi văn bản dưới đầu vào tối đa của họ. Lưu tên họ cùng với vector, để sau này bạn nhúng truy vấn bằng cùng họ.
Lỗi và cách sửa
| Ngoại lệ | Nguyên nhân | Cách khắc phục |
|---|---|---|
openai.AuthenticationError | Khóa thống nhất sai | Sao chép lại khóa từ trang Keys |
openai.APIConnectionError | FreeLLMAPI chưa chạy, hoặc sai cổng | Mở http://localhost:3001 trong trình duyệt |
openai.NotFoundError | Base URL thiếu /v1 | Dùng http://localhost:3001/v1 |
openai.RateLimitError | Mọi khóa trong chuỗi đều đạt giới hạn | Thêm nhà cung cấp, giảm số yêu cầu song song, chờ Retry-After |
openai.BadRequestError với auto:name | Tên hồ sơ không tồn tại | Kiểm tra tên hồ sơ trên bảng điều khiển |
openai.UnprocessableEntityError (422) với hình ảnh | Không có model thị giác trong chuỗi của bạn | Bật một model thị giác trong chuỗi dự phòng |
Gói miễn phí không có SLA. Độ trễ thay đổi trong ngày. Các model mạnh nhất đạt giới hạn hằng ngày trước, và nhiều giới hạn được làm mới lúc nửa đêm UTC. Đừng dùng cổng miễn phí cho dịch vụ phải trả lời trong thời gian cố định.
Câu hỏi thường gặp
Có API LLM miễn phí cho Python không?
Có. Nhiều nhà cung cấp có gói miễn phí hoạt động với gói Python openai. FreeLLMAPI gom chúng sau một base URL và một khóa, với chuyển dự phòng giữa các nhà cung cấp.
Làm sao để dùng thư viện Python openai với base URL khác?
Truyền base_url vào OpenAI() hoặc AsyncOpenAI(), ví dụ base_url="http://localhost:3001/v1". Truyền khóa cổng của bạn làm api_key.
Làm sao để xử lý lỗi giới hạn tốc độ trong Python?
Đặt max_retries trên client. Bắt openai.RateLimitError, đọc tiêu đề Retry-After và chờ. Giới hạn số yêu cầu đồng thời bằng semaphore của asyncio.
Streaming có hoạt động với API LLM miễn phí trong Python không?
Có. Truyền stream=True và đọc chunk.choices[0].delta.content. FreeLLMAPI truyền theo luồng theo định dạng OpenAI cho mọi nhà cung cấp.
Tôi có thể dùng Python bất đồng bộ với API LLM miễn phí không?
Có. Dùng AsyncOpenAI với cùng base_url và khóa. Giữ số yêu cầu song song nhỏ, vì gói miễn phí giới hạn yêu cầu mỗi phút.
Hướng dẫn liên quan
- Base URL API tương thích OpenAI miễn phí
- API LLM miễn phí cho LangChain
- API LLM miễn phí cho AI agent
- API LLM miễn phí với function calling
- Giới hạn tốc độ API LLM miễn phí
Nguồn
- OpenAI Python SDK README (async, retries, raw responses, errors) (đã kiểm tra 20 November 2026)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (đã kiểm tra 20 November 2026)
- FreeLLMAPI docs: degraded mode and failover (đã kiểm tra 20 November 2026)