LLM API ฟรีใน Python
แพ็กเกจ openai อย่างเป็นทางการสำหรับ Python ใช้ได้กับ API ที่เข้ากันได้กับ OpenAI ตัวใดก็ได้ คุณเปลี่ยน base URL และคีย์ คู่มือนี้ใช้ FreeLLMAPI ซึ่งรวมระดับฟรีของผู้ให้บริการ 45 ราย ไว้หลังคีย์เดียว และย้ายไปผู้ให้บริการรายถัดไปเมื่อขีดจำกัดหยุดคำขอ แต่ละตัวอย่างด้านล่างสมบูรณ์และรันได้ทันที
โค้ด ชื่อโมเดล และป้ายกำกับของแคตตาล็อกสดจะแสดงเป็นภาษาอังกฤษ
การตั้งค่า
ติดตั้ง FreeLLMAPI โดยรันใน Docker เปิดแดชบอร์ดที่ http://localhost:3001 เพิ่มคีย์ฟรีจากผู้ให้บริการสองรายขึ้นไปในหน้า Keys และคัดลอก unified key จากนั้นติดตั้งแพ็กเกจ Python
โค้ด Python ของคุณใช้เฉพาะ unified key คีย์ของผู้ให้บริการอยู่ใน FreeLLMAPI และเข้ารหัสไว้ในฐานข้อมูล หากคุณเปลี่ยนหรือเพิ่มคีย์ของผู้ให้บริการ คุณไม่ต้องเปลี่ยนโค้ด
ติดตั้ง
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)โมเดล auto ทำตามลำดับ fallback ในแดชบอร์ดของคุณ คุณใช้ auto:fast, auto:smart หรือ auto:reliable ได้ด้วย โปรไฟล์เช่น auto:coding หรือ model ID ที่กำหนดตายตัว
Streaming และส่วนหัวการตอบกลับ
Stream คำตอบ
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()การตอบกลับแต่ละครั้งมีส่วนหัว X-Routed-Via ซึ่งแสดงผู้ให้บริการและโมเดลที่ตอบ หากต้องการอ่านส่วนหัวด้วย SDK ให้ใช้ with_raw_response แล้วเรียก parse() เพื่อรับออบเจ็กต์ปกติ
อ่านส่วนหัวการกำหนดเส้นทาง
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)Tool calling
ส่ง tools ในรูปแบบของ OpenAI เราเตอร์ส่งต่อไปยังผู้ให้บริการที่เข้ากันได้กับ OpenAI และแปลงสำหรับ Gemini คำตอบกลับมาในรูปแบบเดียวกันสำหรับทุกผู้ให้บริการ
tool call หนึ่งครั้งและคำตอบสุดท้าย
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)ผู้ให้บริการบางรายส่ง tool call เป็นข้อความธรรมดา FreeLLMAPI แปลงคำตอบเหล่านี้เป็น tool_calls จริง ดังนั้นโค้ดของคุณอ่านรูปแบบเดียว ตรวจ msg.tool_calls เสมอก่อนอ่าน msg.content เพราะโมเดลอาจตอบโดยไม่ใช้เครื่องมือ
ใช้โมเดลที่รองรับ tool calling โมเดลฟรีเหล่านี้รองรับเครื่องมือและมีความเร็วที่วัดได้เร็วที่สุดในวันนี้:
| โมเดล | ฟรีบน | ขนาดบริบท | ขีดจำกัดฟรี (ข้อเสนอที่ดีที่สุด) | เครื่องมือ | การอ่านภาพ |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 คำขอ/นาที 250 คำขอ/วัน 70,000 โทเคน/นาที ~6M | ใช่ | ใช่ |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 คำขอ/นาที 50 คำขอ/วัน 50 req/day account-wide (1,000 after a $10 purchase) | ใช่ | ไม่ |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq +1 รายการเพิ่มเติม | 131K | 30 คำขอ/นาที 1,000 คำขอ/วัน 8,000 โทเคน/นาที 200,000 โทเคน/วัน ~6M | ใช่ | ไม่ |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM +1 รายการเพิ่มเติม | 131K | 30 คำขอ/นาที 1,000 คำขอ/วัน 8,000 โทเคน/นาที 200,000 โทเคน/วัน ~6M | ใช่ | ไม่ |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 คำขอ/นาที 1,000 คำขอ/วัน 8,000 โทเคน/นาที 200,000 โทเคน/วัน ~6M | ใช่ | ไม่ |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 คำขอ/นาที 20 คำขอ/วัน 250,000 โทเคน/นาที ~3M | ใช่ | ใช่ |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | ใช่ | ใช่ |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 คำขอ/นาที 5,000 คำขอ/วัน 500,000 โทเคน/วัน 500K tokens/day · 5,000 req/day | ใช่ | ใช่ |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 คำขอ/วัน 200 rpd | ใช่ | ไม่ |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 คำขอ/นาที 20 คำขอ/วัน 250,000 โทเคน/นาที ~3M | ใช่ | ใช่ |
แสดง 10 จาก 146 โมเดลฟรีที่ตรงกัน ดูโมเดลทั้งหมด.
ข้อมูลสดจากแคตตาล็อก FreeLLMAPI (เวอร์ชัน 2026.11.19 ตรวจสอบเมื่อ 2026-11-19) ขีดจำกัดฟรีเปลี่ยนบ่อย แคตตาล็อกถูกตรวจสอบทุกวัน
Batch แบบ async ภายในขีดจำกัดฟรี
AsyncOpenAI ส่งหลายคำขอพร้อมกัน ระดับฟรีจำกัดคำขอต่อนาที ดังนั้นจำกัดการทำงานพร้อมกันด้วย semaphore ตัวอย่างนี้ลองใหม่เมื่อผู้ให้บริการทุกรายถึงขีดจำกัดด้วย
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())เราเตอร์ส่ง 429 เฉพาะเมื่อทุกคีย์ในลำดับถึงขีดจำกัดแล้ว การตอบกลับจะมีส่วนหัว Retry-After ค่า semaphore ที่น้อยและคีย์ของผู้ให้บริการที่มากขึ้นให้ผลลัพธ์ที่ดีที่สุดสำหรับ batch ขนาดใหญ่
เลือกสตริงโมเดลสำหรับแต่ละงาน
สตริงโมเดลบอกเราเตอร์ว่าจะเลือกโมเดลอย่างไร คุณใช้สตริงต่างกันในแต่ละการเรียกได้ คุณไม่จำเป็นต้องเปลี่ยนแดชบอร์ด
| งาน | สตริงโมเดล | เหตุผล |
|---|---|---|
| คำตอบแชตสำหรับผู้ใช้ | auto | ทำตามลำดับ fallback ที่คุณตั้งไว้ในแดชบอร์ด |
| การจัดประเภท การดึงข้อมูล สรุปสั้น ๆ | auto:fast | จัดอันดับโมเดลที่เปิดใช้งานตามความเร็วที่วัดได้ |
| คำถามยาก การรีวิวโค้ด การวางแผน | auto:smart | จัดอันดับโมเดลที่เปิดใช้งานตามความฉลาด |
| งานตามกำหนดเวลาที่ต้องเสร็จ | auto:reliable | จัดอันดับโมเดลที่เปิดใช้งานตามอัตราความสำเร็จล่าสุด |
| ลำดับแยกต่างหากสำหรับแอปหนึ่ง | auto:<profile> | ใช้ลำดับ fallback ที่ตั้งชื่อไว้ |
| การทดสอบที่ต้องทำซ้ำได้ | model ID ที่กำหนดตายตัว | โมเดลเดิมทุกครั้ง แต่หยุดเมื่อถึงขีดจำกัดของโมเดลนั้น |
หากต้องการดูว่าคีย์ของคุณเรียกโมเดลใดได้ตอนนี้ ขอรายการโมเดลพร้อมตัวกรอง รายการเต็มยังมีโมเดลที่ยังไม่มีคีย์ด้วย
แสดงรายการโมเดลที่ตอบได้ตอนนี้
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])โมเดลที่มีสถานะ exhausted มีคีย์ แต่ทุกคีย์ถึงขีดจำกัดในตอนนี้ สถานะนี้จะหายไปเมื่อช่วงพักสิ้นสุด โมเดลที่มีสถานะ needsKey ไม่มีคีย์ที่เปิดใช้งาน
สำหรับการสนทนา ส่งส่วนหัว X-Session-Id ด้วย extra_headers FreeLLMAPI จะเก็บการสนทนานั้นไว้บนโมเดลเดียวเป็นเวลา 30 นาที หากไม่มีส่วนหัว มันใช้แฮชของข้อความผู้ใช้แรกเป็นคีย์เซสชัน
Embeddings
Embed ข้อความ
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")การ failover ของ embedding ไม่เปลี่ยนโมเดลเลย มันย้ายได้เฉพาะระหว่างผู้ให้บริการที่ให้ family เดียวกัน เวกเตอร์ของคุณจึงยังเข้ากันได้ ค่า auto ใช้ family ค่าเริ่มต้นที่คุณตั้งไว้ในแดชบอร์ด
ส่งข้อความจำนวนมากในรายการ input เดียว คำขอเดียวที่มี 32 ข้อความใช้หนึ่งคำขอจากขีดจำกัดฟรี ไม่ใช่ 32 คำขอ ให้แต่ละข้อความอยู่ต่ำกว่าค่า maximum input ของ family เก็บชื่อ family ไว้กับเวกเตอร์ของคุณ เพื่อให้คุณ embed คำค้นหาด้วย family เดียวกันในภายหลัง
ข้อผิดพลาดและวิธีแก้
| Exception | สาเหตุ | วิธีแก้ |
|---|---|---|
openai.AuthenticationError | unified key ไม่ถูกต้อง | คัดลอกคีย์อีกครั้งจากหน้า Keys |
openai.APIConnectionError | FreeLLMAPI ไม่ได้ทำงาน หรือพอร์ตไม่ถูกต้อง | เปิด http://localhost:3001 ในเบราว์เซอร์ |
openai.NotFoundError | base URL ไม่มี /v1 | ใช้ http://localhost:3001/v1 |
openai.RateLimitError | ทุกคีย์ในลำดับถึงขีดจำกัดแล้ว | เพิ่มผู้ให้บริการ ลดการทำงานพร้อมกัน รอตาม Retry-After |
openai.BadRequestError กับ auto:name | ไม่มีโปรไฟล์ชื่อนี้ | ตรวจชื่อโปรไฟล์ในแดชบอร์ด |
openai.UnprocessableEntityError (422) กับรูปภาพ | ไม่มีโมเดลภาพในลำดับของคุณ | เปิดโมเดลภาพในลำดับ fallback |
ระดับฟรีไม่มี SLA ความหน่วงเปลี่ยนไปตลอดวัน โมเดลที่แข็งแรงที่สุดถึงขีดจำกัดรายวันก่อน และขีดจำกัดหลายรายการรีเซ็ตเที่ยงคืน UTC อย่าใช้เกตเวย์ฟรีกับบริการที่ต้องตอบภายในเวลาที่กำหนด
คำถามที่พบบ่อย
มี LLM API ฟรีสำหรับ Python หรือไม่
มี ผู้ให้บริการหลายรายมีระดับฟรีที่ใช้ได้กับแพ็กเกจ openai ของ Python FreeLLMAPI รวมไว้หลัง base URL และคีย์เดียว พร้อม failover ระหว่างผู้ให้บริการ
ฉันใช้ไลบรารี openai ของ Python กับ base URL อื่นได้อย่างไร
ส่ง base_url ให้ OpenAI() หรือ AsyncOpenAI() เช่น base_url="http://localhost:3001/v1" ส่งคีย์เกตเวย์ของคุณเป็น api_key
ฉันจัดการข้อผิดพลาดขีดจำกัดอัตราใน Python อย่างไร
ตั้ง max_retries บนไคลเอนต์ จับ openai.RateLimitError อ่านส่วนหัว Retry-After แล้วรอ จำกัดการทำงานพร้อมกันด้วย asyncio semaphore
Streaming ใช้ได้กับ LLM API ฟรีใน Python หรือไม่
ได้ ส่ง stream=True แล้วอ่าน chunk.choices[0].delta.content FreeLLMAPI ทำ streaming ในรูปแบบ OpenAI สำหรับทุกผู้ให้บริการ
ฉันใช้ async Python กับ LLM API ฟรีได้หรือไม่
ได้ ใช้ AsyncOpenAI กับ base_url และคีย์เดียวกัน ให้จำนวนคำขอที่ทำพร้อมกันน้อย เพราะระดับฟรีจำกัดคำขอต่อนาที
คู่มือที่เกี่ยวข้อง
- Base URL ของ API ฟรีที่เข้ากันได้กับ OpenAI
- Free LLM API สำหรับ LangChain
- Free LLM API สำหรับ AI agent
- Free LLM API ที่รองรับ function calling
- Rate limit ของ Free LLM API
แหล่งข้อมูล
- OpenAI Python SDK README (async, retries, raw responses, errors) (ตรวจสอบเมื่อ 20 November 2026)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (ตรวจสอบเมื่อ 20 November 2026)
- FreeLLMAPI docs: degraded mode and failover (ตรวจสอบเมื่อ 20 November 2026)