หน้าแรก / คู่มือ / LLM API ฟรีใน Python

LLM API ฟรีใน Python

แพ็กเกจ openai อย่างเป็นทางการสำหรับ Python ใช้ได้กับ API ที่เข้ากันได้กับ OpenAI ตัวใดก็ได้ คุณเปลี่ยน base URL และคีย์ คู่มือนี้ใช้ FreeLLMAPI ซึ่งรวมระดับฟรีของผู้ให้บริการ 45 ราย ไว้หลังคีย์เดียว และย้ายไปผู้ให้บริการรายถัดไปเมื่อขีดจำกัดหยุดคำขอ แต่ละตัวอย่างด้านล่างสมบูรณ์และรันได้ทันที

โค้ด ชื่อโมเดล และป้ายกำกับของแคตตาล็อกสดจะแสดงเป็นภาษาอังกฤษ

การตั้งค่า

ติดตั้ง FreeLLMAPI โดยรันใน Docker เปิดแดชบอร์ดที่ http://localhost:3001 เพิ่มคีย์ฟรีจากผู้ให้บริการสองรายขึ้นไปในหน้า Keys และคัดลอก unified key จากนั้นติดตั้งแพ็กเกจ Python

โค้ด Python ของคุณใช้เฉพาะ unified key คีย์ของผู้ให้บริการอยู่ใน FreeLLMAPI และเข้ารหัสไว้ในฐานข้อมูล หากคุณเปลี่ยนหรือเพิ่มคีย์ของผู้ให้บริการ คุณไม่ต้องเปลี่ยนโค้ด

ติดตั้ง

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

โมเดล auto ทำตามลำดับ fallback ในแดชบอร์ดของคุณ คุณใช้ auto:fast, auto:smart หรือ auto:reliable ได้ด้วย โปรไฟล์เช่น auto:coding หรือ model ID ที่กำหนดตายตัว

Streaming และส่วนหัวการตอบกลับ

Stream คำตอบ

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

การตอบกลับแต่ละครั้งมีส่วนหัว X-Routed-Via ซึ่งแสดงผู้ให้บริการและโมเดลที่ตอบ หากต้องการอ่านส่วนหัวด้วย SDK ให้ใช้ with_raw_response แล้วเรียก parse() เพื่อรับออบเจ็กต์ปกติ

อ่านส่วนหัวการกำหนดเส้นทาง

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

Tool calling

ส่ง tools ในรูปแบบของ OpenAI เราเตอร์ส่งต่อไปยังผู้ให้บริการที่เข้ากันได้กับ OpenAI และแปลงสำหรับ Gemini คำตอบกลับมาในรูปแบบเดียวกันสำหรับทุกผู้ให้บริการ

tool call หนึ่งครั้งและคำตอบสุดท้าย

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

ผู้ให้บริการบางรายส่ง tool call เป็นข้อความธรรมดา FreeLLMAPI แปลงคำตอบเหล่านี้เป็น tool_calls จริง ดังนั้นโค้ดของคุณอ่านรูปแบบเดียว ตรวจ msg.tool_calls เสมอก่อนอ่าน msg.content เพราะโมเดลอาจตอบโดยไม่ใช้เครื่องมือ

ใช้โมเดลที่รองรับ tool calling โมเดลฟรีเหล่านี้รองรับเครื่องมือและมีความเร็วที่วัดได้เร็วที่สุดในวันนี้:

โมเดลฟรีที่เร็วซึ่งรองรับ tool calling
โมเดลฟรีบนขนาดบริบทขีดจำกัดฟรี (ข้อเสนอที่ดีที่สุด)เครื่องมือการอ่านภาพ
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 คำขอ/นาที
250 คำขอ/วัน
70,000 โทเคน/นาที
~6M
ใช่ใช่
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 คำขอ/นาที
50 คำขอ/วัน
50 req/day account-wide (1,000 after a $10 purchase)
ใช่ไม่
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq +1 รายการเพิ่มเติม131K30 คำขอ/นาที
1,000 คำขอ/วัน
8,000 โทเคน/นาที
200,000 โทเคน/วัน
~6M
ใช่ไม่
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM +1 รายการเพิ่มเติม131K30 คำขอ/นาที
1,000 คำขอ/วัน
8,000 โทเคน/นาที
200,000 โทเคน/วัน
~6M
ใช่ไม่
GPT-OSS Safeguard 20BGroq131K30 คำขอ/นาที
1,000 คำขอ/วัน
8,000 โทเคน/นาที
200,000 โทเคน/วัน
~6M
ใช่ไม่
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 คำขอ/นาที
20 คำขอ/วัน
250,000 โทเคน/นาที
~3M
ใช่ใช่
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditใช่ใช่
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 คำขอ/นาที
5,000 คำขอ/วัน
500,000 โทเคน/วัน
500K tokens/day · 5,000 req/day
ใช่ใช่
Nemotron 3.5 Lightning 30BRequesty1M200 คำขอ/วัน
200 rpd
ใช่ไม่
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 คำขอ/นาที
20 คำขอ/วัน
250,000 โทเคน/นาที
~3M
ใช่ใช่

แสดง 10 จาก 146 โมเดลฟรีที่ตรงกัน ดูโมเดลทั้งหมด.

ข้อมูลสดจากแคตตาล็อก FreeLLMAPI (เวอร์ชัน 2026.11.19 ตรวจสอบเมื่อ 2026-11-19) ขีดจำกัดฟรีเปลี่ยนบ่อย แคตตาล็อกถูกตรวจสอบทุกวัน

Batch แบบ async ภายในขีดจำกัดฟรี

AsyncOpenAI ส่งหลายคำขอพร้อมกัน ระดับฟรีจำกัดคำขอต่อนาที ดังนั้นจำกัดการทำงานพร้อมกันด้วย semaphore ตัวอย่างนี้ลองใหม่เมื่อผู้ให้บริการทุกรายถึงขีดจำกัดด้วย

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

เราเตอร์ส่ง 429 เฉพาะเมื่อทุกคีย์ในลำดับถึงขีดจำกัดแล้ว การตอบกลับจะมีส่วนหัว Retry-After ค่า semaphore ที่น้อยและคีย์ของผู้ให้บริการที่มากขึ้นให้ผลลัพธ์ที่ดีที่สุดสำหรับ batch ขนาดใหญ่

เลือกสตริงโมเดลสำหรับแต่ละงาน

สตริงโมเดลบอกเราเตอร์ว่าจะเลือกโมเดลอย่างไร คุณใช้สตริงต่างกันในแต่ละการเรียกได้ คุณไม่จำเป็นต้องเปลี่ยนแดชบอร์ด

งานสตริงโมเดลเหตุผล
คำตอบแชตสำหรับผู้ใช้autoทำตามลำดับ fallback ที่คุณตั้งไว้ในแดชบอร์ด
การจัดประเภท การดึงข้อมูล สรุปสั้น ๆauto:fastจัดอันดับโมเดลที่เปิดใช้งานตามความเร็วที่วัดได้
คำถามยาก การรีวิวโค้ด การวางแผนauto:smartจัดอันดับโมเดลที่เปิดใช้งานตามความฉลาด
งานตามกำหนดเวลาที่ต้องเสร็จauto:reliableจัดอันดับโมเดลที่เปิดใช้งานตามอัตราความสำเร็จล่าสุด
ลำดับแยกต่างหากสำหรับแอปหนึ่งauto:<profile>ใช้ลำดับ fallback ที่ตั้งชื่อไว้
การทดสอบที่ต้องทำซ้ำได้model ID ที่กำหนดตายตัวโมเดลเดิมทุกครั้ง แต่หยุดเมื่อถึงขีดจำกัดของโมเดลนั้น

หากต้องการดูว่าคีย์ของคุณเรียกโมเดลใดได้ตอนนี้ ขอรายการโมเดลพร้อมตัวกรอง รายการเต็มยังมีโมเดลที่ยังไม่มีคีย์ด้วย

แสดงรายการโมเดลที่ตอบได้ตอนนี้

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

โมเดลที่มีสถานะ exhausted มีคีย์ แต่ทุกคีย์ถึงขีดจำกัดในตอนนี้ สถานะนี้จะหายไปเมื่อช่วงพักสิ้นสุด โมเดลที่มีสถานะ needsKey ไม่มีคีย์ที่เปิดใช้งาน

สำหรับการสนทนา ส่งส่วนหัว X-Session-Id ด้วย extra_headers FreeLLMAPI จะเก็บการสนทนานั้นไว้บนโมเดลเดียวเป็นเวลา 30 นาที หากไม่มีส่วนหัว มันใช้แฮชของข้อความผู้ใช้แรกเป็นคีย์เซสชัน

Embeddings

Embed ข้อความ

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

การ failover ของ embedding ไม่เปลี่ยนโมเดลเลย มันย้ายได้เฉพาะระหว่างผู้ให้บริการที่ให้ family เดียวกัน เวกเตอร์ของคุณจึงยังเข้ากันได้ ค่า auto ใช้ family ค่าเริ่มต้นที่คุณตั้งไว้ในแดชบอร์ด

ส่งข้อความจำนวนมากในรายการ input เดียว คำขอเดียวที่มี 32 ข้อความใช้หนึ่งคำขอจากขีดจำกัดฟรี ไม่ใช่ 32 คำขอ ให้แต่ละข้อความอยู่ต่ำกว่าค่า maximum input ของ family เก็บชื่อ family ไว้กับเวกเตอร์ของคุณ เพื่อให้คุณ embed คำค้นหาด้วย family เดียวกันในภายหลัง

ข้อผิดพลาดและวิธีแก้

Exceptionสาเหตุวิธีแก้
openai.AuthenticationErrorunified key ไม่ถูกต้องคัดลอกคีย์อีกครั้งจากหน้า Keys
openai.APIConnectionErrorFreeLLMAPI ไม่ได้ทำงาน หรือพอร์ตไม่ถูกต้องเปิด http://localhost:3001 ในเบราว์เซอร์
openai.NotFoundErrorbase URL ไม่มี /v1ใช้ http://localhost:3001/v1
openai.RateLimitErrorทุกคีย์ในลำดับถึงขีดจำกัดแล้วเพิ่มผู้ให้บริการ ลดการทำงานพร้อมกัน รอตาม Retry-After
openai.BadRequestError กับ auto:nameไม่มีโปรไฟล์ชื่อนี้ตรวจชื่อโปรไฟล์ในแดชบอร์ด
openai.UnprocessableEntityError (422) กับรูปภาพไม่มีโมเดลภาพในลำดับของคุณเปิดโมเดลภาพในลำดับ fallback

ระดับฟรีไม่มี SLA ความหน่วงเปลี่ยนไปตลอดวัน โมเดลที่แข็งแรงที่สุดถึงขีดจำกัดรายวันก่อน และขีดจำกัดหลายรายการรีเซ็ตเที่ยงคืน UTC อย่าใช้เกตเวย์ฟรีกับบริการที่ต้องตอบภายในเวลาที่กำหนด

ใช้ทุกตัวในรายการนี้ผ่านคีย์เดียว FreeLLMAPI คือเราเตอร์โอเพนซอร์สที่คุณโฮสต์เอง รวมระดับฟรีทั้งหมดนี้ไว้หลังปลายทางเดียวที่เข้ากันได้กับ OpenAI และเปลี่ยนไปใช้ตัวอื่นเมื่อตัวใดตัวหนึ่งถูกจำกัดอัตรา ดูแคตตาล็อก หรือ เริ่มใช้งานจริง.

คำถามที่พบบ่อย

มี LLM API ฟรีสำหรับ Python หรือไม่

มี ผู้ให้บริการหลายรายมีระดับฟรีที่ใช้ได้กับแพ็กเกจ openai ของ Python FreeLLMAPI รวมไว้หลัง base URL และคีย์เดียว พร้อม failover ระหว่างผู้ให้บริการ

ฉันใช้ไลบรารี openai ของ Python กับ base URL อื่นได้อย่างไร

ส่ง base_url ให้ OpenAI() หรือ AsyncOpenAI() เช่น base_url="http://localhost:3001/v1" ส่งคีย์เกตเวย์ของคุณเป็น api_key

ฉันจัดการข้อผิดพลาดขีดจำกัดอัตราใน Python อย่างไร

ตั้ง max_retries บนไคลเอนต์ จับ openai.RateLimitError อ่านส่วนหัว Retry-After แล้วรอ จำกัดการทำงานพร้อมกันด้วย asyncio semaphore

Streaming ใช้ได้กับ LLM API ฟรีใน Python หรือไม่

ได้ ส่ง stream=True แล้วอ่าน chunk.choices[0].delta.content FreeLLMAPI ทำ streaming ในรูปแบบ OpenAI สำหรับทุกผู้ให้บริการ

ฉันใช้ async Python กับ LLM API ฟรีได้หรือไม่

ได้ ใช้ AsyncOpenAI กับ base_url และคีย์เดียวกัน ให้จำนวนคำขอที่ทำพร้อมกันน้อย เพราะระดับฟรีจำกัดคำขอต่อนาที

คู่มือที่เกี่ยวข้อง

แหล่งข้อมูล

คู่มือทั้งหมด · ดูโมเดลฟรีทั้งหมด