API LLM percuma dalam Python
Pakej Python openai rasmi berfungsi dengan mana-mana API yang serasi dengan OpenAI. Anda menukar base URL dan kunci. Panduan ini menggunakan FreeLLMAPI, yang menghimpunkan 45 peringkat pembekal percuma di belakang satu kunci dan beralih kepada pembekal seterusnya apabila had menghentikan permintaan. Setiap contoh di bawah lengkap dan berjalan seperti sedia ada.
Kod, nama model dan label katalog langsung dipaparkan dalam bahasa Inggeris.
Persediaan
Pasang FreeLLMAPI. Ia berjalan dalam Docker. Buka papan pemuka di http://localhost:3001, tambah kunci percuma daripada dua pembekal atau lebih pada halaman Keys dan salin kunci bersatu. Kemudian pasang pakej Python.
Kod Python anda hanya menggunakan kunci bersatu. Kunci pembekal kekal dalam FreeLLMAPI, disulitkan dalam pangkalan datanya. Jika anda menukar atau menambah kunci pembekal, anda tidak perlu menukar kod anda.
Pasang
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)Model auto mengikut rantai sandaran anda pada papan pemuka. Anda juga boleh guna auto:fast, auto:smart atau auto:reliable, profil seperti auto:coding, atau ID model tetap.
Streaming dan pengepala respons
Strim jawapan
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()Setiap respons mempunyai pengepala X-Routed-Via dengan pembekal dan model yang menjawab. Untuk membaca pengepala dengan SDK, guna with_raw_response dan panggil parse() untuk mendapat objek biasa.
Baca pengepala penghalaan
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)Panggilan alat
Hantar tools bergaya OpenAI. Penghala menghantarnya kepada pembekal yang serasi dengan OpenAI dan menterjemahkannya untuk Gemini. Jawapan kembali dalam format yang sama untuk setiap pembekal.
Satu panggilan alat dan jawapan akhir
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)Sesetengah pembekal memulangkan panggilan alat sebagai teks biasa. FreeLLMAPI menukar jawapan ini kepada tool_calls sebenar, jadi kod anda membaca satu format. Sentiasa semak msg.tool_calls sebelum anda membaca msg.content, kerana model juga boleh menjawab tanpa alat.
Guna model dengan panggilan alat. Model percuma ini menyokong alat dan mempunyai kelajuan yang diukur paling pantas hari ini:
| Model | Percuma pada | Konteks | Had percuma (tawaran terbaik) | Alat | Penglihatan |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 permintaan/minit 250 permintaan/hari 70,000 token/minit ~6M | Ya | Ya |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 permintaan/minit 50 permintaan/hari 50 req/day account-wide (1,000 after a $10 purchase) | Ya | Tidak |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq +1 lagi | 131K | 30 permintaan/minit 1,000 permintaan/hari 8,000 token/minit 200,000 token/hari ~6M | Ya | Tidak |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM +1 lagi | 131K | 30 permintaan/minit 1,000 permintaan/hari 8,000 token/minit 200,000 token/hari ~6M | Ya | Tidak |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 permintaan/minit 1,000 permintaan/hari 8,000 token/minit 200,000 token/hari ~6M | Ya | Tidak |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | Ya | Ya |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 permintaan/minit 5,000 permintaan/hari 500,000 token/hari 500K tokens/day · 5,000 req/day | Ya | Ya |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 permintaan/hari 200 rpd | Ya | Tidak |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
Memaparkan 10 daripada 146 model percuma yang sepadan. Lihat semua model.
Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.
Kelompok async dalam had percuma
AsyncOpenAI menghantar banyak permintaan serentak. Peringkat percuma mengehadkan permintaan seminit, jadi hadkan keserentakan dengan semaphore. Contoh ini juga mencuba semula apabila setiap pembekal telah mencapai hadnya.
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())Penghala hanya memulangkan 429 apabila setiap kunci dalam rantai telah mencapai hadnya. Respons kemudian mempunyai pengepala Retry-After. Nilai semaphore yang kecil dan lebih banyak kunci pembekal memberikan hasil terbaik untuk kelompok besar.
Pilih rentetan model untuk setiap tugas
Rentetan model memberitahu penghala cara memilih model. Anda boleh guna rentetan yang berbeza dalam setiap panggilan. Anda tidak perlu menukar papan pemuka.
| Tugas | Rentetan model | Sebab |
|---|---|---|
| Jawapan sembang untuk pengguna | auto | Mengikut rantai sandaran yang anda tetapkan pada papan pemuka |
| Klasifikasi, pengekstrakan, ringkasan pendek | auto:fast | Menyusun model yang didayakan mengikut kelajuan yang diukur |
| Soalan sukar, semakan kod, perancangan | auto:smart | Menyusun model yang didayakan mengikut kecerdasan |
| Tugas berjadual yang mesti selesai | auto:reliable | Menyusun model yang didayakan mengikut kadar kejayaan terkini |
| Rantai berasingan untuk satu aplikasi | auto:<profile> | Guna rantai sandaran bernama |
| Ujian yang mesti boleh diulang | ID model tetap | Model yang sama setiap kali, tetapi berhenti pada had model itu |
Untuk melihat model yang boleh dipanggil oleh kunci anda sekarang, minta senarai model dengan penapis. Senarai penuh juga mengandungi model yang belum ada kunci.
Senaraikan model yang boleh menjawab sekarang
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])Model dengan status exhausted mempunyai kunci, tetapi semuanya telah mencapai had sekarang. Status itu dikosongkan apabila tempoh rehat tamat. Model dengan status needsKey tidak mempunyai kunci yang didayakan.
Untuk perbualan, hantar pengepala X-Session-Id dengan extra_headers. FreeLLMAPI kemudian mengekalkan perbualan itu pada satu model selama 30 minit. Tanpa pengepala itu, ia menggunakan hash mesej pengguna pertama sebagai kunci sesi.
Embeddings
Embed teks
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")Failover embedding tidak sekali-kali menukar model. Ia hanya beralih antara pembekal yang menyediakan keluarga yang sama, jadi vektor anda kekal serasi. Nilai auto menggunakan keluarga lalai yang anda tetapkan pada papan pemuka.
Hantar banyak teks dalam satu senarai input. Satu permintaan dengan 32 teks menggunakan satu permintaan daripada had percuma, bukan 32. Kekalkan setiap teks di bawah input maksimum keluarga itu. Simpan nama keluarga bersama vektor anda, supaya anda boleh embed pertanyaan dengan keluarga yang sama kemudian.
Ralat dan penyelesaian
| Pengecualian | Punca | Penyelesaian |
|---|---|---|
openai.AuthenticationError | Kunci bersatu salah | Salin semula kunci daripada halaman Keys |
openai.APIConnectionError | FreeLLMAPI tidak berjalan, atau port salah | Buka http://localhost:3001 dalam pelayar |
openai.NotFoundError | Base URL tiada /v1 | Guna http://localhost:3001/v1 |
openai.RateLimitError | Semua kunci dalam rantai telah mencapai had | Tambah pembekal, kurangkan keserentakan, tunggu Retry-After |
openai.BadRequestError dengan auto:name | Nama profil tidak wujud | Semak nama profil pada papan pemuka |
openai.UnprocessableEntityError (422) dengan imej | Tiada model penglihatan dalam rantai anda | Dayakan model penglihatan dalam rantai sandaran |
Peringkat percuma tidak mempunyai SLA. Kelewatan berubah sepanjang hari. Model paling kuat mencapai had harian dahulu, dan banyak had ditetapkan semula pada tengah malam UTC. Jangan guna gerbang percuma untuk perkhidmatan yang mesti menjawab dalam masa yang tetap.
Soalan lazim
Adakah terdapat API LLM percuma untuk Python?
Ada. Banyak pembekal mempunyai peringkat percuma yang berfungsi dengan pakej Python openai. FreeLLMAPI menggabungkannya di belakang satu base URL dan satu kunci, dengan failover antara pembekal.
Bagaimana saya guna pustaka Python openai dengan base URL yang berbeza?
Hantar base_url kepada OpenAI() atau AsyncOpenAI(), contohnya base_url="http://localhost:3001/v1". Hantar kunci gerbang anda sebagai api_key.
Bagaimana saya mengendalikan ralat had kadar dalam Python?
Tetapkan max_retries pada klien. Tangkap openai.RateLimitError, baca pengepala Retry-After dan tunggu. Hadkan keserentakan dengan semaphore asyncio.
Adakah streaming berfungsi dengan API LLM percuma dalam Python?
Ya. Hantar stream=True dan baca chunk.choices[0].delta.content. FreeLLMAPI menstrim dalam format OpenAI untuk setiap pembekal.
Bolehkah saya guna Python async dengan API LLM percuma?
Boleh. Guna AsyncOpenAI dengan base_url dan kunci yang sama. Kekalkan bilangan permintaan selari kecil, kerana peringkat percuma mengehadkan permintaan seminit.
Panduan berkaitan
- Base URL API percuma yang serasi dengan OpenAI
- API LLM percuma untuk LangChain
- Free LLM API untuk ejen AI
- API LLM percuma dengan panggilan fungsi
- Had kadar Free LLM API
Sumber
- OpenAI Python SDK README (async, retries, raw responses, errors) (disemak 20 November 2026)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (disemak 20 November 2026)
- FreeLLMAPI docs: degraded mode and failover (disemak 20 November 2026)