API LLM gratis di Python
Paket Python openai resmi berfungsi dengan API apa pun yang kompatibel dengan OpenAI. Anda mengubah base URL dan kuncinya. Panduan ini memakai FreeLLMAPI, yang menggabungkan 45 paket gratis dari penyedia di balik satu kunci dan berpindah ke penyedia berikutnya saat batas menghentikan sebuah permintaan. Setiap contoh di bawah ini lengkap dan dapat langsung dijalankan.
Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.
Pengaturan
Pasang FreeLLMAPI. Aplikasi ini berjalan di Docker. Buka dasbor di http://localhost:3001, tambahkan kunci gratis dari dua penyedia atau lebih di halaman Keys, lalu salin kunci terpadu. Kemudian pasang paket Python.
Kode Python Anda hanya memakai kunci terpadu. Kunci penyedia tetap berada di FreeLLMAPI, terenkripsi di basis datanya. Jika Anda mengubah atau menambah kunci penyedia, Anda tidak perlu mengubah kode Anda.
Pasang
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)Model auto mengikuti rantai cadangan di dasbor Anda. Anda juga dapat memakai auto:fast, auto:smart, atau auto:reliable, profil seperti auto:coding, atau ID model tetap.
Streaming dan header respons
Stream jawabannya
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()Setiap respons memiliki header X-Routed-Via dengan penyedia dan model yang menjawab. Untuk membaca header dengan SDK, gunakan with_raw_response dan panggil parse() untuk mendapatkan objek normal.
Baca header routing
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)Tool calling
Kirim tools bergaya OpenAI. Router meneruskannya ke penyedia yang kompatibel dengan OpenAI dan menerjemahkannya untuk Gemini. Jawaban kembali dalam format yang sama untuk setiap penyedia.
Satu tool call dan jawaban akhir
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)Beberapa penyedia mengembalikan tool call sebagai teks biasa. FreeLLMAPI mengubah jawaban ini menjadi tool_calls yang sebenarnya, sehingga kode Anda membaca satu format. Selalu periksa msg.tool_calls sebelum Anda membaca msg.content, karena model juga dapat menjawab tanpa tool.
Gunakan model dengan tool calling. Model gratis berikut mendukung tools dan memiliki kecepatan terukur tercepat saat ini:
| Model | Gratis di | Konteks | Batas gratis (penawaran terbaik) | Alat | Pemrosesan gambar |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 permintaan/menit 250 permintaan/hari 70,000 token/menit ~6M | Ya | Ya |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 permintaan/menit 50 permintaan/hari 50 req/day account-wide (1,000 after a $10 purchase) | Ya | Tidak |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq +1 lagi | 131K | 30 permintaan/menit 1,000 permintaan/hari 8,000 token/menit 200,000 token/hari ~6M | Ya | Tidak |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM +1 lagi | 131K | 30 permintaan/menit 1,000 permintaan/hari 8,000 token/menit 200,000 token/hari ~6M | Ya | Tidak |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 permintaan/menit 1,000 permintaan/hari 8,000 token/menit 200,000 token/hari ~6M | Ya | Tidak |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | Ya | Ya |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 permintaan/menit 5,000 permintaan/hari 500,000 token/hari 500K tokens/day · 5,000 req/day | Ya | Ya |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 permintaan/hari 200 rpd | Ya | Tidak |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
Menampilkan 10 dari 146 model gratis yang cocok. Lihat semua model.
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
Batch async dalam batas gratis
AsyncOpenAI mengirim banyak permintaan secara bersamaan. Paket gratis membatasi permintaan per menit, jadi batasi konkurensi dengan semaphore. Contoh ini juga mencoba ulang saat semua penyedia mencapai batasnya.
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())Router mengembalikan 429 hanya saat setiap kunci dalam rantai mencapai batasnya. Respons kemudian memiliki header Retry-After. Nilai semaphore yang kecil dan lebih banyak kunci penyedia memberi hasil terbaik untuk batch besar.
Pilih string model untuk setiap tugas
String model memberi tahu router cara memilih model. Anda dapat memakai string yang berbeda di setiap panggilan. Anda tidak perlu mengubah dasbor.
| Tugas | String model | Alasan |
|---|---|---|
| Jawaban chat untuk pengguna | auto | Mengikuti rantai cadangan yang Anda atur di dasbor |
| Klasifikasi, ekstraksi, ringkasan singkat | auto:fast | Mengurutkan model yang aktif berdasarkan kecepatan terukur |
| Pertanyaan sulit, tinjauan kode, perencanaan | auto:smart | Mengurutkan model yang aktif berdasarkan kecerdasan |
| Tugas terjadwal yang harus selesai | auto:reliable | Mengurutkan model yang aktif berdasarkan tingkat keberhasilan terbaru |
| Rantai terpisah untuk satu aplikasi | auto:<profile> | Memakai rantai cadangan bernama |
| Pengujian yang harus dapat diulang | ID model tetap | Model yang sama setiap kali, tetapi berhenti saat model itu mencapai batasnya |
Untuk melihat model yang dapat dipanggil oleh kunci Anda saat ini, minta daftar model dengan filter. Daftar lengkap juga memuat model yang belum memiliki kunci.
Daftar model yang dapat menjawab sekarang
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])Model dengan status exhausted memiliki kunci, tetapi semuanya telah mencapai batas saat ini. Status ini hilang saat cooldown berakhir. Model dengan status needsKey tidak memiliki kunci yang aktif.
Untuk sebuah percakapan, kirim header X-Session-Id dengan extra_headers. FreeLLMAPI kemudian menjaga percakapan itu tetap pada satu model selama 30 menit. Tanpa header ini, FreeLLMAPI memakai hash dari pesan pengguna pertama sebagai kunci sesi.
Embeddings
Embed teks
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")Failover embeddings tidak pernah mengubah model. Layanan ini hanya berpindah di antara penyedia yang melayani family yang sama, sehingga vektor Anda tetap kompatibel. Nilai auto memakai family default yang Anda atur di dasbor.
Kirim banyak teks dalam satu daftar input. Satu permintaan dengan 32 teks memakai satu permintaan dari batas gratis, bukan 32. Jaga setiap teks di bawah input maksimum family tersebut. Simpan nama family bersama vektor Anda, sehingga Anda dapat melakukan embed kueri dengan family yang sama nanti.
Error dan solusinya
| Exception | Penyebab | Solusi |
|---|---|---|
openai.AuthenticationError | Kunci terpadu salah | Salin ulang kunci dari halaman Keys |
openai.APIConnectionError | FreeLLMAPI tidak berjalan, atau port salah | Buka http://localhost:3001 di browser |
openai.NotFoundError | Base URL tidak memiliki /v1 | Gunakan http://localhost:3001/v1 |
openai.RateLimitError | Semua kunci dalam rantai mencapai batasnya | Tambahkan penyedia, turunkan konkurensi, tunggu Retry-After |
openai.BadRequestError dengan auto:name | Nama profil tidak ada | Periksa nama profil di dasbor |
openai.UnprocessableEntityError (422) dengan gambar | Tidak ada model vision di rantai Anda | Aktifkan model vision di rantai cadangan |
Paket gratis tidak memiliki SLA. Latensi berubah sepanjang hari. Model terkuat mencapai batas harian lebih dulu, dan banyak batas direset pada tengah malam UTC. Jangan gunakan gateway gratis untuk layanan yang harus menjawab dalam waktu tetap.
Pertanyaan yang sering diajukan
Apakah ada API LLM gratis untuk Python?
Ya. Banyak penyedia memiliki paket gratis yang berfungsi dengan paket Python openai. FreeLLMAPI menggabungkannya di balik satu base URL dan satu kunci, dengan failover antarpenyedia.
Bagaimana cara memakai pustaka Python openai dengan base URL yang berbeda?
Berikan base_url ke OpenAI() atau AsyncOpenAI(), misalnya base_url="http://localhost:3001/v1". Berikan kunci gateway Anda sebagai api_key.
Bagaimana cara menangani error batas permintaan di Python?
Atur max_retries pada client. Tangkap openai.RateLimitError, baca header Retry-After, lalu tunggu. Batasi konkurensi dengan semaphore asyncio.
Apakah streaming berfungsi dengan API LLM gratis di Python?
Ya. Berikan stream=True dan baca chunk.choices[0].delta.content. FreeLLMAPI melakukan streaming dalam format OpenAI untuk setiap penyedia.
Dapatkah saya memakai Python async dengan API LLM gratis?
Dapat. Gunakan AsyncOpenAI dengan base_url dan kunci yang sama. Jaga jumlah permintaan paralel tetap kecil, karena paket gratis membatasi permintaan per menit.
Panduan terkait
- Base URL free API kompatibel OpenAI
- Free LLM API untuk LangChain
- API LLM gratis untuk agen AI
- Free LLM API dengan function calling
- Batas rate limit API LLM gratis
Sumber
- OpenAI Python SDK README (async, retries, raw responses, errors) (diperiksa 20 November 2026)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (diperiksa 20 November 2026)
- FreeLLMAPI docs: degraded mode and failover (diperiksa 20 November 2026)