Beranda / Panduan / API LLM gratis di Python

API LLM gratis di Python

Paket Python openai resmi berfungsi dengan API apa pun yang kompatibel dengan OpenAI. Anda mengubah base URL dan kuncinya. Panduan ini memakai FreeLLMAPI, yang menggabungkan 45 paket gratis dari penyedia di balik satu kunci dan berpindah ke penyedia berikutnya saat batas menghentikan sebuah permintaan. Setiap contoh di bawah ini lengkap dan dapat langsung dijalankan.

Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.

Pengaturan

Pasang FreeLLMAPI. Aplikasi ini berjalan di Docker. Buka dasbor di http://localhost:3001, tambahkan kunci gratis dari dua penyedia atau lebih di halaman Keys, lalu salin kunci terpadu. Kemudian pasang paket Python.

Kode Python Anda hanya memakai kunci terpadu. Kunci penyedia tetap berada di FreeLLMAPI, terenkripsi di basis datanya. Jika Anda mengubah atau menambah kunci penyedia, Anda tidak perlu mengubah kode Anda.

Pasang

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

Model auto mengikuti rantai cadangan di dasbor Anda. Anda juga dapat memakai auto:fast, auto:smart, atau auto:reliable, profil seperti auto:coding, atau ID model tetap.

Streaming dan header respons

Stream jawabannya

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

Setiap respons memiliki header X-Routed-Via dengan penyedia dan model yang menjawab. Untuk membaca header dengan SDK, gunakan with_raw_response dan panggil parse() untuk mendapatkan objek normal.

Baca header routing

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

Tool calling

Kirim tools bergaya OpenAI. Router meneruskannya ke penyedia yang kompatibel dengan OpenAI dan menerjemahkannya untuk Gemini. Jawaban kembali dalam format yang sama untuk setiap penyedia.

Satu tool call dan jawaban akhir

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Beberapa penyedia mengembalikan tool call sebagai teks biasa. FreeLLMAPI mengubah jawaban ini menjadi tool_calls yang sebenarnya, sehingga kode Anda membaca satu format. Selalu periksa msg.tool_calls sebelum Anda membaca msg.content, karena model juga dapat menjawab tanpa tool.

Gunakan model dengan tool calling. Model gratis berikut mendukung tools dan memiliki kecepatan terukur tercepat saat ini:

Model gratis cepat dengan tool calling
ModelGratis diKonteksBatas gratis (penawaran terbaik)AlatPemrosesan gambar
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 permintaan/menit
250 permintaan/hari
70,000 token/menit
~6M
YaYa
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 permintaan/menit
50 permintaan/hari
50 req/day account-wide (1,000 after a $10 purchase)
YaTidak
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq +1 lagi131K30 permintaan/menit
1,000 permintaan/hari
8,000 token/menit
200,000 token/hari
~6M
YaTidak
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM +1 lagi131K30 permintaan/menit
1,000 permintaan/hari
8,000 token/menit
200,000 token/hari
~6M
YaTidak
GPT-OSS Safeguard 20BGroq131K30 permintaan/menit
1,000 permintaan/hari
8,000 token/menit
200,000 token/hari
~6M
YaTidak
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditYaYa
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 permintaan/menit
5,000 permintaan/hari
500,000 token/hari
500K tokens/day · 5,000 req/day
YaYa
Nemotron 3.5 Lightning 30BRequesty1M200 permintaan/hari
200 rpd
YaTidak
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa

Menampilkan 10 dari 146 model gratis yang cocok. Lihat semua model.

Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.

Batch async dalam batas gratis

AsyncOpenAI mengirim banyak permintaan secara bersamaan. Paket gratis membatasi permintaan per menit, jadi batasi konkurensi dengan semaphore. Contoh ini juga mencoba ulang saat semua penyedia mencapai batasnya.

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

Router mengembalikan 429 hanya saat setiap kunci dalam rantai mencapai batasnya. Respons kemudian memiliki header Retry-After. Nilai semaphore yang kecil dan lebih banyak kunci penyedia memberi hasil terbaik untuk batch besar.

Pilih string model untuk setiap tugas

String model memberi tahu router cara memilih model. Anda dapat memakai string yang berbeda di setiap panggilan. Anda tidak perlu mengubah dasbor.

TugasString modelAlasan
Jawaban chat untuk penggunaautoMengikuti rantai cadangan yang Anda atur di dasbor
Klasifikasi, ekstraksi, ringkasan singkatauto:fastMengurutkan model yang aktif berdasarkan kecepatan terukur
Pertanyaan sulit, tinjauan kode, perencanaanauto:smartMengurutkan model yang aktif berdasarkan kecerdasan
Tugas terjadwal yang harus selesaiauto:reliableMengurutkan model yang aktif berdasarkan tingkat keberhasilan terbaru
Rantai terpisah untuk satu aplikasiauto:<profile>Memakai rantai cadangan bernama
Pengujian yang harus dapat diulangID model tetapModel yang sama setiap kali, tetapi berhenti saat model itu mencapai batasnya

Untuk melihat model yang dapat dipanggil oleh kunci Anda saat ini, minta daftar model dengan filter. Daftar lengkap juga memuat model yang belum memiliki kunci.

Daftar model yang dapat menjawab sekarang

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

Model dengan status exhausted memiliki kunci, tetapi semuanya telah mencapai batas saat ini. Status ini hilang saat cooldown berakhir. Model dengan status needsKey tidak memiliki kunci yang aktif.

Untuk sebuah percakapan, kirim header X-Session-Id dengan extra_headers. FreeLLMAPI kemudian menjaga percakapan itu tetap pada satu model selama 30 menit. Tanpa header ini, FreeLLMAPI memakai hash dari pesan pengguna pertama sebagai kunci sesi.

Embeddings

Embed teks

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

Failover embeddings tidak pernah mengubah model. Layanan ini hanya berpindah di antara penyedia yang melayani family yang sama, sehingga vektor Anda tetap kompatibel. Nilai auto memakai family default yang Anda atur di dasbor.

Kirim banyak teks dalam satu daftar input. Satu permintaan dengan 32 teks memakai satu permintaan dari batas gratis, bukan 32. Jaga setiap teks di bawah input maksimum family tersebut. Simpan nama family bersama vektor Anda, sehingga Anda dapat melakukan embed kueri dengan family yang sama nanti.

Error dan solusinya

ExceptionPenyebabSolusi
openai.AuthenticationErrorKunci terpadu salahSalin ulang kunci dari halaman Keys
openai.APIConnectionErrorFreeLLMAPI tidak berjalan, atau port salahBuka http://localhost:3001 di browser
openai.NotFoundErrorBase URL tidak memiliki /v1Gunakan http://localhost:3001/v1
openai.RateLimitErrorSemua kunci dalam rantai mencapai batasnyaTambahkan penyedia, turunkan konkurensi, tunggu Retry-After
openai.BadRequestError dengan auto:nameNama profil tidak adaPeriksa nama profil di dasbor
openai.UnprocessableEntityError (422) dengan gambarTidak ada model vision di rantai AndaAktifkan model vision di rantai cadangan

Paket gratis tidak memiliki SLA. Latensi berubah sepanjang hari. Model terkuat mencapai batas harian lebih dulu, dan banyak batas direset pada tengah malam UTC. Jangan gunakan gateway gratis untuk layanan yang harus menjawab dalam waktu tetap.

Gunakan semua ini melalui satu kunci. FreeLLMAPI adalah router sumber terbuka yang Anda hosting sendiri. Router ini menempatkan semua paket gratis ini di balik satu endpoint yang kompatibel dengan OpenAI, dan beralih ke penyedia lain saat batas permintaan tercapai. Lihat katalog atau mulai.

Pertanyaan yang sering diajukan

Apakah ada API LLM gratis untuk Python?

Ya. Banyak penyedia memiliki paket gratis yang berfungsi dengan paket Python openai. FreeLLMAPI menggabungkannya di balik satu base URL dan satu kunci, dengan failover antarpenyedia.

Bagaimana cara memakai pustaka Python openai dengan base URL yang berbeda?

Berikan base_url ke OpenAI() atau AsyncOpenAI(), misalnya base_url="http://localhost:3001/v1". Berikan kunci gateway Anda sebagai api_key.

Bagaimana cara menangani error batas permintaan di Python?

Atur max_retries pada client. Tangkap openai.RateLimitError, baca header Retry-After, lalu tunggu. Batasi konkurensi dengan semaphore asyncio.

Apakah streaming berfungsi dengan API LLM gratis di Python?

Ya. Berikan stream=True dan baca chunk.choices[0].delta.content. FreeLLMAPI melakukan streaming dalam format OpenAI untuk setiap penyedia.

Dapatkah saya memakai Python async dengan API LLM gratis?

Dapat. Gunakan AsyncOpenAI dengan base_url dan kunci yang sama. Jaga jumlah permintaan paralel tetap kecil, karena paket gratis membatasi permintaan per menit.

Panduan terkait

Sumber

Semua panduan · Lihat semua model gratis