Laman utama / Panduan / API LLM percuma dalam Python

API LLM percuma dalam Python

Pakej Python openai rasmi berfungsi dengan mana-mana API yang serasi dengan OpenAI. Anda menukar base URL dan kunci. Panduan ini menggunakan FreeLLMAPI, yang menghimpunkan 45 peringkat pembekal percuma di belakang satu kunci dan beralih kepada pembekal seterusnya apabila had menghentikan permintaan. Setiap contoh di bawah lengkap dan berjalan seperti sedia ada.

Kod, nama model dan label katalog langsung dipaparkan dalam bahasa Inggeris.

Persediaan

Pasang FreeLLMAPI. Ia berjalan dalam Docker. Buka papan pemuka di http://localhost:3001, tambah kunci percuma daripada dua pembekal atau lebih pada halaman Keys dan salin kunci bersatu. Kemudian pasang pakej Python.

Kod Python anda hanya menggunakan kunci bersatu. Kunci pembekal kekal dalam FreeLLMAPI, disulitkan dalam pangkalan datanya. Jika anda menukar atau menambah kunci pembekal, anda tidak perlu menukar kod anda.

Pasang

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

Model auto mengikut rantai sandaran anda pada papan pemuka. Anda juga boleh guna auto:fast, auto:smart atau auto:reliable, profil seperti auto:coding, atau ID model tetap.

Streaming dan pengepala respons

Strim jawapan

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

Setiap respons mempunyai pengepala X-Routed-Via dengan pembekal dan model yang menjawab. Untuk membaca pengepala dengan SDK, guna with_raw_response dan panggil parse() untuk mendapat objek biasa.

Baca pengepala penghalaan

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

Panggilan alat

Hantar tools bergaya OpenAI. Penghala menghantarnya kepada pembekal yang serasi dengan OpenAI dan menterjemahkannya untuk Gemini. Jawapan kembali dalam format yang sama untuk setiap pembekal.

Satu panggilan alat dan jawapan akhir

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Sesetengah pembekal memulangkan panggilan alat sebagai teks biasa. FreeLLMAPI menukar jawapan ini kepada tool_calls sebenar, jadi kod anda membaca satu format. Sentiasa semak msg.tool_calls sebelum anda membaca msg.content, kerana model juga boleh menjawab tanpa alat.

Guna model dengan panggilan alat. Model percuma ini menyokong alat dan mempunyai kelajuan yang diukur paling pantas hari ini:

Model percuma pantas dengan panggilan alat
ModelPercuma padaKonteksHad percuma (tawaran terbaik)AlatPenglihatan
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 permintaan/minit
250 permintaan/hari
70,000 token/minit
~6M
YaYa
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 permintaan/minit
50 permintaan/hari
50 req/day account-wide (1,000 after a $10 purchase)
YaTidak
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq +1 lagi131K30 permintaan/minit
1,000 permintaan/hari
8,000 token/minit
200,000 token/hari
~6M
YaTidak
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM +1 lagi131K30 permintaan/minit
1,000 permintaan/hari
8,000 token/minit
200,000 token/hari
~6M
YaTidak
GPT-OSS Safeguard 20BGroq131K30 permintaan/minit
1,000 permintaan/hari
8,000 token/minit
200,000 token/hari
~6M
YaTidak
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 permintaan/minit
20 permintaan/hari
250,000 token/minit
~3M
YaYa
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditYaYa
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 permintaan/minit
5,000 permintaan/hari
500,000 token/hari
500K tokens/day · 5,000 req/day
YaYa
Nemotron 3.5 Lightning 30BRequesty1M200 permintaan/hari
200 rpd
YaTidak
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 permintaan/minit
20 permintaan/hari
250,000 token/minit
~3M
YaYa

Memaparkan 10 daripada 146 model percuma yang sepadan. Lihat semua model.

Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.

Kelompok async dalam had percuma

AsyncOpenAI menghantar banyak permintaan serentak. Peringkat percuma mengehadkan permintaan seminit, jadi hadkan keserentakan dengan semaphore. Contoh ini juga mencuba semula apabila setiap pembekal telah mencapai hadnya.

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

Penghala hanya memulangkan 429 apabila setiap kunci dalam rantai telah mencapai hadnya. Respons kemudian mempunyai pengepala Retry-After. Nilai semaphore yang kecil dan lebih banyak kunci pembekal memberikan hasil terbaik untuk kelompok besar.

Pilih rentetan model untuk setiap tugas

Rentetan model memberitahu penghala cara memilih model. Anda boleh guna rentetan yang berbeza dalam setiap panggilan. Anda tidak perlu menukar papan pemuka.

TugasRentetan modelSebab
Jawapan sembang untuk penggunaautoMengikut rantai sandaran yang anda tetapkan pada papan pemuka
Klasifikasi, pengekstrakan, ringkasan pendekauto:fastMenyusun model yang didayakan mengikut kelajuan yang diukur
Soalan sukar, semakan kod, perancanganauto:smartMenyusun model yang didayakan mengikut kecerdasan
Tugas berjadual yang mesti selesaiauto:reliableMenyusun model yang didayakan mengikut kadar kejayaan terkini
Rantai berasingan untuk satu aplikasiauto:<profile>Guna rantai sandaran bernama
Ujian yang mesti boleh diulangID model tetapModel yang sama setiap kali, tetapi berhenti pada had model itu

Untuk melihat model yang boleh dipanggil oleh kunci anda sekarang, minta senarai model dengan penapis. Senarai penuh juga mengandungi model yang belum ada kunci.

Senaraikan model yang boleh menjawab sekarang

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

Model dengan status exhausted mempunyai kunci, tetapi semuanya telah mencapai had sekarang. Status itu dikosongkan apabila tempoh rehat tamat. Model dengan status needsKey tidak mempunyai kunci yang didayakan.

Untuk perbualan, hantar pengepala X-Session-Id dengan extra_headers. FreeLLMAPI kemudian mengekalkan perbualan itu pada satu model selama 30 minit. Tanpa pengepala itu, ia menggunakan hash mesej pengguna pertama sebagai kunci sesi.

Embeddings

Embed teks

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

Failover embedding tidak sekali-kali menukar model. Ia hanya beralih antara pembekal yang menyediakan keluarga yang sama, jadi vektor anda kekal serasi. Nilai auto menggunakan keluarga lalai yang anda tetapkan pada papan pemuka.

Hantar banyak teks dalam satu senarai input. Satu permintaan dengan 32 teks menggunakan satu permintaan daripada had percuma, bukan 32. Kekalkan setiap teks di bawah input maksimum keluarga itu. Simpan nama keluarga bersama vektor anda, supaya anda boleh embed pertanyaan dengan keluarga yang sama kemudian.

Ralat dan penyelesaian

PengecualianPuncaPenyelesaian
openai.AuthenticationErrorKunci bersatu salahSalin semula kunci daripada halaman Keys
openai.APIConnectionErrorFreeLLMAPI tidak berjalan, atau port salahBuka http://localhost:3001 dalam pelayar
openai.NotFoundErrorBase URL tiada /v1Guna http://localhost:3001/v1
openai.RateLimitErrorSemua kunci dalam rantai telah mencapai hadTambah pembekal, kurangkan keserentakan, tunggu Retry-After
openai.BadRequestError dengan auto:nameNama profil tidak wujudSemak nama profil pada papan pemuka
openai.UnprocessableEntityError (422) dengan imejTiada model penglihatan dalam rantai andaDayakan model penglihatan dalam rantai sandaran

Peringkat percuma tidak mempunyai SLA. Kelewatan berubah sepanjang hari. Model paling kuat mencapai had harian dahulu, dan banyak had ditetapkan semula pada tengah malam UTC. Jangan guna gerbang percuma untuk perkhidmatan yang mesti menjawab dalam masa yang tetap.

Guna setiap satu daripada ini melalui satu kunci. FreeLLMAPI ialah penghala sumber terbuka yang anda hoskan sendiri. Ia meletakkan semua peringkat percuma ini di belakang satu titik akhir serasi OpenAI dan beralih ke pembekal lain apabila had kadar dicapai. Layari katalog atau mula sekarang.

Soalan lazim

Adakah terdapat API LLM percuma untuk Python?

Ada. Banyak pembekal mempunyai peringkat percuma yang berfungsi dengan pakej Python openai. FreeLLMAPI menggabungkannya di belakang satu base URL dan satu kunci, dengan failover antara pembekal.

Bagaimana saya guna pustaka Python openai dengan base URL yang berbeza?

Hantar base_url kepada OpenAI() atau AsyncOpenAI(), contohnya base_url="http://localhost:3001/v1". Hantar kunci gerbang anda sebagai api_key.

Bagaimana saya mengendalikan ralat had kadar dalam Python?

Tetapkan max_retries pada klien. Tangkap openai.RateLimitError, baca pengepala Retry-After dan tunggu. Hadkan keserentakan dengan semaphore asyncio.

Adakah streaming berfungsi dengan API LLM percuma dalam Python?

Ya. Hantar stream=True dan baca chunk.choices[0].delta.content. FreeLLMAPI menstrim dalam format OpenAI untuk setiap pembekal.

Bolehkah saya guna Python async dengan API LLM percuma?

Boleh. Guna AsyncOpenAI dengan base_url dan kunci yang sama. Kekalkan bilangan permintaan selari kecil, kerana peringkat percuma mengehadkan permintaan seminit.

Panduan berkaitan

Sumber

Semua panduan · Lihat semua model percuma