Nyumbani / Miongozo / LLM API ya bure kwa Python

LLM API ya bure kwa Python

Kifurushi rasmi cha Python cha openai hufanya kazi na API yoyote inayoendana na OpenAI. Unabadilisha base URL na ufunguo. Mwongozo huu unatumia FreeLLMAPI, ambayo inakusanya tabaka 45 za bure za watoa huduma nyuma ya ufunguo mmoja, na huhamia kwa mtoa huduma anayefuata kizuizi kinaposimamisha ombi. Kila mfano hapa chini ni kamili na unafanya kazi kama ulivyo.

Msimbo, majina ya modeli na lebo za katalogi ya moja kwa moja zinaonyeshwa kwa Kiingereza.

Usanidi

Sakinisha FreeLLMAPI. Inaendeshwa kwenye Docker. Fungua dashibodi kwenye http://localhost:3001, ongeza funguo za bure kutoka kwa watoa huduma wawili au zaidi kwenye ukurasa wa Keys kisha nakili ufunguo wa umoja. Kisha sakinisha kifurushi cha Python.

Msimbo wako wa Python hutumia ufunguo wa umoja pekee. Funguo za watoa huduma zinabaki ndani ya FreeLLMAPI, zimesimbwa kwenye hifadhidata yake. Ukibadilisha au kuongeza ufunguo wa mtoa huduma, msimbo wako hauhitaji mabadiliko.

Sakinisha

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

Modeli auto hufuata mnyororo wako wa akiba kwenye dashibodi. Unaweza pia kutumia auto:fast, auto:smart au auto:reliable, wasifu kama auto:coding, au kitambulisho cha modeli kisichobadilika.

Streaming na vichwa vya jibu

Pokea jibu kwa mtiririko

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

Kila jibu lina kichwa cha X-Routed-Via chenye mtoa huduma na modeli aliyejibu. Ili kusoma vichwa kwa SDK, tumia with_raw_response kisha ita parse() kupata kitu cha kawaida.

Soma vichwa vya uelekezaji

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

Tool calling

Tuma tools za mtindo wa OpenAI. Kipanga njia hukipitisha kwa watoa huduma wanaoendana na OpenAI na hukitafsiri kwa Gemini. Jibu hurudi katika muundo ule ule kwa kila mtoa huduma.

Mwito mmoja wa zana na jibu la mwisho

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Baadhi ya watoa huduma hurudisha mwito wa zana kama maandishi ya kawaida. FreeLLMAPI hubadilisha majibu haya kuwa tool_calls halisi, kwa hiyo msimbo wako unasoma muundo mmoja. Daima angalia msg.tool_calls kabla ya kusoma msg.content, kwa sababu modeli inaweza pia kujibu bila zana.

Tumia modeli yenye tool calling. Modeli hizi za bure zinaunga mkono zana na zina kasi ya juu zaidi iliyopimwa leo:

Modeli za bure za haraka zenye tool calling
ModeliBure kwenyeMuktadhaVikomo vya bure (ofa bora)ZanaUoni
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 maombi/dakika
250 maombi/siku
70,000 tokeni/dakika
~6M
NdiyoNdiyo
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 maombi/dakika
50 maombi/siku
50 req/day account-wide (1,000 after a $10 purchase)
NdiyoHapana
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq +1 zaidi131K30 maombi/dakika
1,000 maombi/siku
8,000 tokeni/dakika
200,000 tokeni/siku
~6M
NdiyoHapana
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM +1 zaidi131K30 maombi/dakika
1,000 maombi/siku
8,000 tokeni/dakika
200,000 tokeni/siku
~6M
NdiyoHapana
GPT-OSS Safeguard 20BGroq131K30 maombi/dakika
1,000 maombi/siku
8,000 tokeni/dakika
200,000 tokeni/siku
~6M
NdiyoHapana
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 maombi/dakika
20 maombi/siku
250,000 tokeni/dakika
~3M
NdiyoNdiyo
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditNdiyoNdiyo
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 maombi/dakika
5,000 maombi/siku
500,000 tokeni/siku
500K tokens/day · 5,000 req/day
NdiyoNdiyo
Nemotron 3.5 Lightning 30BRequesty1M200 maombi/siku
200 rpd
NdiyoHapana
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 maombi/dakika
20 maombi/siku
250,000 tokeni/dakika
~3M
NdiyoNdiyo

Inaonyesha 10 kati ya 146 modeli za bure zinazolingana. Tazama modeli zote.

Data ya moja kwa moja kutoka katalogi ya FreeLLMAPI (toleo 2026.11.19, imekaguliwa 2026-11-19). Vikomo vya bure hubadilika mara kwa mara. Katalogi hukaguliwa kila siku.

Makundi ya async ndani ya vikomo vya bure

AsyncOpenAI hutuma maombi mengi kwa wakati mmoja. Tabaka za bure huweka kikomo cha maombi kwa dakika, kwa hiyo punguza idadi ya maombi yanayoendeshwa kwa wakati mmoja kwa semaphore. Mfano pia hujaribu tena wakati kila mtoa huduma amefikia kikomo chake.

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

Kipanga njia hurudisha 429 pale tu funguo zote kwenye mnyororo zinapofikia kikomo chake. Jibu basi lina kichwa cha Retry-After. Thamani ndogo ya semaphore na funguo zaidi za watoa huduma hutoa matokeo bora kwa makundi makubwa.

Chagua mfuatano wa modeli kwa kila kazi

Mfuatano wa modeli humwambia kipanga njia jinsi ya kuchagua modeli. Unaweza kutumia mfuatano tofauti kwa kila mwito. Huhitaji kubadilisha dashibodi.

KaziMfuatano wa modeliSababu
Majibu ya gumzo kwa watumiajiautoHufuata mnyororo wa akiba ulioweka kwenye dashibodi
Uainishaji, uchimbaji, muhtasari mfupiauto:fastHupanga modeli zilizowezeshwa kwa kasi iliyopimwa
Maswali magumu, mapitio ya msimbo, upangajiauto:smartHupanga modeli zilizowezeshwa kwa akili
Kazi zilizopangwa ambazo lazima zimalizikeauto:reliableHupanga modeli zilizowezeshwa kwa kiwango cha mafanikio cha hivi karibuni
Mnyororo tofauti kwa programu mojaauto:<profile>Hutumia mnyororo wa akiba wenye jina
Majaribio ambayo lazima yarudiwe kwa matokeo sawaKitambulisho cha modeli kisichobadilikaModeli ileile kila mara, lakini husimama kwenye kikomo cha modeli hiyo

Ili kuona modeli ambazo funguo zako zinaweza kuita sasa, omba orodha ya modeli kwa kichujio. Orodha kamili pia ina modeli ambazo bado hazina ufunguo.

Orodhesha modeli zinazoweza kujibu sasa

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

Modeli yenye hali ya exhausted ina funguo, lakini zote zimefika kwenye kikomo sasa. Hali hii hufutika muda wa kupumzika unapoisha. Modeli yenye hali ya needsKey haina ufunguo uliowezeshwa.

Kwa mazungumzo, tuma kichwa cha X-Session-Id pamoja na extra_headers. FreeLLMAPI kisha huweka mazungumzo hayo kwenye modeli moja kwa dakika 30. Bila kichwa hiki, hutumia hashi ya ujumbe wa kwanza wa mtumiaji kama ufunguo wa kikao.

Embeddings

Weka maandishi kama embeddings

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

Failover ya embeddings haibadilishi modeli kamwe. Inahama tu kati ya watoa huduma wanaotoa familia ile ile, kwa hiyo vekta zako zinabaki zinaoana. Thamani auto hutumia familia ya chaguo-msingi uliyoweka kwenye dashibodi.

Tuma maandishi mengi kwenye orodha moja ya input. Ombi moja lenye maandishi 32 hutumia ombi moja kutoka kwenye kikomo cha bure, si 32. Weka kila maandishi chini ya ingizo la juu zaidi la familia. Hifadhi jina la familia pamoja na vekta zako, ili baadaye uweke embeddings za maswali kwa familia ile ile.

Hitilafu na marekebisho

HitilafuSababuSuluhisho
openai.AuthenticationErrorUfunguo wa umoja si sahihiNakili ufunguo tena kutoka ukurasa wa Keys
openai.APIConnectionErrorFreeLLMAPI haifanyi kazi, au port si sahihiFungua http://localhost:3001 kwenye kivinjari
openai.NotFoundErrorBase URL haina /v1Tumia http://localhost:3001/v1
openai.RateLimitErrorFunguo zote kwenye mnyororo zimefika kwenye kikomo chakeOngeza watoa huduma, punguza maombi yanayoendeshwa kwa wakati mmoja, subiri Retry-After
openai.BadRequestError yenye auto:nameJina la wasifu halipoAngalia jina la wasifu kwenye dashibodi
openai.UnprocessableEntityError (422) yenye pichaHakuna modeli ya maono kwenye mnyororo wakoWasha modeli ya maono kwenye mnyororo wa akiba

Tabaka za bure hazina SLA. Muda wa kujibu hubadilika wakati wa siku. Modeli zenye nguvu zaidi hufikia vikomo vyake vya kila siku kwanza, na vikomo vingi huwekwa upya saa sita usiku UTC. Usitumie lango la bure kwa huduma inayopaswa kujibu ndani ya muda maalum.

Tumia kila moja ya hizi kwa ufunguo mmoja. FreeLLMAPI ni kipanga njia huria, unachoendesha mwenyewe. Kinaweka tabaka hizi zote za bure nyuma ya kituo kimoja cha OpenAI kinachooana, na kinahamia kwenye nyingine pale kikomo kinapofikiwa. Vinjari katalogi au anza sasa.

Maswali yanayoulizwa mara kwa mara

Je, kuna API ya bure ya LLM kwa Python?

Ndiyo. Watoa huduma wengi wana tabaka za bure zinazofanya kazi na kifurushi cha Python cha openai. FreeLLMAPI huziunganisha nyuma ya base URL moja na ufunguo mmoja, pamoja na failover kati ya watoa huduma.

Ninawezaje kutumia maktaba ya openai ya Python na base URL tofauti?

Pitisha base_url kwa OpenAI() au AsyncOpenAI(), kwa mfano base_url="http://localhost:3001/v1". Pitisha ufunguo wa lango lako kama api_key.

Ninashughulikiaje hitilafu za kikomo cha kasi kwenye Python?

Weka max_retries kwenye client. Shika openai.RateLimitError, soma kichwa cha Retry-After kisha usubiri. Punguza maombi yanayoendeshwa kwa wakati mmoja kwa semaphore ya asyncio.

Je, streaming inafanya kazi na API za bure za LLM kwenye Python?

Ndiyo. Pitisha stream=True kisha usome chunk.choices[0].delta.content. FreeLLMAPI hutuma mtiririko katika muundo wa OpenAI kwa kila mtoa huduma.

Je, ninaweza kutumia async Python na API ya bure ya LLM?

Ndiyo. Tumia AsyncOpenAI pamoja na base_url na ufunguo ule ule. Weka idadi ya maombi sambamba kuwa ndogo, kwa sababu tabaka za bure huweka kikomo cha maombi kwa dakika.

Miongozo inayohusiana

Vyanzo

Miongozo yote · Tazama modeli zote za bure