Nyumbani / Miongozo / API ya LLM bure kwa wakala wa AI

API ya LLM bure kwa wakala wa AI

Wakala wa AI hutuma maombi mengi ya modeli kwa kazi moja. Kila hatua inahitaji wito wa zana na muktadha mkubwa. Kiwango kimoja cha bure humzuia wakala haraka. FreeLLMAPI huunganisha viwango vya bure vya watoa huduma 45 nyuma ya ufunguo mmoja unaoendana na OpenAI. Hubadili hadi mtoa huduma anayefuata kikomo kinaposimamisha ombi, ili wakala aendelee. Mwongozo huu unaeleza wito wa zana, uelekezaji kwa kila hatua, vikao virefu na seva ya MCP ya kipanga njia.

Msimbo, majina ya modeli na lebo za katalogi ya moja kwa moja zinaonyeshwa kwa Kiingereza.

Wakala anahitaji nini kutoka kwa API ya bure

MahitajiKwa niniFreeLLMAPI inafanya nini
Wito wa zanaWakala huchagua na huendesha zanaHupitisha tools za mtindo wa OpenAI kwa kila mtoa huduma. Hubadilisha wito wa zana wa maandishi kuwa tool_calls halisi.
Maombi mengiKazi moja inaweza kuchukua hatua 20 hadi 100Huhesabu kiwango cha kila ufunguo na huhamia ufunguo au mtoa huduma mwingine kwenye 429
Muktadha mkubwaMatokeo ya zana na historia hukua kila hatuaHuelekeza kwa modeli kutoka mnyororo wako. Unaweza kutengeneza wasifu wa muktadha mrefu.
Tabia thabitiKubadilisha modeli katikati ya kazi kunaweza kumchanganya wakalaHuweka kikao kwenye modeli moja kwa dakika 30. Uhamishaji wa muktadha wa hiari unapotokea mabadiliko.
UonekanoLazima ujue modeli ipi ilishindwaVichwa vya X-Routed-Via na X-Fallback-Trail kwenye kila jibu

Viwango vya bure vina mipaka. Ubadilishaji wa watoa huduma husambaza mzigo kwenye funguo zako, lakini jumla bado ni jumla ya mipaka ya bure. Ongeza funguo kutoka watoa huduma wanne au zaidi kwa kazi ya wakala.

Modeli za bure zenye wito wa zana na muktadha wa 128K+
ModeliBure kwenyeMuktadhaVikomo vya bure (ofa bora)ZanaUoni
GLM 5.3UnoRouter1M1 maombi/dakika
1 req/min per model
NdiyoHapana
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 maombi/dakika
40 RPM
NdiyoNdiyo
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaNdiyoNdiyo
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceNdiyoHapana
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditNdiyoNdiyo
Gemini 3.7 FlashGoogle AI Studio1M10 maombi/dakika
20 maombi/siku
250,000 tokeni/dakika
~3M
NdiyoNdiyo
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditNdiyoNdiyo
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 maombi/dakika
50 maombi/siku
50 req/day account-wide (1,000 after a $10 purchase)
NdiyoNdiyo
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 maombi/dakika
50 maombi/siku
Shared rate limit
NdiyoHapana
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 maombi/dakika
250 maombi/siku
70,000 tokeni/dakika
~6M
NdiyoNdiyo
Gemini 3.6 FlashGoogle AI Studio1M10 maombi/dakika
20 maombi/siku
250,000 tokeni/dakika
~3M
NdiyoNdiyo
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayNdiyoNdiyo

Inaonyesha 12 kati ya 109 modeli za bure zinazolingana. Tazama modeli zote.

Data ya moja kwa moja kutoka katalogi ya FreeLLMAPI (toleo 2026.11.19, imekaguliwa 2026-11-19). Vikomo vya bure hubadilika mara kwa mara. Katalogi hukaguliwa kila siku.

Mzunguko kamili wa wakala kwa Python

Mzunguko ulio hapa chini unatumia SDK rasmi ya OpenAI. Hutuma zana, huendesha kila wito wa zana, hutuma matokeo nyuma na husimama modeli inapotoa jibu la mwisho. Pia husimama baada ya idadi ya juu ya hatua.

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: huweka hatua zote za kazi moja kwenye modeli ile ile wakati modeli hiyo ina kiwango kilichobaki.
  • Retry-After: funguo zote zikiwa zimefikia kikomo chake, lango hurudisha 429 pamoja na kichwa hiki. Mzunguko unasubiri na kujaribu tena.
  • Hitilafu za zana: mzunguko hutuma hitilafu kwa modeli kama matokeo ya zana. Kisha modeli inaweza kurekebisha wito wake.

Elekeza kila hatua kwa modeli sahihi

Hatua za wakala si sawa. Hatua ya kupanga inahitaji modeli yenye nguvu. Hatua inayotoa sehemu moja ya data inahitaji modeli ya haraka. Tumia jina tofauti la modeli kwa kila aina ya hatua. Huhitaji kubadilisha dashibodi.

Jina la modeliHupanga modeli kwaMatumizi ya wakala
auto:smartAkiliKupanga, uteuzi wa zana, majibu ya mwisho
auto:fastKasi iliyopimwa na muda hadi baiti ya kwanzaUchimbaji, uainishaji, muhtasari mfupi wa matokeo ya zana
auto:reliableKiwango cha mafanikio cha hivi karibuniMawakala waliopangwa ambao lazima wamalize
auto:balancedUaminifu kwanza, kisha kasi na akiliChaguo-msingi la jumla
auto:<profile>Mnyororo wako wa akiba uliopewa jinaMnyororo wenye modeli za wito wa zana pekee

Mikakati ya auto:* hupanga modeli zote zilizowashwa na haizingatii mpangilio wa mnyororo wako. Ombi lenye zana bado linahitaji modeli yenye wito wa zana. Ikiwa baadhi ya modeli zilizowashwa hazisaidii zana vizuri, tengeneza wasifu wenye modeli za wito wa zana pekee. Kisha tumia auto:<profile> kwa hatua za zana. Jina lisilojulikana la wasifu hurudisha hitilafu 400.

Kichwa X-FreeLLM-Task-Type: code huhamisha uzito wa uelekezaji kutoka kasi kwenda akili kwa ombi moja. Ni upendeleo laini. Hakibadilishi ukaguzi wa uwezo wala mnyororo wa akiba.

Vikao virefu vya wakala na mabadiliko ya modeli

Wakati wa kazi ndefu, modeli inaweza kufikia kikomo chake cha kila siku. Kipanga njia kisha huhamia modeli nyingine. Modeli mpya hupokea historia kamili ya ujumbe, lakini haijui kwamba modeli nyingine ilifanya hatua za awali.

Washa uhamishaji wa muktadha ili kuongeza ujumbe mmoja mfupi wa mfumo modeli inapobadilika. Ujumbe unaiambia modeli mpya iendelee na kazi na ihifadhi matokeo ya zana ya awali.

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • Ujumbe wa uhamishaji huongezwa tu modeli iliyochaguliwa inapobadilika kwa kikao.
  • Vikao huhifadhiwa kwenye kumbukumbu kwa saa 3. Hakuna kinachoandikwa kwenye diski.
  • Ufunguo wa kikao ni kichwa cha X-Session-Id. Bila kichwa hicho, ni hashi ya ujumbe wa kwanza wa mtumiaji.

Tumia kipanga njia kama seva ya MCP

FreeLLMAPI pia ni seva ya MCP kwenye /mcp. Wakala anayezungumza MCP anaweza kutuma kazi ya maandishi kwa modeli ya FreeLLMAPI. Pia anaweza kusoma hali ya lango wakati wa kikao: modeli zinazotumika na vigezo vyake, afya ya watoa huduma, takwimu za matumizi na akiba, na mkakati wa uelekezaji.

Uso wa MCP umezimwa kwenye usakinishaji mpya. Uwashe kwenye dashibodi, ukurasa wa Keys, chini ya Agent compatibility. Wakati umezimwa, /mcp hurudisha 403.

Ongeza seva ya MCP kwenye Claude Code

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Mteja yeyote wa MCP mwenye Streamable HTTP hufanya kazi kwa njia ile ile. Elekeza kwenye /mcp na utume ufunguo wa umoja kama Bearer token. Zana muhimu ni pamoja na healthcheck, list_models na ask_freellmapi. Zana ya ask_freellmapi huendesha kazi kupitia njia ile ile ya gumzo kama API, pamoja na uelekezaji na akiba.

Kwa mawakala wa kuandika msimbo, FreeLLMAPI ina amri za usanidi zinazoandika usanidi wa mteja kwa ajili yako. Mifano ni npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw na setup-hermes. Kila amri inasaidia --dry-run na hutengeneza nakala rudufu kwanza.

Kutatua matatizo

TatizoChanzoSuluhisho
Modeli inajibu kwa maandishi bila kuita zana yoyoteModeli ina wito dhaifu wa zanaTumia auto:<profile> na modeli za wito wa zana pekee
Wakala anaanza kazi upya katikatiKikomo kililazimisha mabadiliko ya modeliTuma X-Session-Id na uwashe uhamishaji wa muktadha
Hitilafu 429 baada ya hatua nyingiFunguo zote kwenye mnyororo zimefikia kikomo chakeOngeza watoa huduma, tumia auto:fast kwa hatua ndogo na usubiri Retry-After
Hitilafu 400 kwa auto:nameWasifu haupoAngalia jina la wasifu kwenye dashibodi
/mcp inarudisha 403Uso wa MCP umezimwaUwashe chini ya Agent compatibility kwenye ukurasa wa Keys
Hitilafu za urefu wa muktadha mwishoni mwa kaziHistoria ni kubwa kuliko dirisha la modeliFupisha matokeo ya zana ya zamani au tumia wasifu wa muktadha mrefu
Tumia kila moja ya hizi kwa ufunguo mmoja. FreeLLMAPI ni kipanga njia huria, unachoendesha mwenyewe. Kinaweka tabaka hizi zote za bure nyuma ya kituo kimoja cha OpenAI kinachooana, na kinahamia kwenye nyingine pale kikomo kinapofikiwa. Vinjari katalogi au anza sasa.

Maswali yanayoulizwa mara kwa mara

Je, kuna API ya LLM bure kwa wakala wa AI?

Ndiyo. Watoa huduma kadhaa wana viwango vya bure vyenye wito wa zana. FreeLLMAPI huwaunganisha nyuma ya ufunguo mmoja unaoendana na OpenAI na huhamia mtoa huduma anayefuata kikomo kinaposimamisha ombi.

Ni LLM ipi bure iliyo bora kwa wito wa zana?

Tumia modeli yenye wito wa zana na dirisha la muktadha la tokeni 128K au zaidi. Jedwali kwenye ukurasa huu linaonyesha modeli bure zenye nguvu zaidi zinazotimiza sheria zote mbili leo.

Je, naweza kutumia FreeLLMAPI kama seva ya MCP?

Ndiyo. Washa uso wa MCP kwenye ukurasa wa Keys chini ya Agent compatibility. Kisha unganisha mteja wako wa MCP kwenye /mcp ukitumia ufunguo wa umoja kama Bearer token.

Nawezaje kuzuia wakala asishindwe kwa sababu ya mipaka ya kiwango?

Ongeza funguo kutoka watoa huduma zaidi, tuma hatua ndogo kwa auto:fast, jaribu tena kwenye 429 kwa kichwa cha Retry-After na weka idadi ya juu ya hatua.

Nini hutokea modeli inapobadilika katikati ya kazi ya wakala?

Modeli mpya hupokea historia kamili ya ujumbe. Uhamishaji wa muktadha ukiwa umewashwa, pia hupokea dokezo fupi linaloiambia iendelee na kazi.

Miongozo inayohusiana

Vyanzo

Miongozo yote · Tazama modeli zote za bure