API ya LLM bure kwa wakala wa AI
Wakala wa AI hutuma maombi mengi ya modeli kwa kazi moja. Kila hatua inahitaji wito wa zana na muktadha mkubwa. Kiwango kimoja cha bure humzuia wakala haraka. FreeLLMAPI huunganisha viwango vya bure vya watoa huduma 45 nyuma ya ufunguo mmoja unaoendana na OpenAI. Hubadili hadi mtoa huduma anayefuata kikomo kinaposimamisha ombi, ili wakala aendelee. Mwongozo huu unaeleza wito wa zana, uelekezaji kwa kila hatua, vikao virefu na seva ya MCP ya kipanga njia.
Msimbo, majina ya modeli na lebo za katalogi ya moja kwa moja zinaonyeshwa kwa Kiingereza.
Wakala anahitaji nini kutoka kwa API ya bure
| Mahitaji | Kwa nini | FreeLLMAPI inafanya nini |
|---|---|---|
| Wito wa zana | Wakala huchagua na huendesha zana | Hupitisha tools za mtindo wa OpenAI kwa kila mtoa huduma. Hubadilisha wito wa zana wa maandishi kuwa tool_calls halisi. |
| Maombi mengi | Kazi moja inaweza kuchukua hatua 20 hadi 100 | Huhesabu kiwango cha kila ufunguo na huhamia ufunguo au mtoa huduma mwingine kwenye 429 |
| Muktadha mkubwa | Matokeo ya zana na historia hukua kila hatua | Huelekeza kwa modeli kutoka mnyororo wako. Unaweza kutengeneza wasifu wa muktadha mrefu. |
| Tabia thabiti | Kubadilisha modeli katikati ya kazi kunaweza kumchanganya wakala | Huweka kikao kwenye modeli moja kwa dakika 30. Uhamishaji wa muktadha wa hiari unapotokea mabadiliko. |
| Uonekano | Lazima ujue modeli ipi ilishindwa | Vichwa vya X-Routed-Via na X-Fallback-Trail kwenye kila jibu |
Viwango vya bure vina mipaka. Ubadilishaji wa watoa huduma husambaza mzigo kwenye funguo zako, lakini jumla bado ni jumla ya mipaka ya bure. Ongeza funguo kutoka watoa huduma wanne au zaidi kwa kazi ya wakala.
| Modeli | Bure kwenye | Muktadha | Vikomo vya bure (ofa bora) | Zana | Uoni |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 maombi/dakika 1 req/min per model | Ndiyo | Hapana |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 maombi/dakika 40 RPM | Ndiyo | Ndiyo |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ndiyo | Ndiyo |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ndiyo | Hapana |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ndiyo | Ndiyo |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 maombi/dakika 20 maombi/siku 250,000 tokeni/dakika ~3M | Ndiyo | Ndiyo |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ndiyo | Ndiyo |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 maombi/dakika 50 maombi/siku 50 req/day account-wide (1,000 after a $10 purchase) | Ndiyo | Ndiyo |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 maombi/dakika 50 maombi/siku Shared rate limit | Ndiyo | Hapana |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 maombi/dakika 250 maombi/siku 70,000 tokeni/dakika ~6M | Ndiyo | Ndiyo |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 maombi/dakika 20 maombi/siku 250,000 tokeni/dakika ~3M | Ndiyo | Ndiyo |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | Ndiyo | Ndiyo |
Inaonyesha 12 kati ya 109 modeli za bure zinazolingana. Tazama modeli zote.
Data ya moja kwa moja kutoka katalogi ya FreeLLMAPI (toleo 2026.11.19, imekaguliwa 2026-11-19). Vikomo vya bure hubadilika mara kwa mara. Katalogi hukaguliwa kila siku.
Mzunguko kamili wa wakala kwa Python
Mzunguko ulio hapa chini unatumia SDK rasmi ya OpenAI. Hutuma zana, huendesha kila wito wa zana, hutuma matokeo nyuma na husimama modeli inapotoa jibu la mwisho. Pia husimama baada ya idadi ya juu ya hatua.
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: huweka hatua zote za kazi moja kwenye modeli ile ile wakati modeli hiyo ina kiwango kilichobaki.
- Retry-After: funguo zote zikiwa zimefikia kikomo chake, lango hurudisha 429 pamoja na kichwa hiki. Mzunguko unasubiri na kujaribu tena.
- Hitilafu za zana: mzunguko hutuma hitilafu kwa modeli kama matokeo ya zana. Kisha modeli inaweza kurekebisha wito wake.
Elekeza kila hatua kwa modeli sahihi
Hatua za wakala si sawa. Hatua ya kupanga inahitaji modeli yenye nguvu. Hatua inayotoa sehemu moja ya data inahitaji modeli ya haraka. Tumia jina tofauti la modeli kwa kila aina ya hatua. Huhitaji kubadilisha dashibodi.
| Jina la modeli | Hupanga modeli kwa | Matumizi ya wakala |
|---|---|---|
auto:smart | Akili | Kupanga, uteuzi wa zana, majibu ya mwisho |
auto:fast | Kasi iliyopimwa na muda hadi baiti ya kwanza | Uchimbaji, uainishaji, muhtasari mfupi wa matokeo ya zana |
auto:reliable | Kiwango cha mafanikio cha hivi karibuni | Mawakala waliopangwa ambao lazima wamalize |
auto:balanced | Uaminifu kwanza, kisha kasi na akili | Chaguo-msingi la jumla |
auto:<profile> | Mnyororo wako wa akiba uliopewa jina | Mnyororo wenye modeli za wito wa zana pekee |
Mikakati ya auto:* hupanga modeli zote zilizowashwa na haizingatii mpangilio wa mnyororo wako. Ombi lenye zana bado linahitaji modeli yenye wito wa zana. Ikiwa baadhi ya modeli zilizowashwa hazisaidii zana vizuri, tengeneza wasifu wenye modeli za wito wa zana pekee. Kisha tumia auto:<profile> kwa hatua za zana. Jina lisilojulikana la wasifu hurudisha hitilafu 400.
Kichwa X-FreeLLM-Task-Type: code huhamisha uzito wa uelekezaji kutoka kasi kwenda akili kwa ombi moja. Ni upendeleo laini. Hakibadilishi ukaguzi wa uwezo wala mnyororo wa akiba.
Vikao virefu vya wakala na mabadiliko ya modeli
Wakati wa kazi ndefu, modeli inaweza kufikia kikomo chake cha kila siku. Kipanga njia kisha huhamia modeli nyingine. Modeli mpya hupokea historia kamili ya ujumbe, lakini haijui kwamba modeli nyingine ilifanya hatua za awali.
Washa uhamishaji wa muktadha ili kuongeza ujumbe mmoja mfupi wa mfumo modeli inapobadilika. Ujumbe unaiambia modeli mpya iendelee na kazi na ihifadhi matokeo ya zana ya awali.
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- Ujumbe wa uhamishaji huongezwa tu modeli iliyochaguliwa inapobadilika kwa kikao.
- Vikao huhifadhiwa kwenye kumbukumbu kwa saa 3. Hakuna kinachoandikwa kwenye diski.
- Ufunguo wa kikao ni kichwa cha
X-Session-Id. Bila kichwa hicho, ni hashi ya ujumbe wa kwanza wa mtumiaji.
Tumia kipanga njia kama seva ya MCP
FreeLLMAPI pia ni seva ya MCP kwenye /mcp. Wakala anayezungumza MCP anaweza kutuma kazi ya maandishi kwa modeli ya FreeLLMAPI. Pia anaweza kusoma hali ya lango wakati wa kikao: modeli zinazotumika na vigezo vyake, afya ya watoa huduma, takwimu za matumizi na akiba, na mkakati wa uelekezaji.
Uso wa MCP umezimwa kwenye usakinishaji mpya. Uwashe kwenye dashibodi, ukurasa wa Keys, chini ya Agent compatibility. Wakati umezimwa, /mcp hurudisha 403.
Ongeza seva ya MCP kwenye Claude Code
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Mteja yeyote wa MCP mwenye Streamable HTTP hufanya kazi kwa njia ile ile. Elekeza kwenye /mcp na utume ufunguo wa umoja kama Bearer token. Zana muhimu ni pamoja na healthcheck, list_models na ask_freellmapi. Zana ya ask_freellmapi huendesha kazi kupitia njia ile ile ya gumzo kama API, pamoja na uelekezaji na akiba.
Kwa mawakala wa kuandika msimbo, FreeLLMAPI ina amri za usanidi zinazoandika usanidi wa mteja kwa ajili yako. Mifano ni npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw na setup-hermes. Kila amri inasaidia --dry-run na hutengeneza nakala rudufu kwanza.
Kutatua matatizo
| Tatizo | Chanzo | Suluhisho |
|---|---|---|
| Modeli inajibu kwa maandishi bila kuita zana yoyote | Modeli ina wito dhaifu wa zana | Tumia auto:<profile> na modeli za wito wa zana pekee |
| Wakala anaanza kazi upya katikati | Kikomo kililazimisha mabadiliko ya modeli | Tuma X-Session-Id na uwashe uhamishaji wa muktadha |
| Hitilafu 429 baada ya hatua nyingi | Funguo zote kwenye mnyororo zimefikia kikomo chake | Ongeza watoa huduma, tumia auto:fast kwa hatua ndogo na usubiri Retry-After |
Hitilafu 400 kwa auto:name | Wasifu haupo | Angalia jina la wasifu kwenye dashibodi |
/mcp inarudisha 403 | Uso wa MCP umezimwa | Uwashe chini ya Agent compatibility kwenye ukurasa wa Keys |
| Hitilafu za urefu wa muktadha mwishoni mwa kazi | Historia ni kubwa kuliko dirisha la modeli | Fupisha matokeo ya zana ya zamani au tumia wasifu wa muktadha mrefu |
Maswali yanayoulizwa mara kwa mara
Je, kuna API ya LLM bure kwa wakala wa AI?
Ndiyo. Watoa huduma kadhaa wana viwango vya bure vyenye wito wa zana. FreeLLMAPI huwaunganisha nyuma ya ufunguo mmoja unaoendana na OpenAI na huhamia mtoa huduma anayefuata kikomo kinaposimamisha ombi.
Ni LLM ipi bure iliyo bora kwa wito wa zana?
Tumia modeli yenye wito wa zana na dirisha la muktadha la tokeni 128K au zaidi. Jedwali kwenye ukurasa huu linaonyesha modeli bure zenye nguvu zaidi zinazotimiza sheria zote mbili leo.
Je, naweza kutumia FreeLLMAPI kama seva ya MCP?
Ndiyo. Washa uso wa MCP kwenye ukurasa wa Keys chini ya Agent compatibility. Kisha unganisha mteja wako wa MCP kwenye /mcp ukitumia ufunguo wa umoja kama Bearer token.
Nawezaje kuzuia wakala asishindwe kwa sababu ya mipaka ya kiwango?
Ongeza funguo kutoka watoa huduma zaidi, tuma hatua ndogo kwa auto:fast, jaribu tena kwenye 429 kwa kichwa cha Retry-After na weka idadi ya juu ya hatua.
Nini hutokea modeli inapobadilika katikati ya kazi ya wakala?
Modeli mpya hupokea historia kamili ya ujumbe. Uhamishaji wa muktadha ukiwa umewashwa, pia hupokea dokezo fupi linaloiambia iendelee na kazi.
Miongozo inayohusiana
- Free LLM API yenye function calling
- LLM API ya bure kwa Python
- API ya LLM ya bure kwa LangChain
- Free LLM API ya n8n
- Jinsi ya kutumia Claude Code bila malipo
- Mipaka ya kiwango cha API ya LLM bure
Vyanzo
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (imekaguliwa 20 November 2026)
- FreeLLMAPI docs: clients, MCP server and context handoff (imekaguliwa 20 November 2026)
- OpenAI Python SDK: errors and retries (imekaguliwa 20 November 2026)
- Claude Code docs: MCP (imekaguliwa 20 November 2026)