Nyumbani / Miongozo / API ya LLM ya bure kwa Open WebUI

API ya LLM ya bure kwa Open WebUI

Open WebUI ni kiolesura cha gumzo unachoendesha mwenyewe. Kinaunganishwa na seva yoyote inayotumia API ya OpenAI Chat Completions. Mwongozo huu unaunganisha Open WebUI na FreeLLMAPI, ambayo inakusanya ngazi 45 za bure za watoa huduma nyuma ya ufunguo mmoja. Unaongeza muunganisho mmoja. Kipanga njia kinatuma kila gumzo kwenye modeli ya bure, na kinahamia kwenye mtoa huduma anayefuata kikomo kinapozuia ombi.

Msimbo, majina ya modeli na lebo za katalogi ya moja kwa moja zinaonyeshwa kwa Kiingereza.

Muunganisho unavyofanya kazi

Open WebUI inatuma maombi ya gumzo kwenye URL ya kila muunganisho wa OpenAI. FreeLLMAPI inasikiliza kwenye http://localhost:3001/v1 na inakubali maombi yale yale. Inachagua modeli ya bure, inatuma ombi na kurudisha jibu katika muundo wa OpenAI.

  • Muunganisho mmoja, watoa huduma wengi: unaongeza URL moja na ufunguo mmoja wa pamoja. Funguo zako za watoa huduma zinabaki ndani ya FreeLLMAPI kwenye kompyuta yako.
  • Mbadala: mtoa huduma anaporudisha hitilafu 429, kipanga njia kinajaribu modeli inayofuata kwenye mnyororo wako wa akiba.
  • Vikomo: ngazi za bure zina vikomo vya maombi na tokeni. Funguo nyingi za watoa huduma zinatoa maombi zaidi kwa siku. Kuhamia kwa mbadala kunasambaza mzigo, lakini hakuondoi vikomo.

Sakinisha FreeLLMAPI kwanza. Inaendeshwa kwenye Docker. Fungua dashibodi kwenye http://localhost:3001, ongeza angalau funguo mbili za watoa huduma za bure kwenye ukurasa wa Keys, kisha nakili ufunguo wako wa pamoja.

Sakinisha FreeLLMAPI (macOS au Linux)

curl -fsSL https://freellmapi.co/install.sh | bash

Hatua ya 1: Pata URL sahihi

URL ambayo Open WebUI lazima itumie inategemea mahali kila programu inapoendeshwa. Open WebUI mara nyingi inaendeshwa kwenye Docker. Ndani ya kontena, localhost ni kontena lenyewe, si kompyuta yako.

Open WebUI inaendeshwaFreeLLMAPI inaendeshwaURL ya kutumia
Kwenye mashine mwenyeji (pip au uv)Kwenye mashine mwenyeji (Docker au programu ya eneo-kazi)http://localhost:3001/v1
Kwenye Docker Desktop (macOS, Windows)Kwenye mashine mwenyejihttp://host.docker.internal:3001/v1
Kwenye Docker kwenye LinuxKwenye Docker (kwa hati ya usakinishaji)http://freellmapi:3001/v1 kwenye mtandao wa pamoja wa Docker
Kwenye kompyuta nyingineKwenye seva ya mtandao wako wa ndani (LAN)http://<server-ip>:3001/v1, pamoja na HOST_BIND=0.0.0.0 kwenye mtandao unaoaminika pekee

Kwa chaguo-msingi, kontena la FreeLLMAPI linaweka mlango wake kwenye 127.0.0.1 pekee. Kwenye Linux, kontena la pili halifikii mlango huo kupitia mashine mwenyeji kila wakati. Unganisha kontena zote mbili kwenye mtandao mmoja wa Docker. Kisha tumia jina la huduma freellmapi kama jina la mwenyeji.

Unganisha Open WebUI kwenye mtandao wa FreeLLMAPI (Linux)

# Find the network of the FreeLLMAPI stack (usually freellmapi_default)
docker network ls

# Attach the Open WebUI container to it
docker network connect freellmapi_default open-webui

# Test the URL from inside the Open WebUI container
docker exec open-webui curl -s http://freellmapi:3001/v1/models \
  -H "Authorization: Bearer <unified-key>" | head -c 300

Hatua ya 2: Ongeza muunganisho

Unaweza kuongeza muunganisho kwenye kiolesura au kwa vigezo vya mazingira. Kiolesura ndiyo njia rahisi zaidi.

  1. Fungua Admin Panel kisha nenda kwenye Settings > Connections.
  2. Tafuta orodha ya Manage OpenAI API Connections. Bofya Add Connection.
  3. Kwenye URL, andika URL kutoka Hatua ya 1, kwa mfano http://host.docker.internal:3001/v1.
  4. Kwenye API Key, bandika ufunguo wako wa pamoja wa FreeLLMAPI.
  5. Bofya Verify Connection. Kisha bofya Save.

Ili kuweka muunganisho kontena linapoanza, tumia OPENAI_API_BASE_URL na OPENAI_API_KEY. Amri iliyo hapa chini ni amri ya kawaida ya docker run ya Open WebUI, ikiwa na vigezo hivi viwili vimeongezwa.

docker run yenye muunganisho wa FreeLLMAPI

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -e OPENAI_API_BASE_URL=http://host.docker.internal:3001/v1 \
  -e OPENAI_API_KEY=<unified-key> \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Ili kuhifadhi muunganisho wa OpenAI uliopo, tumia vigezo vya wingi. OPENAI_API_BASE_URLS na OPENAI_API_KEYS zinapokea orodha zilizotenganishwa kwa semikoloni. Ufunguo wa kwanza unakwenda na URL ya kwanza.

Miunganisho miwili kwenye kontena moja

-e OPENAI_API_BASE_URLS="https://api.openai.com/v1;http://host.docker.internal:3001/v1" \
-e OPENAI_API_KEYS="<openai-key>;<unified-key>"
Muhimu: vigezo hivi vinahifadhiwa kwenye hifadhidata ya Open WebUI wakati wa kuanza kwa mara ya kwanza. Baada ya hapo, thamani zilizohifadhiwa kwenye Admin Panel zinapewa kipaumbele kuliko mazingira. Ikiwa mabadiliko ya vigezo hayana athari, hariri muunganisho kwenye Admin Panel. Unaweza pia kuweka ENABLE_PERSISTENT_CONFIG=False ili mazingira yashinde.

Hatua ya 3: Weka orodha fupi ya modeli

FreeLLMAPI inarudisha katalogi yake yote kwenye /v1/models. Katalogi pia ina modeli ambazo huwezi kuzitumia bado, kwa sababu hujaongeza ufunguo wake. Open WebUI inaonyesha kila modeli ambayo muunganisho unarudisha. Orodha ndefu ya modeli zinazoshindwa haina faida.

Fungua muunganisho tena kisha tumia sehemu ya Model IDs. Unapoongeza IDs, Open WebUI inaonyesha IDs hizi pekee na inaacha kusoma orodha yote. Ongeza ingizo za kipanga njia kwanza:

Model IDKipanga njia kinafanya nini
autoInafuata mnyororo wako wa akiba unaotumika kutoka dashibodi
auto:fastInapanga modeli zilizowezeshwa kwa kasi iliyopimwa
auto:smartInapanga modeli zilizowezeshwa kwa uwezo wa akili
auto:reliableInapanga modeli zilizowezeshwa kwa kiwango cha mafanikio cha hivi karibuni
auto:<profile>Inatumia mnyororo wa akiba wenye jina, kwa mfano mnyororo wa uoni

Unaweza pia kuongeza model ID isiyobadilika, kwa mfano modeli kutoka jedwali hapa chini. Modeli isiyobadilika inatoa jibu la mtindo uleule kila mara. Pia inasimama modeli hiyo inapomaliza kikomo chake cha bure, isipokuwa modeli hiyo hiyo ni ya bure kwa watoa huduma wengine.

Ili kuokoa kiwango, weka modeli ya kazi kuwa ingizo la haraka. Open WebUI inatumia modeli ya kazi kwa vichwa vya habari na maswali ya utafutaji. Kigezo ni TASK_MODEL_EXTERNAL, kwa mfano TASK_MODEL_EXTERNAL=auto:fast.

Modeli nzuri za gumzo za bure zenye muktadha wa 128K au zaidi
ModeliBure kwenyeMuktadhaVikomo vya bure (ofa bora)ZanaUoni
GLM 5.3APINex, UnoRouter1M5 maombi/dakika
10M weighted tokens/day shared across APINex free routes; 4x token multiplier; 5 requests/minute/account
NdiyoHapana
GLM 5.3 FlashAPINex, BlazeAPI, NVIDIA NIM +1 zaidi1M40 maombi/dakika
40 RPM
NdiyoNdiyo
Gemini 3.8 FlashAPINex, Google AI Studio1M5 maombi/dakika
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
NdiyoNdiyo
Qwen3.8 Flash NextAMD Radeon Cloud, BlazeAPI, ElectronHub262KRecurring daily account allowanceNdiyoHapana
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditNdiyoNdiyo
Deepseek V4.1 FlashAPINex1M5 maombi/dakika
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
HapanaHapana
Gemini 3.7 FlashGoogle AI Studio1M10 maombi/dakika
20 maombi/siku
250,000 tokeni/dakika
~3M
NdiyoNdiyo
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditNdiyoNdiyo
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 maombi/dakika
50 maombi/siku
50 req/day account-wide (1,000 after a $10 purchase)
NdiyoNdiyo
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 maombi/dakika
50 maombi/siku
Shared rate limit
NdiyoHapana

Inaonyesha 10 kati ya 184 modeli za bure zinazolingana. Tazama modeli zote.

Data ya moja kwa moja kutoka katalogi ya FreeLLMAPI (toleo 2026.11.19, imekaguliwa 2026-11-19). Vikomo vya bure hubadilika mara kwa mara. Katalogi hukaguliwa kila siku.

Ukituma picha kwenye Open WebUI, kipanga njia kinatumia modeli za uoni kwa ombi hilo pekee. Ikiwa hakuna modeli ya uoni kwenye mnyororo wako, ombi linarudisha hitilafu 422. Modeli hizi za bure zinakubali picha:

Modeli za bure zenye ingizo la picha
ModeliBure kwenyeMuktadhaVikomo vya bure (ofa bora)ZanaUoni
GLM 5.3 FlashUnoRouter1M1 maombi/dakika
1 req/min per model
NdiyoNdiyo
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaNdiyoNdiyo
Gemini Flash (latest alias)Google AI Studio-10 maombi/dakika
20 maombi/siku
250,000 tokeni/dakika
~3M
NdiyoNdiyo
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditNdiyoNdiyo
Gemini 3.7 FlashGoogle AI Studio1M10 maombi/dakika
20 maombi/siku
250,000 tokeni/dakika
~3M
NdiyoNdiyo
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditNdiyoNdiyo

Inaonyesha 6 kati ya 67 modeli za bure zinazolingana. Tazama modeli zote.

Data ya moja kwa moja kutoka katalogi ya FreeLLMAPI (toleo 2026.11.19, imekaguliwa 2026-11-19). Vikomo vya bure hubadilika mara kwa mara. Katalogi hukaguliwa kila siku.

Tumia embeddings za bure kwa hati zako

Open WebUI inaweza kutengeneza embeddings za hati zako kupitia API inayooana na OpenAI. FreeLLMAPI inatoa /v1/embeddings. Kuhamia kwa mbadala wa embedding hakubadilishi modeli, kwa hivyo vekta zilizo kwenye hifadhi yako zinabaki sambamba.

Mipangilio ya embedding kwa Open WebUI

-e RAG_EMBEDDING_ENGINE=openai \
-e RAG_OPENAI_API_BASE_URL=http://host.docker.internal:3001/v1 \
-e RAG_OPENAI_API_KEY=<unified-key> \
-e RAG_EMBEDDING_MODEL=bge-m3

Chagua familia moja ya embedding kisha ibaki nayo. Ukibadilisha familia, tengeneza tena embeddings za hati zote. Modeli za embedding za bure katika katalogi ya leo ni:

ModeliMtoa hudumaVipimoIngizo la juu zaidiKikomo cha bure
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Data ya moja kwa moja kutoka katalogi ya FreeLLMAPI (toleo 2026.11.19, imekaguliwa 2026-11-19). Vikomo vya bure hubadilika mara kwa mara. Katalogi hukaguliwa kila siku.

Utatuzi wa matatizo

TatizoChanzoSuluhisho
Verify Connection inashindwa na hitilafu ya mtandaolocalhost inaelekeza kwenye kontena la Open WebUITumia host.docker.internal au mtandao wa pamoja wa Docker, kama katika Hatua ya 1
Verify Connection inashindwa na 401Ufunguo si sahihi au una nafasiNakili tena ufunguo wa pamoja kutoka ukurasa wa Keys
Mamia ya modeli kwenye kichaguaMuunganisho unasoma katalogi yoteOngeza auto na IDs ulizochagua kwenye Model IDs
Modeli moja inashindwa kwa kila ujumbeHakuna ufunguo wa mtoa huduma wa modeli hiyoOngeza ufunguo wa mtoa huduma, au chagua auto
Hitilafu 429 baada ya gumzo nyingiFunguo zote za watoa huduma kwenye mnyororo zimefikia kikomo chaoOngeza funguo za watoa huduma zaidi, au subiri muda wa kuweka upya kwenye kichwa cha Retry-After
Vigezo vya mazingira havina athariThamani zilizohifadhiwa kwenye hifadhidata zinapewa kipaumbeleHariri muunganisho kwenye Admin Panel

Ili kuona mtoa huduma aliyejibu gumzo, soma kichwa cha X-Routed-Via cha jibu. Kitazamaji cha Server Logs kwenye menyu ya Analytics ya dashibodi pia kinaonyesha maamuzi ya uelekezaji na muda wa kupumzika wa funguo.

Tumia kila moja ya hizi kwa ufunguo mmoja. FreeLLMAPI ni kipanga njia huria, unachoendesha mwenyewe. Kinaweka tabaka hizi zote za bure nyuma ya kituo kimoja cha OpenAI kinachooana, na kinahamia kwenye nyingine pale kikomo kinapofikiwa. Vinjari katalogi au anza sasa.

Maswali yanayoulizwa mara kwa mara

Je, kuna API ya bure kwa Open WebUI?

Ndiyo. Open WebUI inafanya kazi na API yoyote inayooana na OpenAI. FreeLLMAPI inachanganya ngazi za bure za watoa huduma nyuma ya URL moja na ufunguo mmoja. Kila ngazi ya bure ina vikomo vyake.

Ninatumia URL gani kwa muunganisho unaooana na OpenAI kwenye Open WebUI?

Tumia URL ya msingi yenye /v1 mwishoni, kwa mfano http://host.docker.internal:3001/v1. Usiongeze /chat/completions. Ikiwa Open WebUI inaendeshwa kwenye Docker, usitumie localhost.

Kwa nini Open WebUI inapuuza mabadiliko yangu ya OPENAI_API_BASE_URL?

Open WebUI inahifadhi mipangilio ya muunganisho kwenye hifadhidata yake baada ya kuanza kwa mara ya kwanza. Thamani zilizo kwenye hifadhidata zinapewa kipaumbele. Hariri muunganisho kwenye Admin Panel, au weka ENABLE_PERSISTENT_CONFIG=False.

Je, Open WebUI inaweza kutumia watoa huduma kadhaa wa bure kwa wakati mmoja?

Ndiyo. Unaweza kuongeza muunganisho mmoja kwa kila mtoa huduma. Kwa FreeLLMAPI, muunganisho mmoja unatosha, kwa sababu kipanga njia kinachagua mtoa huduma na kuhamia kwa anayefuata kikomo kinapozuia ombi.

Modeli ipi ya bure ni bora zaidi kwenye Open WebUI?

Anza na auto. Inafuata mnyororo wako wa akiba. Kwa modeli isiyobadilika, chagua moja yenye dirisha kubwa la muktadha kutoka jedwali la ukurasa huu.

Miongozo inayohusiana

Vyanzo

Miongozo yote · Tazama modeli zote za bure