Nyumbani / Miongozo / API ya bure ya embeddings

API ya bure ya embeddings

API ya embeddings hubadilisha maandishi kuwa vekta kwa ajili ya utafutaji, RAG na kuunganisha vitu pamoja. Watoa huduma kadhaa hutoa embeddings bila malipo. FreeLLMAPI huweka modeli 41 za bure za embeddings nyuma ya endpoint moja ya /v1/embeddings. Mwongozo huu unaonyesha modeli, vikomo vyake na msimbo unaofanya kazi.

Msimbo, majina ya modeli na lebo za katalogi ya moja kwa moja zinaonyeshwa kwa Kiingereza.

Embeddings za bure zinavyofanya kazi katika FreeLLMAPI

Endpoint ya /v1/embeddings hutumia muundo wa ombi wa OpenAI. SDK yoyote ya OpenAI inaweza kuiita. Unatuma maandishi, nawe unapata vekta moja kwa kila mfuatano wa ingizo.

Embeddings hutumia sheria tofauti ya failover kuliko gumzo. Maombi ya gumzo yanaweza kuhamia modeli nyingine. Maombi ya embeddings hayahami kamwe kwenda modeli nyingine. Vekta kutoka modeli mbili hazioani, kwa hiyo mabadiliko ya modeli kimya kimya yangeharibu hifadhi yako ya vekta.

  • Familia: FreeLLMAPI hupanga watoa huduma kwa familia. Familia ni utambulisho mmoja wa modeli wenye ukubwa mmoja wa vekta, kwa mfano bge-m3 yenye vipimo 1024.
  • Failover: mtoa huduma mmoja katika familia anapofikia kikomo chake, kipanga njia hujaribu mtoa huduma anayefuata anayetoa familia hiyo hiyo.
  • Chaguo-msingi: model: "auto" hutumia familia ya chaguo-msingi. Unaweka familia ya chaguo-msingi kwenye ukurasa wa Models, Embeddings wa dashibodi.

Modeli za bure za embeddings leo

Jedwali linaorodhesha kila modeli ya bure ya embeddings kwenye katalogi ya FreeLLMAPI. Data inatoka kwenye katalogi hai. "Max input" ni idadi ya juu ya tokeni kwa mfuatano mmoja wa ingizo. "Free limit" ni kiwango cha bure ambacho mtoa huduma anachapisha.

ModeliMtoa hudumaVipimoIngizo la juu zaidiKikomo cha bure
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Data ya moja kwa moja kutoka katalogi ya FreeLLMAPI (toleo 2026.11.19, imekaguliwa 2026-11-19). Vikomo vya bure hubadilika mara kwa mara. Katalogi hukaguliwa kila siku.

Baadhi ya watoa huduma hushiriki kiwango kimoja kati ya gumzo na embeddings. Kwa mfano, ufunguo wa majaribio wa Cohere unaruhusu miito 1,000 ya API kila mwezi kwa endpoints zote pamoja. Cloudflare Workers AI hutoa neurons 10,000 kila siku, zinazoshirikiwa na modeli zote za Workers AI kwenye akaunti.

Hatua ya 1: Sakinisha FreeLLMAPI na uongeze funguo

FreeLLMAPI ni chanzo huria. Inaendeshwa kwenye kompyuta yako kwenye Docker. Funguo zako za watoa huduma zinabaki kwenye kompyuta yako.

Sakinisha (macOS au Linux)

curl -fsSL https://freellmapi.co/install.sh | bash

Fungua dashibodi kwenye http://localhost:3001. Ongeza funguo za watoa huduma wako kwenye ukurasa wa Keys. Kwa embeddings, ufunguo wa Google AI Studio na ufunguo wa Cloudflare vinatosha kuanza. Nakili ufunguo wako wa umoja kutoka ukurasa huo huo.

Hatua ya 2: Ita endpoint ya embeddings

Tuma orodha ya mifuatano ili kupata vekta kadhaa kwa ombi moja. Tumia thamani ile ile ya model kwa nyaraka zako na kwa maswali yako ya utafutaji.

curl

curl http://localhost:3001/v1/embeddings \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{"model": "bge-m3", "input": ["the quick brown fox", "a fast brown fox"]}'

Python: weka embeddings na linganisha maandishi mawili

import math
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")

resp = client.embeddings.create(
    model="bge-m3",  # a family name, "auto", or a provider model id
    input=["How do I reset my password?", "Steps to change a forgotten password"],
)
a, b = resp.data[0].embedding, resp.data[1].embedding
print(len(resp.data), "vectors of", len(a), "dimensions")

dot = sum(x * y for x, y in zip(a, b))
norm = math.sqrt(sum(x * x for x in a)) * math.sqrt(sum(y * y for y in b))
print("cosine similarity:", round(dot / norm, 3))

Sehemu ya model inakubali aina tatu: auto, jina la familia kama bge-m3, au kitambulisho cha modeli ya mtoa huduma kama @cf/baai/bge-m3. Kitambulisho cha modeli ya mtoa huduma hubadilika kuwa familia yake, kwa hiyo failover bado inabaki ndani ya familia hiyo.

Modeli ipi ya bure ya embeddings ichague

Chagua modeli mara moja kwa kila hifadhi ya vekta. Ukibadilisha modeli baadaye, lazima uweke embeddings za nyaraka zote upya.

MahitajiFamilia ya modeliSababu
Maandishi mafupi ya Kiingereza au ya lugha nyingi, watoa huduma wengibge-m3Vipimo 1024, tokeni 8,192 za ingizo. Watoa huduma kadhaa wa bure wanaitoa, kwa hiyo failover ina chaguo zaidi.
Utafutaji wa ubora wa juu kwa ufunguo wa Googlegemini-embedding-001Vipimo 3072. Kikomo cha ingizo ni tokeni 2,048, kwa hiyo gawanya nyaraka ndefu kuwa vipande.
Nyaraka ndefu katika vekta mojaembed-v4.0 (Cohere)Dirisha kubwa la ingizo. Ufunguo wa majaribio unaruhusu miito 1,000 tu kila mwezi, unaoshirikiwa na gumzo.
Vekta ndogo na utafutaji wa harakabge-small-en-v1.5Vipimo 384. Kwa Kiingereza pekee, na kikomo cha ingizo ni tokeni 512.
Utafutaji wa msimbocodestral-embedImefunzwa kwa msimbo. Inatumia kiwango cha hali ya bure ya Mistral.

Vekta kubwa zinagharimu hifadhi zaidi na kumbukumbu zaidi kwenye hifadhidata ya vekta. Vekta ya vipimo 3072 ni mara tatu kubwa kuliko vekta ya vipimo 1024. Kwa miradi mingi ya RAG yenye vipande chini ya milioni moja, vipimo 768 hadi 1024 hutoa matokeo mazuri.

Vikomo na mitego

  • Vikomo vya ingizo: maandishi yaliyozidi thamani ya "Max input" yanaweza kukatwa au kukataliwa. Gawanya nyaraka kuwa vipande vya tokeni 300 hadi 800 kabla ya kuweka embeddings.
  • Familia moja kwa hifadhi: usichanganye vekta kutoka familia mbili kwenye faharasa moja. Alama za ufanano hazina maana kati ya modeli.
  • Usawazishaji: Google inasema kuwa vekta za gemini-embedding-001 zenye vipimo chini ya 3072 lazima uzisawazishe mwenyewe. Sawazisha vekta zote kabla ya kutumia dot product kama alama.
  • Vikomo vya kasi: tabaka za bure huhesabu maombi kwa dakika au kwa siku. Tuma makundi ya mifuatano kwenye ombi moja, si ombi moja kwa kila mfuatano.
  • Tabaka zisizo na jina: OVH AI Endpoints huruhusu maombi 2 kwa dakika kwa kila anwani ya IP na kwa kila modeli bila ufunguo. Itumie kama akiba, si kwa kuorodhesha kwa wingi.
Kidokezo: weka angalau watoa huduma wawili katika familia uliyochagua. Kisha hitilafu 429 kwa mtoa huduma mmoja haisimamishi kazi yako ya kuorodhesha.

Utatuzi wa matatizo

TatizoSababuSuluhisho
Hitilafu 429 wakati wa kuorodhesha kwa wingiKikomo cha mtoa huduma kwa familia kimefikiwaOngeza ufunguo wa pili wa mtoa huduma kwa familia ile ile, au tuma maombi machache kwa dakika
Matokeo ya utafutaji si sahihi baada ya mabadilikoNyaraka na maswali vinatumia familia tofautiTumia thamani moja ya model kwa vyote viwili. Weka embeddings za nyaraka upya ukiwa umebadilisha
Urefu wa vekta si kama ulivyotarajiaauto hutumia familia ya chaguo-msingiWeka jina la familia wazi, au angalia chaguo-msingi kwenye Models, Embeddings
Maandishi marefu yanatoa mechi duniMaandishi ni marefu kuliko kikomo cha ingizoGawanya maandishi kuwa vipande vidogo zaidi
Hitilafu 401Ufunguo wa umoja si sahihi au haupoNakili tena ufunguo wa umoja kutoka ukurasa wa Keys
Tumia kila moja ya hizi kwa ufunguo mmoja. FreeLLMAPI ni kipanga njia huria, unachoendesha mwenyewe. Kinaweka tabaka hizi zote za bure nyuma ya kituo kimoja cha OpenAI kinachooana, na kinahamia kwenye nyingine pale kikomo kinapofikiwa. Vinjari katalogi au anza sasa.

Maswali yanayoulizwa mara kwa mara

Je, kuna API ya bure ya embeddings?

Ndiyo. Google AI Studio, Cloudflare Workers AI, Cohere, NVIDIA, Mistral, OVH na wengine hutoa modeli za bure za embeddings zenye vikomo vya kasi. FreeLLMAPI huweka 41 kati yake nyuma ya endpoint moja inayoendana na OpenAI.

Je, ninaweza kutumia OpenAI SDK kwa embeddings za bure?

Ndiyo. Weka base URL kuwa http://localhost:3001/v1 na utumie ufunguo wako wa umoja. Kisha ita client.embeddings.create kwa jina la familia kama bge-m3.

Kwa nini FreeLLMAPI haihami kwenda modeli nyingine ya embeddings inaposhindwa?

Vekta kutoka modeli tofauti hazioani. Mabadiliko ya modeli kimya kimya yangevunja utafutaji wa ufanano. Kipanga njia hubadilisha watoa huduma tu wanaotoa familia ile ile ya modeli.

Modeli ipi ya bure ya embeddings ni bora kwa RAG?

Kwa miradi mingi, bge-m3 ni chaguo-msingi zuri. Ina vipimo 1024, kikomo cha ingizo cha tokeni 8,192 na watoa huduma kadhaa wa bure. Tumia gemini-embedding-001 ikiwa unataka vipimo 3072 na una ufunguo wa Google.

Embeddings zangu zinapaswa kuwa na vipimo vingapi?

Tumia vipimo 768 hadi 1024 kwa kazi nyingi za utafutaji na RAG. Vekta kubwa hutumia hifadhi na kumbukumbu zaidi. Chagua ukubwa mara moja, kwa sababu mabadiliko yanamaanisha lazima uweke embeddings za nyaraka zote upya.

Miongozo inayohusiana

Vyanzo

Miongozo yote · Tazama modeli zote za bure