API LLM gratuit pentru RAG
Generarea augmentată prin recuperare (RAG) are nevoie de două API-uri: un model de embeddings care găsește textul relevant și un model de chat care scrie răspunsul. Ambele sunt disponibile pe niveluri gratuite. FreeLLMAPI oferă o singură cheie compatibilă cu OpenAI pentru 41 modele gratuite de embeddings și 487 modele gratuite de chat, cu rezervă între furnizori. Acest ghid arată modelele gratuite pentru fiecare pas și un flux complet în Python.
Codul, numele modelelor și etichetele live din catalog sunt afișate în engleză.
Fluxul RAG pe niveluri gratuite
| Pas | API | Problema nivelului gratuit |
|---|---|---|
| 1. Împărțiți documentele în fragmente | Niciunul (cod local) | Nu există |
| 2. Transformați în embeddings fiecare fragment | /v1/embeddings | Multe cereri la început. Unele niveluri gratuite de embeddings permit 10 cereri pe minut. |
| 3. Transformați în embedding întrebarea | /v1/embeddings | O cerere pentru fiecare întrebare |
| 4. Găsiți cele mai bune fragmente | Niciunul (căutare vectorială locală) | Nu există |
| 5. Reordonați fragmentele (opțional) | /v1/chat/completions | O cerere de chat în plus pentru fiecare întrebare |
| 6. Scrieți răspunsul | /v1/chat/completions | Prompturi mari. Se aplică limitele de tokeni pe minut. |
Pasul 2 este cel mai costisitor. Îl faceți o dată pentru fiecare document. Salvați vectorii și transformați ulterior în embeddings doar documentele noi sau modificate.
Instalați FreeLLMAPI și pachetele Python
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>Alegeți un model gratuit de embeddings
Alegeți o singură familie de embeddings și păstrați-o pentru tot indexul. Vectorii de la două modele nu sunt compatibili. FreeLLMAPI vă protejează de vectorii amestecați: rezerva de embeddings nu schimbă niciodată modelul. Trece doar între furnizorii care servesc aceeași familie.
| Model | Furnizor | Dimensiuni | Intrare maximă | Limită gratuită |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.
- Mai mulți furnizori pentru o familie: o familie precum
bge-m3este gratuită la mai mulți furnizori. Rezerva are atunci unde să meargă. - Intrare maximă: fragmentele mai lungi decât intrarea maximă sunt tăiate sau respinse. Faceți fragmentele mai mici decât această valoare.
- Limbi: pentru text care nu este în engleză, folosiți o familie multilingvă, precum
bge-m3. Familiile cu-en-în nume sunt pentru engleză. - Dimensiuni: vectorii mai mari folosesc mai mult spațiu de stocare. Pentru un index mic, aceasta nu este o problemă.
Cod RAG complet în Python
Scriptul împarte fișierele text în fragmente, le transformă în embeddings pe loturi și salvează vectorii cu NumPy. Apoi răspunde la o întrebare cu cele mai bune fragmente și oferă sursele. Reîncearcă atunci când o limită oprește o cerere.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))Pentru mai mult de câteva mii de fragmente, înlocuiți căutarea NumPy cu o bază de date vectorială. Apelurile de embeddings și de chat rămân aceleași.
Utilizatorii pun adesea aceeași întrebare din nou. FreeLLMAPI are un cache de răspunsuri opțional pentru cereri identice. Un răspuns din cache nu folosește cota furnizorului. Puteți activa sau dezactiva cache-ul pentru o cerere cu antetul X-FreeLLM-Cache: on sau off. Folosiți temperature=0, ca aceeași întrebare să dea aceeași cerere.
Adăugați un pas de reordonare
Căutarea vectorială găsește text similar, dar primul fragment nu este întotdeauna cel mai bun răspuns. Un pas de reordonare sortează din nou candidații. Documentația FreeLLMAPI nu descrie un punct final dedicat pentru reordonare. Puteți folosi un model rapid de chat ca reordonator. Recuperați 15 candidați și păstrați cei mai buni 5.
Reordonare LLM cu auto:fast
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]Pasul de reordonare adaugă o cerere de chat pentru fiecare întrebare. Dacă limitele dumneavoastră gratuite sunt strânse, săriți peste el. O segmentare mai bună ajută adesea mai mult decât un pas de reordonare.
Context lung: când nu aveți nevoie de recuperare
Astăzi, 56 oferte de modele gratuite au o fereastră de context de 1 milion de tokeni sau mai mult. Dacă documentele dumneavoastră sunt mici, le puteți trimite pe toate în prompt și puteți sări peste indexul vectorial. Este mai simplu, dar fiecare întrebare trimite atunci mulți tokeni.
| Model | Gratuit pe | Context | Limite gratuite (cea mai bună ofertă) | Instrumente | Viziune |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Nu | Nu |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 cereri/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Da | Da |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 cereri/min 20 cereri/zi 250,000 tokeni/min ~3M | Da | Da |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 cereri/min 50 cereri/zi Shared rate limit | Da | Nu |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Nu | Nu |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 cereri/min 20 cereri/zi 250,000 tokeni/min ~3M | Da | Da |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Nu | Nu |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 cereri/min 20 cereri/zi 250,000 tokeni/min ~3M | Da | Da |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 cereri/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Nu | Nu |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3 în plus | 1M | 200 cereri/zi 200 rpd | Da | Nu |
Se afișează 10 din 35 modele gratuite care se potrivesc. Vezi toate modelele.
Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.
- Folosiți context lung pentru câteva documente, pentru întrebări care au nevoie de textul complet sau pentru un singur raport.
- Folosiți recuperarea pentru multe documente, pentru întrebări frecvente sau când limitele gratuite de tokeni pe minut sunt mici.
- Combinați-le: recuperați 20 sau mai multe fragmente și trimiteți-le unui model cu context lung.
Un prompt mare poate eșua la un furnizor cu o limită mică de tokeni pe minut. FreeLLMAPI încearcă atunci următorul furnizor. Ca să controlați ce modele primesc prompturi mari, creați un profil de lanț de rezervă doar cu modele cu context lung. Folosiți-l ca auto:<profile>.
Limite și depanare
| Problemă | Cauză | Remediere |
|---|---|---|
| Ingestia se oprește cu 429 | Familia de embeddings este la limită la toți furnizorii | Folosiți loturi mai mari, așteptați Retry-After, ingerați în părți |
| Rezultate slabe după o schimbare | Indexul are vectori din două familii | Transformați din nou în embeddings toate fragmentele, cu o singură familie |
| Eroare despre lungimea intrării | Un fragment este mai lung decât intrarea maximă a familiei | Folosiți fragmente mai mici |
| Răspunsul ignoră sursele | Modelul răspunde din cunoștințele sale | Folosiți temperature=0 și un prompt de sistem strict |
| Eroare de lungime a contextului la răspuns | Prea multe fragmente sau fragmente prea lungi | Micșorați k sau folosiți un profil cu context lung |
| Răspunsurile își schimbă stilul | Routerul a selectat alt model | Trimiteți un antet X-Session-Id sau fixați un model |
Nivelurile gratuite nu au SLA. Cele mai puternice modele ating primele limitele zilnice, iar multe limite se resetează la miezul nopții UTC. Testați fluxul cu modelele pe care le va folosi efectiv lanțul dumneavoastră.
Întrebări frecvente
Există un API gratuit pentru RAG?
Da. Mai mulți furnizori au niveluri gratuite de embeddings și de chat. FreeLLMAPI servește ambele printr-o singură cheie compatibilă cu OpenAI, cu rezervă între furnizori.
Care model gratuit de embeddings este cel mai bun pentru RAG?
Alegeți o familie care este gratuită la mai mulți furnizori și se potrivește limbilor dumneavoastră. Pentru text multilingv, bge-m3 este o alegere frecventă. Păstrați o singură familie pentru tot indexul.
Există un API gratuit pentru reordonare?
Documentația FreeLLMAPI nu descrie un punct final de reordonare. Puteți reordona cu un model rapid de chat, așa cum se arată pe această pagină, sau puteți sări peste pasul de reordonare.
Am nevoie de RAG dacă un model gratuit are 1 milion de tokeni de context?
Nu pentru câteva documente mici. Pentru multe documente sau întrebări frecvente, recuperarea trimite mai puțini tokeni pe cerere și rămâne în limitele gratuite.
Pot schimba mai târziu modelul de embeddings?
Da, dar trebuie să transformați din nou în embeddings toate fragmentele. Vectorii de la două modele nu sunt compatibili, deci nu îi amestecați într-un singur index.
Ghiduri înrudite
- API gratuit pentru embeddings
- API LLM gratuit cu context de 1 milion de tokeni
- LLM gratuit pentru LlamaIndex
- Free LLM API pentru LangChain
- API LLM gratuit în Python
Surse
- FreeLLMAPI docs: embeddings (families and failover rules) (verificat 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (verificat 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (verificat 20 November 2026)