Darmowe API LLM dla RAG
Generowanie wspomagane wyszukiwaniem (RAG) potrzebuje dwóch API: modelu embeddingów, który znajduje właściwy tekst, i modelu czatu, który pisze odpowiedź. Oba są dostępne w darmowych planach. FreeLLMAPI daje jeden klucz zgodny z OpenAI dla 41 darmowych modeli embeddingów i 487 darmowych modeli czatu, z przełączaniem awaryjnym między dostawcami. Ten poradnik pokazuje darmowe modele dla każdego kroku i pełny pipeline w Pythonie.
Kod, nazwy modeli i etykiety z katalogu na żywo są podane po angielsku.
Pipeline RAG na darmowych planach
| Krok | API | Problem darmowego planu |
|---|---|---|
| 1. Podziel dokumenty na fragmenty | Brak (kod lokalny) | Brak |
| 2. Osadź każdy fragment | /v1/embeddings | Dużo żądań na początku. Niektóre darmowe plany embeddingów pozwalają na 10 żądań na minutę. |
| 3. Osadź pytanie | /v1/embeddings | Jedno żądanie na pytanie |
| 4. Znajdź najlepsze fragmenty | Brak (lokalne wyszukiwanie wektorowe) | Brak |
| 5. Przeszereguj fragmenty (opcjonalnie) | /v1/chat/completions | Jedno dodatkowe żądanie czatu na pytanie |
| 6. Napisz odpowiedź | /v1/chat/completions | Duże prompty. Obowiązują limity tokenów na minutę. |
Krok 2 zużywa najwięcej limitu. Wykonujesz go raz dla każdego dokumentu. Zapisz wektory, a później osadzaj tylko nowe lub zmienione dokumenty.
Zainstaluj FreeLLMAPI i pakiety Pythona
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>Wybierz darmowy model embeddingów
Wybierz jedną rodzinę embeddingów i zachowaj ją dla całego indeksu. Wektory z dwóch modeli nie są zgodne. FreeLLMAPI chroni przed mieszaniem wektorów: przełączanie awaryjne embeddingów nigdy nie zmienia modelu. Przełącza się tylko między dostawcami, którzy udostępniają tę samą rodzinę.
| Model | Dostawca | Wymiary | Maks. wejście | Darmowy limit |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Dane na żywo z katalogu FreeLLMAPI (wersja 2026.11.19, sprawdzono 2026-11-19). Darmowe limity często się zmieniają. Katalog jest sprawdzany codziennie.
- Kilku dostawców dla jednej rodziny: rodzina, na przykład
bge-m3, jest darmowa u więcej niż jednego dostawcy. Przełączanie awaryjne ma wtedy dokąd przejść. - Maks. wejście: fragmenty dłuższe niż maksymalne wejście są ucinane albo odrzucane. Zrób fragmenty mniejsze niż ta wartość.
- Języki: dla tekstu innego niż angielski użyj wielojęzycznej rodziny, na przykład
bge-m3. Rodziny z-en-w nazwie są przeznaczone dla angielskiego. - Wymiary: większe wektory zajmują więcej miejsca. Przy małym indeksie to nie jest problem.
Pełny kod RAG w Pythonie
Skrypt dzieli pliki tekstowe na fragmenty, osadza je partiami i zapisuje wektory przez NumPy. Potem odpowiada na pytanie najlepszymi fragmentami i podaje źródła. Ponawia żądanie, gdy limit je zatrzyma.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))Dla więcej niż kilku tysięcy fragmentów zastąp wyszukiwanie NumPy bazą wektorową. Wywołania embeddingów i czatu pozostają takie same.
Użytkownicy często zadają to samo pytanie ponownie. FreeLLMAPI ma opcjonalną pamięć podręczną odpowiedzi dla identycznych żądań. Trafienie w pamięć podręczną nie zużywa przydziału dostawcy. Pamięć podręczną możesz włączyć lub wyłączyć dla jednego żądania nagłówkiem X-FreeLLM-Cache: on albo off. Użyj temperature=0, aby to samo pytanie dawało takie samo żądanie.
Dodaj krok rerankingu
Wyszukiwanie wektorowe znajduje podobny tekst, ale najlepszy fragment nie zawsze jest najlepszą odpowiedzią. Krok rerankingu ponownie sortuje kandydatów. Dokumentacja FreeLLMAPI nie opisuje osobnego punktu końcowego rerankingu. Jako rerankera możesz użyć szybkiego modelu czatu. Pobierz 15 kandydatów i zachowaj najlepsze 5.
Rerank przez LLM z auto:fast
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]Krok rerankingu dodaje jedno żądanie czatu na pytanie. Jeśli Twoje darmowe limity są małe, pomiń go. Lepszy podział na fragmenty często daje więcej niż rerank.
Długi kontekst: kiedy nie potrzebujesz wyszukiwania
Dziś 56 darmowych ofert modeli ma okno kontekstu 1 milion tokenów lub więcej. Jeśli Twoje dokumenty są małe, możesz wysłać wszystkie w prompcie i pominąć indeks wektorowy. To prostsze, ale każde pytanie wysyła wtedy wiele tokenów.
| Model | Za darmo w | Kontekst | Darmowe limity (najlepsza oferta) | Narzędzia | Wizja |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Nie | Nie |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 żądań/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Tak | Tak |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 żądań/min 20 żądań/dzień 250,000 tokenów/min ~3M | Tak | Tak |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 żądań/min 50 żądań/dzień Shared rate limit | Tak | Nie |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Nie | Nie |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 żądań/min 20 żądań/dzień 250,000 tokenów/min ~3M | Tak | Tak |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Nie | Nie |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 żądań/min 20 żądań/dzień 250,000 tokenów/min ~3M | Tak | Tak |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 żądań/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Nie | Nie |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3 więcej | 1M | 200 żądań/dzień 200 rpd | Tak | Nie |
Pokazano 10 z 35 pasujących darmowych modeli. Zobacz wszystkie modele.
Dane na żywo z katalogu FreeLLMAPI (wersja 2026.11.19, sprawdzono 2026-11-19). Darmowe limity często się zmieniają. Katalog jest sprawdzany codziennie.
- Użyj długiego kontekstu dla kilku dokumentów, pytań wymagających pełnego tekstu albo jednego raportu.
- Użyj wyszukiwania dla wielu dokumentów, częstych pytań albo gdy darmowe limity tokenów na minutę są niskie.
- Połącz oba podejścia: pobierz 20 lub więcej fragmentów i wyślij je do modelu z długim kontekstem.
Duży prompt może zawieść u dostawcy z niskim limitem tokenów na minutę. FreeLLMAPI wtedy próbuje następnego dostawcy. Aby kontrolować, które modele dostają duże prompty, utwórz profil łańcucha awaryjnego tylko z modelami o długim kontekście. Używaj go jako auto:<profile>.
Limity i rozwiązywanie problemów
| Problem | Przyczyna | Rozwiązanie |
|---|---|---|
| Ładowanie zatrzymuje się na błędzie 429 | Rodzina embeddingów ma wyczerpany limit u wszystkich dostawców | Użyj większych partii, czekaj na Retry-After, ładuj dane w częściach |
| Złe wyniki po zmianie | Indeks ma wektory z dwóch rodzin | Osadź ponownie wszystkie fragmenty jedną rodziną |
| Błąd o długości wejścia | Fragment jest dłuższy niż maksymalne wejście rodziny | Użyj mniejszych fragmentów |
| Odpowiedź ignoruje źródła | Model odpowiada z własnej wiedzy | Użyj temperature=0 i ścisłego promptu systemowego |
| Błąd długości kontekstu przy odpowiedzi | Zbyt wiele albo zbyt długie fragmenty | Zmniejsz k albo użyj profilu z długim kontekstem |
| Odpowiedzi zmieniają styl | Router wybrał inny model | Wyślij nagłówek X-Session-Id albo przypnij model |
Darmowe plany nie mają gwarancji SLA. Najmocniejsze modele pierwsze osiągają dzienne limity, a wiele limitów resetuje się o północy UTC. Testuj pipeline na modelach, których Twój łańcuch faktycznie użyje.
Najczęstsze pytania
Czy istnieje darmowe API dla RAG?
Tak. Kilku dostawców ma darmowe plany embeddingów i czatu. FreeLLMAPI udostępnia oba przez jeden klucz zgodny z OpenAI, z przełączaniem awaryjnym między dostawcami.
Który darmowy model embeddingów jest najlepszy dla RAG?
Wybierz rodzinę, która jest darmowa u kilku dostawców i pasuje do Twoich języków. Dla tekstu wielojęzycznego częstym wyborem jest bge-m3. Zachowaj jedną rodzinę dla całego indeksu.
Czy istnieje darmowe API do rerankingu?
Dokumentacja FreeLLMAPI nie opisuje punktu końcowego rerankingu. Możesz przeszeregować wyniki szybkim modelem czatu, jak pokazano na tej stronie, albo pominąć krok rerankingu.
Czy potrzebuję RAG, jeśli darmowy model ma 1 milion tokenów kontekstu?
Nie przy kilku małych dokumentach. Przy wielu dokumentach albo częstych pytaniach wyszukiwanie wysyła mniej tokenów na żądanie i mieści się w darmowych limitach.
Czy mogę później zmienić model embeddingów?
Tak, ale musisz osadzić wszystkie fragmenty od nowa. Wektory z dwóch modeli nie są zgodne, więc nie mieszaj ich w jednym indeksie.
Powiązane poradniki
- Darmowe API embeddings
- Darmowe API LLM z kontekstem 1 miliona tokenów
- Darmowy LLM dla LlamaIndex
- Darmowe API LLM dla LangChain
- Darmowe API LLM w Pythonie
Źródła
- FreeLLMAPI docs: embeddings (families and failover rules) (sprawdzono 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (sprawdzono 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (sprawdzono 20 November 2026)