Kostenlose LLM-API für RAG
Retrieval-Augmented Generation (RAG) braucht zwei APIs: ein Embedding-Modell, um den passenden Text zu finden, und ein Chat-Modell, um die Antwort zu formulieren. Beide gibt es in kostenlosen Tarifen. FreeLLMAPI stellt einen OpenAI-kompatiblen Schlüssel für 41 kostenlose Embedding-Modelle und 487 kostenlose Chat-Modelle bereit, mit Failover zwischen Anbietern. Dieser Leitfaden zeigt die kostenlosen Modelle für jeden Schritt und eine vollständige Python-Pipeline.
Code, Modellnamen und Bezeichnungen aus dem Live-Katalog werden auf Englisch angezeigt.
Die RAG-Pipeline in kostenlosen Tarifen
| Schritt | API | Problem im kostenlosen Tarif |
|---|---|---|
| 1. Dokumente in Abschnitte teilen | Keine (lokaler Code) | Keins |
| 2. Jeden Abschnitt einbetten | /v1/embeddings | Am Anfang viele Anfragen. Manche kostenlosen Embedding-Tarife erlauben 10 Anfragen pro Minute. |
| 3. Die Frage einbetten | /v1/embeddings | Eine Anfrage pro Frage |
| 4. Die besten Abschnitte finden | Keine (lokale Vektorsuche) | Keins |
| 5. Die Abschnitte neu sortieren (optional) | /v1/chat/completions | Eine zusätzliche Chat-Anfrage pro Frage |
| 6. Die Antwort formulieren | /v1/chat/completions | Große Prompts. Es gelten Limits für Tokens pro Minute. |
Schritt 2 ist der aufwendige Schritt. Sie führen ihn einmal für jedes Dokument aus. Speichern Sie die Vektoren und betten Sie später nur neue oder geänderte Dokumente ein.
FreeLLMAPI und die Python-Pakete installieren
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>Ein kostenloses Embedding-Modell auswählen
Wählen Sie eine Embedding-Familie aus und behalten Sie sie für den gesamten Index. Vektoren aus zwei Modellen sind nicht kompatibel. FreeLLMAPI schützt Sie vor gemischten Vektoren: Das Embedding-Failover wechselt nie das Modell. Es wechselt nur zwischen Anbietern, die dieselbe Familie bereitstellen.
| Modell | Anbieter | Dimensionen | Max. Eingabe | Kostenloses Limit |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.
- Mehrere Anbieter für eine Familie: Eine Familie wie
bge-m3ist bei mehr als einem Anbieter kostenlos. Das Failover hat dann ein Ziel. - Maximale Eingabe: Abschnitte, die länger als die maximale Eingabe sind, werden gekürzt oder abgelehnt. Machen Sie Abschnitte kleiner als diesen Wert.
- Sprachen: Für Text, der nicht Englisch ist, verwenden Sie eine mehrsprachige Familie wie
bge-m3. Die Familien mit-en-im Namen sind für Englisch. - Dimensionen: Größere Vektoren brauchen mehr Speicher. Bei einem kleinen Index ist das kein Problem.
Vollständiger RAG-Code in Python
Das Skript teilt Textdateien in Abschnitte, bettet sie in Stapeln ein und speichert die Vektoren mit NumPy. Dann beantwortet es eine Frage mit den besten Abschnitten und nennt die Quellen. Es wiederholt die Anfrage, wenn ein Limit sie stoppt.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))Bei mehr als einigen Tausend Abschnitten ersetzen Sie die NumPy-Suche durch eine Vektordatenbank. Die Aufrufe für Embedding und Chat bleiben gleich.
Nutzer stellen oft dieselbe Frage erneut. FreeLLMAPI hat einen optionalen Antwort-Cache für identische Anfragen. Ein Cache-Treffer verbraucht kein Kontingent eines Anbieters. Sie können den Cache für eine Anfrage mit dem Header X-FreeLLM-Cache: on oder off ein- oder ausschalten. Verwenden Sie temperature=0, damit dieselbe Frage dieselbe Anfrage ergibt.
Einen Rerank-Schritt hinzufügen
Die Vektorsuche findet ähnlichen Text, doch der beste Abschnitt ist nicht immer die beste Antwort. Ein Rerank-Schritt sortiert die Kandidaten neu. Die Dokumentation von FreeLLMAPI beschreibt keinen eigenen Rerank-Endpunkt. Sie können ein schnelles Chat-Modell als Reranker verwenden. Holen Sie 15 Kandidaten und behalten Sie die besten 5.
LLM-Rerank mit auto:fast
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]Der Rerank-Schritt fügt pro Frage eine Chat-Anfrage hinzu. Wenn Ihre kostenlosen Limits knapp sind, lassen Sie ihn weg. Eine bessere Aufteilung in Abschnitte hilft oft mehr als ein Rerank-Schritt.
Langer Kontext: wann Sie keinen Abruf brauchen
Heute haben 56 kostenlose Modellangebote ein Kontextfenster von 1 Million Tokens oder mehr. Wenn Ihre Dokumente klein sind, können Sie alle im Prompt senden und den Vektorindex weglassen. Das ist einfacher, doch jede Frage sendet dann viele Tokens.
| Modell | Kostenlos bei | Kontext | Kostenlose Limits (bestes Angebot) | Tools | Bildverarbeitung |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Nein | Nein |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 Anfragen/Min. 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Ja | Ja |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 Anfragen/Min. 50 Anfragen/Tag Shared rate limit | Ja | Nein |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Nein | Nein |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Nein | Nein |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 Anfragen/Min. 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Nein | Nein |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3 weitere | 1M | 200 Anfragen/Tag 200 rpd | Ja | Nein |
Es werden 10 von 35 passenden kostenlosen Modellen angezeigt. Alle Modelle ansehen.
Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.
- Verwenden Sie langen Kontext für wenige Dokumente, für Fragen, die den vollen Text brauchen, oder für einen einzelnen Bericht.
- Verwenden Sie Abruf für viele Dokumente, für häufige Fragen oder wenn die kostenlosen Limits für Tokens pro Minute niedrig sind.
- Kombinieren Sie beides: Holen Sie 20 oder mehr Abschnitte und senden Sie sie an ein Modell mit langem Kontext.
Ein großer Prompt kann bei einem Anbieter mit niedrigem Limit für Tokens pro Minute fehlschlagen. FreeLLMAPI versucht dann den nächsten Anbieter. Um zu steuern, welche Modelle große Prompts erhalten, legen Sie ein Fallback-Ketten-Profil nur mit Modellen für langen Kontext an. Verwenden Sie es als auto:<profile>.
Limits und Fehlerbehebung
| Problem | Ursache | Lösung |
|---|---|---|
| Die Aufnahme bricht mit 429 ab | Die Embedding-Familie ist bei allen Anbietern am Limit | Verwenden Sie größere Stapel, warten Sie auf Retry-After und nehmen Sie die Dokumente in Teilen auf |
| Schlechte Ergebnisse nach einer Änderung | Der Index enthält Vektoren aus zwei Familien | Betten Sie alle Abschnitte mit einer Familie neu ein |
| Fehler zur Eingabelänge | Ein Abschnitt ist länger als die maximale Eingabe der Familie | Verwenden Sie kleinere Abschnitte |
| Die Antwort ignoriert die Quellen | Das Modell antwortet aus seinem eigenen Wissen | Verwenden Sie temperature=0 und einen strikten System-Prompt |
| Fehler zur Kontextlänge bei der Antwort | Zu viele oder zu lange Abschnitte | Senken Sie k oder verwenden Sie ein Profil für langen Kontext |
| Die Antworten wechseln im Stil | Der Router hat ein anderes Modell gewählt | Senden Sie einen Header X-Session-Id oder legen Sie ein Modell fest |
Kostenlose Tarife haben keine SLA. Die stärksten Modelle erreichen zuerst ihre Tageslimits, und viele Limits werden um Mitternacht UTC zurückgesetzt. Testen Sie Ihre Pipeline mit den Modellen, die Ihre Kette tatsächlich nutzt.
Häufig gestellte Fragen
Gibt es eine kostenlose API für RAG?
Ja. Mehrere Anbieter haben kostenlose Tarife für Embedding und Chat. FreeLLMAPI stellt beides über einen OpenAI-kompatiblen Schlüssel bereit, mit Failover zwischen Anbietern.
Welches kostenlose Embedding-Modell ist für RAG am besten?
Wählen Sie eine Familie, die bei mehreren Anbietern kostenlos ist und zu Ihren Sprachen passt. Für mehrsprachigen Text ist bge-m3 eine übliche Wahl. Behalten Sie eine Familie für den gesamten Index.
Gibt es eine kostenlose Rerank-API?
Die Dokumentation von FreeLLMAPI beschreibt keinen Rerank-Endpunkt. Sie können mit einem schnellen Chat-Modell neu sortieren, wie auf dieser Seite gezeigt, oder den Rerank-Schritt weglassen.
Brauche ich RAG, wenn ein kostenloses Modell 1 Million Tokens Kontext hat?
Bei wenigen kleinen Dokumenten nicht. Bei vielen Dokumenten oder häufigen Fragen sendet der Abruf weniger Tokens pro Anfrage und bleibt innerhalb der kostenlosen Limits.
Kann ich das Embedding-Modell später wechseln?
Ja, Sie müssen dann aber alle Abschnitte neu einbetten. Vektoren aus zwei Modellen sind nicht kompatibel. Mischen Sie sie daher nicht in einem Index.
Verwandte Anleitungen
- Kostenlose Embeddings-API
- Kostenlose LLM-API mit 1 Million Tokens Kontext
- Kostenloses LLM für LlamaIndex
- Kostenlose LLM-API für LangChain
- Kostenlose LLM-API in Python
Quellen
- FreeLLMAPI docs: embeddings (families and failover rules) (geprüft 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (geprüft 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (geprüft 20 November 2026)