Startseite / Anleitungen / Kostenlose LLM-API für RAG

Kostenlose LLM-API für RAG

Retrieval-Augmented Generation (RAG) braucht zwei APIs: ein Embedding-Modell, um den passenden Text zu finden, und ein Chat-Modell, um die Antwort zu formulieren. Beide gibt es in kostenlosen Tarifen. FreeLLMAPI stellt einen OpenAI-kompatiblen Schlüssel für 41 kostenlose Embedding-Modelle und 487 kostenlose Chat-Modelle bereit, mit Failover zwischen Anbietern. Dieser Leitfaden zeigt die kostenlosen Modelle für jeden Schritt und eine vollständige Python-Pipeline.

Code, Modellnamen und Bezeichnungen aus dem Live-Katalog werden auf Englisch angezeigt.

Die RAG-Pipeline in kostenlosen Tarifen

SchrittAPIProblem im kostenlosen Tarif
1. Dokumente in Abschnitte teilenKeine (lokaler Code)Keins
2. Jeden Abschnitt einbetten/v1/embeddingsAm Anfang viele Anfragen. Manche kostenlosen Embedding-Tarife erlauben 10 Anfragen pro Minute.
3. Die Frage einbetten/v1/embeddingsEine Anfrage pro Frage
4. Die besten Abschnitte findenKeine (lokale Vektorsuche)Keins
5. Die Abschnitte neu sortieren (optional)/v1/chat/completionsEine zusätzliche Chat-Anfrage pro Frage
6. Die Antwort formulieren/v1/chat/completionsGroße Prompts. Es gelten Limits für Tokens pro Minute.

Schritt 2 ist der aufwendige Schritt. Sie führen ihn einmal für jedes Dokument aus. Speichern Sie die Vektoren und betten Sie später nur neue oder geänderte Dokumente ein.

FreeLLMAPI und die Python-Pakete installieren

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>

Ein kostenloses Embedding-Modell auswählen

Wählen Sie eine Embedding-Familie aus und behalten Sie sie für den gesamten Index. Vektoren aus zwei Modellen sind nicht kompatibel. FreeLLMAPI schützt Sie vor gemischten Vektoren: Das Embedding-Failover wechselt nie das Modell. Es wechselt nur zwischen Anbietern, die dieselbe Familie bereitstellen.

ModellAnbieterDimensionenMax. EingabeKostenloses Limit
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.

  • Mehrere Anbieter für eine Familie: Eine Familie wie bge-m3 ist bei mehr als einem Anbieter kostenlos. Das Failover hat dann ein Ziel.
  • Maximale Eingabe: Abschnitte, die länger als die maximale Eingabe sind, werden gekürzt oder abgelehnt. Machen Sie Abschnitte kleiner als diesen Wert.
  • Sprachen: Für Text, der nicht Englisch ist, verwenden Sie eine mehrsprachige Familie wie bge-m3. Die Familien mit -en- im Namen sind für Englisch.
  • Dimensionen: Größere Vektoren brauchen mehr Speicher. Bei einem kleinen Index ist das kein Problem.

Vollständiger RAG-Code in Python

Das Skript teilt Textdateien in Abschnitte, bettet sie in Stapeln ein und speichert die Vektoren mit NumPy. Dann beantwortet es eine Frage mit den besten Abschnitten und nennt die Quellen. Es wiederholt die Anfrage, wenn ein Limit sie stoppt.

rag.py

import json
import os
import pathlib
import time

import numpy as np
import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,
    timeout=90,
)
EMBED_MODEL = "bge-m3"   # keep one family for the whole index
CHAT_MODEL = "auto"      # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")

def with_retry(fn, *args, **kwargs):
    for attempt in range(6):
        try:
            return fn(*args, **kwargs)
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
    raise RuntimeError("Rate limited on every provider")

def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
    step = size - overlap
    return [text[i:i + size] for i in range(0, max(len(text), 1), step)]

def embed(texts: list[str], batch: int = 32) -> np.ndarray:
    out = []
    for i in range(0, len(texts), batch):
        resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
        out.extend(d.embedding for d in resp.data)
    vecs = np.array(out, dtype=np.float32)
    return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)

def build(folder: str) -> None:
    chunks = []
    for path in sorted(pathlib.Path(folder).rglob("*.md")):
        for part in chunk(path.read_text(encoding="utf-8")):
            if part.strip():
                chunks.append({"source": str(path), "text": part})
    INDEX.mkdir(exist_ok=True)
    np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
    (INDEX / "chunks.json").write_text(json.dumps(chunks))

def answer(question: str, k: int = 5) -> str:
    vecs = np.load(INDEX / "vectors.npy")
    chunks = json.loads((INDEX / "chunks.json").read_text())
    q = embed([question])[0]
    top = np.argsort(vecs @ q)[::-1][:k]
    context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
    resp = with_retry(
        client.chat.completions.create,
        model=CHAT_MODEL,
        temperature=0,
        messages=[
            {"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
            {"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
        ],
    )
    return resp.choices[0].message.content

if __name__ == "__main__":
    if not (INDEX / "vectors.npy").exists():
        build("docs")
    print(answer("How do I rotate the API keys?"))

Bei mehr als einigen Tausend Abschnitten ersetzen Sie die NumPy-Suche durch eine Vektordatenbank. Die Aufrufe für Embedding und Chat bleiben gleich.

Nutzer stellen oft dieselbe Frage erneut. FreeLLMAPI hat einen optionalen Antwort-Cache für identische Anfragen. Ein Cache-Treffer verbraucht kein Kontingent eines Anbieters. Sie können den Cache für eine Anfrage mit dem Header X-FreeLLM-Cache: on oder off ein- oder ausschalten. Verwenden Sie temperature=0, damit dieselbe Frage dieselbe Anfrage ergibt.

Einen Rerank-Schritt hinzufügen

Die Vektorsuche findet ähnlichen Text, doch der beste Abschnitt ist nicht immer die beste Antwort. Ein Rerank-Schritt sortiert die Kandidaten neu. Die Dokumentation von FreeLLMAPI beschreibt keinen eigenen Rerank-Endpunkt. Sie können ein schnelles Chat-Modell als Reranker verwenden. Holen Sie 15 Kandidaten und behalten Sie die besten 5.

LLM-Rerank mit auto:fast

def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
    listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
    resp = with_retry(
        client.chat.completions.create,
        model="auto:fast",
        temperature=0,
        messages=[{
            "role": "user",
            "content": (
                f"Question: {question}\n\nPassages:\n{listing}\n\n"
                f"Return the numbers of the {keep} most useful passages, best first, "
                "as a JSON list of integers. Return only the list."
            ),
        }],
    )
    try:
        ids = json.loads(resp.choices[0].message.content.strip())
        return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
    except (json.JSONDecodeError, AttributeError):
        return list(range(min(keep, len(candidates))))  # fall back to vector order


# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]

Der Rerank-Schritt fügt pro Frage eine Chat-Anfrage hinzu. Wenn Ihre kostenlosen Limits knapp sind, lassen Sie ihn weg. Eine bessere Aufteilung in Abschnitte hilft oft mehr als ein Rerank-Schritt.

Langer Kontext: wann Sie keinen Abruf brauchen

Heute haben 56 kostenlose Modellangebote ein Kontextfenster von 1 Million Tokens oder mehr. Wenn Ihre Dokumente klein sind, können Sie alle im Prompt senden und den Vektorindex weglassen. Das ist einfacher, doch jede Frage sendet dann viele Tokens.

Kostenlose Modelle mit den größten Kontextfenstern
ModellKostenlos beiKontextKostenlose Limits (bestes Angebot)ToolsBildverarbeitung
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsNeinNein
Gemini 3.8 FlashAPINex, Google AI Studio1M5 Anfragen/Min.
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
JaJa
Gemini 3.7 FlashGoogle AI Studio1M10 Anfragen/Min.
20 Anfragen/Tag
250,000 Token/Min.
~3M
JaJa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 Anfragen/Min.
50 Anfragen/Tag
Shared rate limit
JaNein
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetNeinNein
Gemini 3.6 FlashGoogle AI Studio1M10 Anfragen/Min.
20 Anfragen/Tag
250,000 Token/Min.
~3M
JaJa
GLM 5.2Router91M10,000 credits/month (~$1), shared; account-anniversary resetNeinNein
Gemini 3.5 FlashGoogle AI Studio1M10 Anfragen/Min.
20 Anfragen/Tag
250,000 Token/Min.
~3M
JaJa
DeepSeek V4 ProAPINex, Router91M5 Anfragen/Min.
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
NeinNein
Nemotron 3 Ultra 550BGizmo, Kilo Gateway, LLMTR +3 weitere1M200 Anfragen/Tag
200 rpd
JaNein

Es werden 10 von 35 passenden kostenlosen Modellen angezeigt. Alle Modelle ansehen.

Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.

  • Verwenden Sie langen Kontext für wenige Dokumente, für Fragen, die den vollen Text brauchen, oder für einen einzelnen Bericht.
  • Verwenden Sie Abruf für viele Dokumente, für häufige Fragen oder wenn die kostenlosen Limits für Tokens pro Minute niedrig sind.
  • Kombinieren Sie beides: Holen Sie 20 oder mehr Abschnitte und senden Sie sie an ein Modell mit langem Kontext.

Ein großer Prompt kann bei einem Anbieter mit niedrigem Limit für Tokens pro Minute fehlschlagen. FreeLLMAPI versucht dann den nächsten Anbieter. Um zu steuern, welche Modelle große Prompts erhalten, legen Sie ein Fallback-Ketten-Profil nur mit Modellen für langen Kontext an. Verwenden Sie es als auto:<profile>.

Limits und Fehlerbehebung

ProblemUrsacheLösung
Die Aufnahme bricht mit 429 abDie Embedding-Familie ist bei allen Anbietern am LimitVerwenden Sie größere Stapel, warten Sie auf Retry-After und nehmen Sie die Dokumente in Teilen auf
Schlechte Ergebnisse nach einer ÄnderungDer Index enthält Vektoren aus zwei FamilienBetten Sie alle Abschnitte mit einer Familie neu ein
Fehler zur EingabelängeEin Abschnitt ist länger als die maximale Eingabe der FamilieVerwenden Sie kleinere Abschnitte
Die Antwort ignoriert die QuellenDas Modell antwortet aus seinem eigenen WissenVerwenden Sie temperature=0 und einen strikten System-Prompt
Fehler zur Kontextlänge bei der AntwortZu viele oder zu lange AbschnitteSenken Sie k oder verwenden Sie ein Profil für langen Kontext
Die Antworten wechseln im StilDer Router hat ein anderes Modell gewähltSenden Sie einen Header X-Session-Id oder legen Sie ein Modell fest

Kostenlose Tarife haben keine SLA. Die stärksten Modelle erreichen zuerst ihre Tageslimits, und viele Limits werden um Mitternacht UTC zurückgesetzt. Testen Sie Ihre Pipeline mit den Modellen, die Ihre Kette tatsächlich nutzt.

Nutzen Sie alle diese Modelle über einen einzigen Schlüssel. FreeLLMAPI ist ein Open-Source-Router, den Sie selbst hosten. Er stellt alle diese kostenlosen Angebote hinter einem einzigen OpenAI-kompatiblen Endpunkt bereit und wechselt zum nächsten Anbieter, wenn ein Anbieter das Limit erreicht. Katalog ansehen oder Jetzt starten.

Häufig gestellte Fragen

Gibt es eine kostenlose API für RAG?

Ja. Mehrere Anbieter haben kostenlose Tarife für Embedding und Chat. FreeLLMAPI stellt beides über einen OpenAI-kompatiblen Schlüssel bereit, mit Failover zwischen Anbietern.

Welches kostenlose Embedding-Modell ist für RAG am besten?

Wählen Sie eine Familie, die bei mehreren Anbietern kostenlos ist und zu Ihren Sprachen passt. Für mehrsprachigen Text ist bge-m3 eine übliche Wahl. Behalten Sie eine Familie für den gesamten Index.

Gibt es eine kostenlose Rerank-API?

Die Dokumentation von FreeLLMAPI beschreibt keinen Rerank-Endpunkt. Sie können mit einem schnellen Chat-Modell neu sortieren, wie auf dieser Seite gezeigt, oder den Rerank-Schritt weglassen.

Brauche ich RAG, wenn ein kostenloses Modell 1 Million Tokens Kontext hat?

Bei wenigen kleinen Dokumenten nicht. Bei vielen Dokumenten oder häufigen Fragen sendet der Abruf weniger Tokens pro Anfrage und bleibt innerhalb der kostenlosen Limits.

Kann ich das Embedding-Modell später wechseln?

Ja, Sie müssen dann aber alle Abschnitte neu einbetten. Vektoren aus zwei Modellen sind nicht kompatibel. Mischen Sie sie daher nicht in einem Index.

Verwandte Anleitungen

Quellen

Alle Anleitungen · Alle kostenlosen Modelle ansehen