Home / Gidsen / Gratis LLM API voor RAG

Gratis LLM API voor RAG

Retrieval-augmented generation (RAG) heeft twee API's nodig: een embedding-model om de relevante tekst te vinden, en een chatmodel om het antwoord te schrijven. Beide zijn beschikbaar op gratis tiers. FreeLLMAPI geeft één OpenAI-compatibele sleutel voor 41 gratis embedding-modellen en 487 gratis chatmodellen, met failover tussen providers. Deze gids toont de gratis modellen voor elke stap en een volledige Python-pipeline.

Code, modelnamen en labels uit de live catalogus worden in het Engels getoond.

De RAG-pipeline op gratis tiers

StapAPIAandachtspunt op het gratis tier
1. Splits documenten in chunksGeen (lokale code)Geen
2. Embed elke chunk/v1/embeddingsVeel verzoeken aan het begin. Sommige gratis embedding-tiers staan 10 verzoeken per minuut toe.
3. Embed de vraag/v1/embeddingsÉén verzoek per vraag
4. Zoek de beste chunksGeen (lokale vectorzoekopdracht)Geen
5. Rangschik de chunks opnieuw (optioneel)/v1/chat/completionsEén extra chatverzoek per vraag
6. Schrijf het antwoord/v1/chat/completionsGrote prompts. Limieten voor tokens per minuut gelden.

Stap 2 is de dure stap. Je doet hem eenmaal per document. Bewaar de vectoren, en embed later alleen nieuwe of gewijzigde documenten.

Installeer FreeLLMAPI en de Python-pakketten

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>

Kies een gratis embedding-model

Kies één embedding-familie en houd die voor de hele index. Vectoren van twee modellen zijn niet compatibel. FreeLLMAPI beschermt je tegen gemengde vectoren: embedding-failover wisselt nooit het model. Het gaat alleen over naar providers die dezelfde familie aanbieden.

ModelAanbiederAfmetingenMax invoerGratis limiet
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.

  • Meerdere providers voor één familie: een familie zoals bge-m3 is gratis bij meer dan één provider. Failover heeft dan een plek om naartoe te gaan.
  • Maximale invoer: chunks die langer zijn dan de maximale invoer worden afgekapt of geweigerd. Maak chunks kleiner dan deze waarde.
  • Talen: gebruik voor tekst die niet Engels is een meertalige familie zoals bge-m3. De families met -en- in de naam zijn voor Engels.
  • Dimensies: grotere vectoren gebruiken meer opslag. Voor een kleine index is dit geen probleem.

Volledige RAG-code in Python

Het script splitst tekstbestanden in chunks, embedt ze in batches en bewaart de vectoren met NumPy. Daarna beantwoordt het een vraag met de beste chunks en geeft het de bronnen. Het probeert opnieuw wanneer een limiet een verzoek stopt.

rag.py

import json
import os
import pathlib
import time

import numpy as np
import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,
    timeout=90,
)
EMBED_MODEL = "bge-m3"   # keep one family for the whole index
CHAT_MODEL = "auto"      # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")

def with_retry(fn, *args, **kwargs):
    for attempt in range(6):
        try:
            return fn(*args, **kwargs)
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
    raise RuntimeError("Rate limited on every provider")

def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
    step = size - overlap
    return [text[i:i + size] for i in range(0, max(len(text), 1), step)]

def embed(texts: list[str], batch: int = 32) -> np.ndarray:
    out = []
    for i in range(0, len(texts), batch):
        resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
        out.extend(d.embedding for d in resp.data)
    vecs = np.array(out, dtype=np.float32)
    return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)

def build(folder: str) -> None:
    chunks = []
    for path in sorted(pathlib.Path(folder).rglob("*.md")):
        for part in chunk(path.read_text(encoding="utf-8")):
            if part.strip():
                chunks.append({"source": str(path), "text": part})
    INDEX.mkdir(exist_ok=True)
    np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
    (INDEX / "chunks.json").write_text(json.dumps(chunks))

def answer(question: str, k: int = 5) -> str:
    vecs = np.load(INDEX / "vectors.npy")
    chunks = json.loads((INDEX / "chunks.json").read_text())
    q = embed([question])[0]
    top = np.argsort(vecs @ q)[::-1][:k]
    context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
    resp = with_retry(
        client.chat.completions.create,
        model=CHAT_MODEL,
        temperature=0,
        messages=[
            {"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
            {"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
        ],
    )
    return resp.choices[0].message.content

if __name__ == "__main__":
    if not (INDEX / "vectors.npy").exists():
        build("docs")
    print(answer("How do I rotate the API keys?"))

Bij meer dan enkele duizenden chunks vervang je de NumPy-zoekopdracht door een vectordatabase. De embedding- en chatverzoeken blijven hetzelfde.

Gebruikers stellen vaak dezelfde vraag opnieuw. FreeLLMAPI heeft een optionele responscache voor identieke verzoeken. Een cachetreffer gebruikt geen quotum van een provider. Je kunt de cache voor één verzoek aan- of uitzetten met de header X-FreeLLM-Cache: on of off. Gebruik temperature=0, zodat dezelfde vraag hetzelfde verzoek geeft.

Voeg een rerank-stap toe

Vectorzoeken vindt vergelijkbare tekst, maar de beste chunk is niet altijd het beste antwoord. Een rerank-stap sorteert de kandidaten opnieuw. De documentatie van FreeLLMAPI beschrijft geen apart rerank-eindpunt. Je kunt een snel chatmodel als reranker gebruiken. Haal 15 kandidaten op en houd de beste 5.

LLM-rerank met auto:fast

def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
    listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
    resp = with_retry(
        client.chat.completions.create,
        model="auto:fast",
        temperature=0,
        messages=[{
            "role": "user",
            "content": (
                f"Question: {question}\n\nPassages:\n{listing}\n\n"
                f"Return the numbers of the {keep} most useful passages, best first, "
                "as a JSON list of integers. Return only the list."
            ),
        }],
    )
    try:
        ids = json.loads(resp.choices[0].message.content.strip())
        return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
    except (json.JSONDecodeError, AttributeError):
        return list(range(min(keep, len(candidates))))  # fall back to vector order


# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]

De rerank-stap voegt één chatverzoek per vraag toe. Als je gratis limieten krap zijn, sla hem dan over. Beter chunken helpt vaak meer dan een rerank-stap.

Lange context: wanneer je geen retrieval nodig hebt

Vandaag hebben 56 gratis modelaanbiedingen een contextvenster van 1 miljoen tokens of meer. Als je documenten klein zijn, kun je ze allemaal in de prompt sturen en de vectorindex overslaan. Dit is eenvoudiger, maar elke vraag stuurt dan veel tokens.

Gratis modellen met de grootste contextvensters
ModelGratis opContextGratis limieten (beste aanbod)ToolsVision
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsNeeNee
Gemini 3.8 FlashAPINex, Google AI Studio1M5 aanvragen/min
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
JaJa
Gemini 3.7 FlashGoogle AI Studio1M10 aanvragen/min
20 aanvragen/dag
250,000 tokens/min
~3M
JaJa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 aanvragen/min
50 aanvragen/dag
Shared rate limit
JaNee
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetNeeNee
Gemini 3.6 FlashGoogle AI Studio1M10 aanvragen/min
20 aanvragen/dag
250,000 tokens/min
~3M
JaJa
GLM 5.2Router91M10,000 credits/month (~$1), shared; account-anniversary resetNeeNee
Gemini 3.5 FlashGoogle AI Studio1M10 aanvragen/min
20 aanvragen/dag
250,000 tokens/min
~3M
JaJa
DeepSeek V4 ProAPINex, Router91M5 aanvragen/min
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
NeeNee
Nemotron 3 Ultra 550BGizmo, Kilo Gateway, LLMTR +3 meer1M200 aanvragen/dag
200 rpd
JaNee

Toont 10 van 35 overeenkomende gratis modellen. Bekijk alle modellen.

Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.

  • Gebruik lange context voor enkele documenten, voor vragen die de volledige tekst nodig hebben, of voor één rapport.
  • Gebruik retrieval voor veel documenten, voor vaak gestelde vragen, of wanneer de gratis limieten voor tokens per minuut laag zijn.
  • Combineer ze: haal 20 of meer chunks op en stuur ze naar een model met lange context.

Een grote prompt kan falen bij een provider met een lage limiet voor tokens per minuut. FreeLLMAPI probeert dan de volgende provider. Om te bepalen welke modellen grote prompts krijgen, maak je een profiel met een fallbackketen met alleen modellen met lange context. Gebruik het als auto:<profile>.

Limieten en probleemoplossing

ProbleemOorzaakOplossing
Indexering stopt met 429De embedding-familie zit bij alle providers op de limietGebruik grotere batches, wacht op Retry-After, indexeer in delen
Slechte resultaten na een wijzigingDe index bevat vectoren van twee familiesEmbed alle chunks opnieuw met één familie
Fout over de lengte van de invoerEen chunk is langer dan de maximale invoer van de familieGebruik kleinere chunks
Het antwoord negeert de bronnenHet model antwoordt uit eigen kennisGebruik temperature=0 en een strikte systeemprompt
Fout over de contextlengte bij het antwoordTe veel of te lange chunksVerlaag k of gebruik een profiel met lange context
Antwoorden veranderen van stijlDe router koos een ander modelStuur een header X-Session-Id of zet een model vast

Gratis tiers hebben geen SLA. De sterkste modellen bereiken hun dagelijkse limieten als eerste, en veel limieten worden om middernacht UTC gereset. Test je pipeline met de modellen die je keten daadwerkelijk gebruikt.

Gebruik elk van deze met één sleutel. FreeLLMAPI is een open-source router die u zelf host. Die zet al deze gratis tarieven achter één eindpunt dat compatibel is met OpenAI. Bij een snelheidslimiet schakelt de router automatisch over. Bekijk de catalogus of live gaan.

Veelgestelde vragen

Is er een gratis API voor RAG?

Ja. Verschillende providers hebben gratis embedding- en chattiers. FreeLLMAPI biedt beide via één OpenAI-compatibele sleutel, met failover tussen providers.

Welk gratis embedding-model is het beste voor RAG?

Kies een familie die bij meerdere providers gratis is en past bij je talen. Voor meertalige tekst is bge-m3 een veelgekozen optie. Houd één familie voor de hele index.

Is er een gratis rerank-API?

De documentatie van FreeLLMAPI beschrijft geen rerank-eindpunt. Je kunt opnieuw rangschikken met een snel chatmodel, zoals op deze pagina getoond, of de rerank-stap overslaan.

Heb ik RAG nodig als een gratis model 1 miljoen tokens context heeft?

Niet voor enkele kleine documenten. Voor veel documenten of vaak gestelde vragen stuurt retrieval minder tokens per verzoek en blijft het binnen de gratis limieten.

Kan ik het embedding-model later wijzigen?

Ja, maar dan moet je alle chunks opnieuw embedden. Vectoren van twee modellen zijn niet compatibel, dus meng ze niet in één index.

Gerelateerde gidsen

Bronnen

Alle gidsen · Bekijk alle gratis modellen