Gratis LLM API voor RAG
Retrieval-augmented generation (RAG) heeft twee API's nodig: een embedding-model om de relevante tekst te vinden, en een chatmodel om het antwoord te schrijven. Beide zijn beschikbaar op gratis tiers. FreeLLMAPI geeft één OpenAI-compatibele sleutel voor 41 gratis embedding-modellen en 487 gratis chatmodellen, met failover tussen providers. Deze gids toont de gratis modellen voor elke stap en een volledige Python-pipeline.
Code, modelnamen en labels uit de live catalogus worden in het Engels getoond.
De RAG-pipeline op gratis tiers
| Stap | API | Aandachtspunt op het gratis tier |
|---|---|---|
| 1. Splits documenten in chunks | Geen (lokale code) | Geen |
| 2. Embed elke chunk | /v1/embeddings | Veel verzoeken aan het begin. Sommige gratis embedding-tiers staan 10 verzoeken per minuut toe. |
| 3. Embed de vraag | /v1/embeddings | Één verzoek per vraag |
| 4. Zoek de beste chunks | Geen (lokale vectorzoekopdracht) | Geen |
| 5. Rangschik de chunks opnieuw (optioneel) | /v1/chat/completions | Eén extra chatverzoek per vraag |
| 6. Schrijf het antwoord | /v1/chat/completions | Grote prompts. Limieten voor tokens per minuut gelden. |
Stap 2 is de dure stap. Je doet hem eenmaal per document. Bewaar de vectoren, en embed later alleen nieuwe of gewijzigde documenten.
Installeer FreeLLMAPI en de Python-pakketten
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>Kies een gratis embedding-model
Kies één embedding-familie en houd die voor de hele index. Vectoren van twee modellen zijn niet compatibel. FreeLLMAPI beschermt je tegen gemengde vectoren: embedding-failover wisselt nooit het model. Het gaat alleen over naar providers die dezelfde familie aanbieden.
| Model | Aanbieder | Afmetingen | Max invoer | Gratis limiet |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.
- Meerdere providers voor één familie: een familie zoals
bge-m3is gratis bij meer dan één provider. Failover heeft dan een plek om naartoe te gaan. - Maximale invoer: chunks die langer zijn dan de maximale invoer worden afgekapt of geweigerd. Maak chunks kleiner dan deze waarde.
- Talen: gebruik voor tekst die niet Engels is een meertalige familie zoals
bge-m3. De families met-en-in de naam zijn voor Engels. - Dimensies: grotere vectoren gebruiken meer opslag. Voor een kleine index is dit geen probleem.
Volledige RAG-code in Python
Het script splitst tekstbestanden in chunks, embedt ze in batches en bewaart de vectoren met NumPy. Daarna beantwoordt het een vraag met de beste chunks en geeft het de bronnen. Het probeert opnieuw wanneer een limiet een verzoek stopt.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))Bij meer dan enkele duizenden chunks vervang je de NumPy-zoekopdracht door een vectordatabase. De embedding- en chatverzoeken blijven hetzelfde.
Gebruikers stellen vaak dezelfde vraag opnieuw. FreeLLMAPI heeft een optionele responscache voor identieke verzoeken. Een cachetreffer gebruikt geen quotum van een provider. Je kunt de cache voor één verzoek aan- of uitzetten met de header X-FreeLLM-Cache: on of off. Gebruik temperature=0, zodat dezelfde vraag hetzelfde verzoek geeft.
Voeg een rerank-stap toe
Vectorzoeken vindt vergelijkbare tekst, maar de beste chunk is niet altijd het beste antwoord. Een rerank-stap sorteert de kandidaten opnieuw. De documentatie van FreeLLMAPI beschrijft geen apart rerank-eindpunt. Je kunt een snel chatmodel als reranker gebruiken. Haal 15 kandidaten op en houd de beste 5.
LLM-rerank met auto:fast
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]De rerank-stap voegt één chatverzoek per vraag toe. Als je gratis limieten krap zijn, sla hem dan over. Beter chunken helpt vaak meer dan een rerank-stap.
Lange context: wanneer je geen retrieval nodig hebt
Vandaag hebben 56 gratis modelaanbiedingen een contextvenster van 1 miljoen tokens of meer. Als je documenten klein zijn, kun je ze allemaal in de prompt sturen en de vectorindex overslaan. Dit is eenvoudiger, maar elke vraag stuurt dan veel tokens.
| Model | Gratis op | Context | Gratis limieten (beste aanbod) | Tools | Vision |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Nee | Nee |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 aanvragen/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Ja | Ja |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 aanvragen/min 20 aanvragen/dag 250,000 tokens/min ~3M | Ja | Ja |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 aanvragen/min 50 aanvragen/dag Shared rate limit | Ja | Nee |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Nee | Nee |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 aanvragen/min 20 aanvragen/dag 250,000 tokens/min ~3M | Ja | Ja |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Nee | Nee |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 aanvragen/min 20 aanvragen/dag 250,000 tokens/min ~3M | Ja | Ja |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 aanvragen/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Nee | Nee |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3 meer | 1M | 200 aanvragen/dag 200 rpd | Ja | Nee |
Toont 10 van 35 overeenkomende gratis modellen. Bekijk alle modellen.
Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.
- Gebruik lange context voor enkele documenten, voor vragen die de volledige tekst nodig hebben, of voor één rapport.
- Gebruik retrieval voor veel documenten, voor vaak gestelde vragen, of wanneer de gratis limieten voor tokens per minuut laag zijn.
- Combineer ze: haal 20 of meer chunks op en stuur ze naar een model met lange context.
Een grote prompt kan falen bij een provider met een lage limiet voor tokens per minuut. FreeLLMAPI probeert dan de volgende provider. Om te bepalen welke modellen grote prompts krijgen, maak je een profiel met een fallbackketen met alleen modellen met lange context. Gebruik het als auto:<profile>.
Limieten en probleemoplossing
| Probleem | Oorzaak | Oplossing |
|---|---|---|
| Indexering stopt met 429 | De embedding-familie zit bij alle providers op de limiet | Gebruik grotere batches, wacht op Retry-After, indexeer in delen |
| Slechte resultaten na een wijziging | De index bevat vectoren van twee families | Embed alle chunks opnieuw met één familie |
| Fout over de lengte van de invoer | Een chunk is langer dan de maximale invoer van de familie | Gebruik kleinere chunks |
| Het antwoord negeert de bronnen | Het model antwoordt uit eigen kennis | Gebruik temperature=0 en een strikte systeemprompt |
| Fout over de contextlengte bij het antwoord | Te veel of te lange chunks | Verlaag k of gebruik een profiel met lange context |
| Antwoorden veranderen van stijl | De router koos een ander model | Stuur een header X-Session-Id of zet een model vast |
Gratis tiers hebben geen SLA. De sterkste modellen bereiken hun dagelijkse limieten als eerste, en veel limieten worden om middernacht UTC gereset. Test je pipeline met de modellen die je keten daadwerkelijk gebruikt.
Veelgestelde vragen
Is er een gratis API voor RAG?
Ja. Verschillende providers hebben gratis embedding- en chattiers. FreeLLMAPI biedt beide via één OpenAI-compatibele sleutel, met failover tussen providers.
Welk gratis embedding-model is het beste voor RAG?
Kies een familie die bij meerdere providers gratis is en past bij je talen. Voor meertalige tekst is bge-m3 een veelgekozen optie. Houd één familie voor de hele index.
Is er een gratis rerank-API?
De documentatie van FreeLLMAPI beschrijft geen rerank-eindpunt. Je kunt opnieuw rangschikken met een snel chatmodel, zoals op deze pagina getoond, of de rerank-stap overslaan.
Heb ik RAG nodig als een gratis model 1 miljoen tokens context heeft?
Niet voor enkele kleine documenten. Voor veel documenten of vaak gestelde vragen stuurt retrieval minder tokens per verzoek en blijft het binnen de gratis limieten.
Kan ik het embedding-model later wijzigen?
Ja, maar dan moet je alle chunks opnieuw embedden. Vectoren van twee modellen zijn niet compatibel, dus meng ze niet in één index.
Gerelateerde gidsen
- Gratis embeddings-API
- Gratis LLM API met context van 1 miljoen tokens
- Gratis LLM voor LlamaIndex
- Gratis LLM-API voor LangChain
- Gratis LLM-API in Python
Bronnen
- FreeLLMAPI docs: embeddings (families and failover rules) (gecontroleerd 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (gecontroleerd 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (gecontroleerd 20 November 2026)