API LLM gratuite pour RAG
La génération augmentée par récupération (RAG) demande deux API : un modèle d'embeddings pour trouver le texte pertinent, et un modèle de chat pour rédiger la réponse. Les deux sont disponibles dans des offres gratuites. FreeLLMAPI fournit une seule clé compatible OpenAI pour 41 modèles d'embeddings gratuits et 487 modèles de chat gratuits, avec basculement entre fournisseurs. Ce guide présente les modèles gratuits pour chaque étape et un pipeline Python complet.
Le code, les noms de modèles et les libellés du catalogue en direct sont affichés en anglais.
Le pipeline RAG avec les offres gratuites
| Étape | API | Point d'attention sur l'offre gratuite |
|---|---|---|
| 1. Découper les documents en fragments | Aucune (code local) | Aucun |
| 2. Vectoriser chaque fragment | /v1/embeddings | Beaucoup de requêtes au départ. Certaines offres d'embeddings gratuites autorisent 10 requêtes par minute. |
| 3. Vectoriser la question | /v1/embeddings | Une requête par question |
| 4. Trouver les meilleurs fragments | Aucune (recherche vectorielle locale) | Aucun |
| 5. Reclasser les fragments (facultatif) | /v1/chat/completions | Une requête de chat supplémentaire par question |
| 6. Rédiger la réponse | /v1/chat/completions | Prompts volumineux. Les limites de tokens par minute s'appliquent. |
L'étape 2 est l'étape la plus coûteuse. Vous la faites une fois pour chaque document. Conservez les vecteurs, et ne vectorisez ensuite que les documents nouveaux ou modifiés.
Installer FreeLLMAPI et les paquets Python
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>Choisir un modèle d'embeddings gratuit
Choisissez une seule famille d'embeddings et gardez-la pour tout l'index. Les vecteurs de deux modèles ne sont pas compatibles. FreeLLMAPI vous protège contre les vecteurs mélangés : le basculement des embeddings ne change jamais de modèle. Il change seulement de fournisseur, parmi ceux qui servent la même famille.
| Modèle | Fournisseur | Dimensions | Entrée max | Limite gratuite |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Données en direct du catalogue FreeLLMAPI (version 2026.11.19, vérifié le 2026-11-19). Les limites gratuites changent souvent. Le catalogue est vérifié chaque jour.
- Plusieurs fournisseurs pour une famille : une famille comme
bge-m3est gratuite chez plus d'un fournisseur. Le basculement a alors une destination. - Entrée maximale : les fragments plus longs que l'entrée maximale sont coupés ou rejetés. Faites des fragments plus petits que cette valeur.
- Langues : pour un texte qui n'est pas en anglais, utilisez une famille multilingue comme
bge-m3. Les familles avec-en-dans le nom sont destinées à l'anglais. - Dimensions : les vecteurs plus grands occupent plus de stockage. Pour un petit index, ce n'est pas un problème.
Code RAG complet en Python
Le script découpe les fichiers texte en fragments, vectorise ces fragments par lots et enregistre les vecteurs avec NumPy. Il répond ensuite à une question avec les meilleurs fragments et donne les sources. Il réessaie quand une limite bloque une requête.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))Au-delà de quelques milliers de fragments, remplacez la recherche NumPy par une base de données vectorielle. Les appels d'embeddings et de chat restent les mêmes.
Les utilisateurs reposent souvent la même question. FreeLLMAPI dispose d'un cache de réponses facultatif pour les requêtes identiques. Un succès de cache n'utilise aucun quota de fournisseur. Vous pouvez activer ou désactiver le cache pour une requête avec l'en-tête X-FreeLLM-Cache: on ou off. Utilisez temperature=0, pour que la même question donne la même requête.
Ajouter une étape de rerank
La recherche vectorielle trouve des textes similaires, mais le meilleur fragment n'est pas toujours la meilleure réponse. Une étape de rerank classe à nouveau les candidats. La documentation de FreeLLMAPI ne décrit pas d'endpoint de rerank dédié. Vous pouvez utiliser un modèle de chat rapide comme reranker. Récupérez 15 candidats et gardez les 5 meilleurs.
Rerank par LLM avec auto:fast
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]L'étape de rerank ajoute une requête de chat par question. Si vos limites gratuites sont serrées, passez-la. Un meilleur découpage aide souvent davantage qu'une étape de rerank.
Long contexte : quand la récupération n'est pas nécessaire
Aujourd'hui, 56 offres de modèles gratuits ont une fenêtre de contexte d'un million de tokens ou plus. Si vos documents sont petits, vous pouvez tous les envoyer dans le prompt et ignorer l'index vectoriel. C'est plus simple, mais chaque question envoie alors beaucoup de tokens.
| Modèle | Gratuit sur | Contexte | Limites gratuites (meilleure offre) | Outils | Vision |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Non | Non |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 req/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Oui | Oui |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 req/min 20 req/jour 250,000 jetons/min ~3M | Oui | Oui |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 req/min 50 req/jour Shared rate limit | Oui | Non |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Non | Non |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 req/min 20 req/jour 250,000 jetons/min ~3M | Oui | Oui |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Non | Non |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 req/min 20 req/jour 250,000 jetons/min ~3M | Oui | Oui |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 req/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Non | Non |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3 de plus | 1M | 200 req/jour 200 rpd | Oui | Non |
Affichage de 10 modèles gratuits sur 35 correspondants. Voir tous les modèles.
Données en direct du catalogue FreeLLMAPI (version 2026.11.19, vérifié le 2026-11-19). Les limites gratuites changent souvent. Le catalogue est vérifié chaque jour.
- Utilisez le long contexte pour quelques documents, pour les questions qui demandent le texte complet, ou pour un rapport unique.
- Utilisez la récupération pour de nombreux documents, pour les questions fréquentes, ou quand les limites gratuites de tokens par minute sont basses.
- Combinez les deux : récupérez 20 fragments ou plus et envoyez-les à un modèle à long contexte.
Un prompt volumineux peut échouer chez un fournisseur dont la limite de tokens par minute est basse. FreeLLMAPI essaie alors le fournisseur suivant. Pour contrôler quels modèles reçoivent les gros prompts, créez un profil de chaîne de repli avec uniquement des modèles à long contexte. Utilisez-le sous la forme auto:<profile>.
Limites et dépannage
| Problème | Cause | Solution |
|---|---|---|
| L'ingestion s'arrête avec 429 | La famille d'embeddings a atteint sa limite chez tous les fournisseurs | Utilisez des lots plus grands, attendez Retry-After, ingérez par parties |
| Mauvais résultats après un changement | L'index contient des vecteurs de deux familles | Vectorisez à nouveau tous les fragments avec une seule famille |
| Erreur sur la longueur de l'entrée | Un fragment est plus long que l'entrée maximale de la famille | Utilisez des fragments plus petits |
| La réponse ignore les sources | Le modèle répond à partir de ses propres connaissances | Utilisez temperature=0 et un prompt système strict |
| Erreur de longueur de contexte sur la réponse | Trop de fragments, ou des fragments trop longs | Baissez k ou utilisez un profil à long contexte |
| Le style des réponses change | Le routeur a choisi un autre modèle | Envoyez un en-tête X-Session-Id ou fixez un modèle |
Les offres gratuites n'ont pas de SLA. Les modèles les plus performants atteignent d'abord leurs limites quotidiennes, et de nombreuses limites se remettent à zéro à minuit UTC. Testez votre pipeline avec les modèles que votre chaîne utilisera réellement.
Questions fréquentes
Existe-t-il une API gratuite pour le RAG ?
Oui. Plusieurs fournisseurs proposent des offres gratuites d'embeddings et de chat. FreeLLMAPI sert les deux avec une seule clé compatible OpenAI, avec basculement entre fournisseurs.
Quel modèle d'embeddings gratuit est le meilleur pour le RAG ?
Choisissez une famille gratuite chez plusieurs fournisseurs et adaptée à vos langues. Pour un texte multilingue, bge-m3 est un choix courant. Gardez une seule famille pour tout l'index.
Existe-t-il une API de rerank gratuite ?
La documentation de FreeLLMAPI ne décrit pas d'endpoint de rerank. Vous pouvez reclasser avec un modèle de chat rapide, comme indiqué sur cette page, ou passer l'étape de rerank.
Ai-je besoin du RAG si un modèle gratuit a 1 million de tokens de contexte ?
Pas pour quelques petits documents. Pour de nombreux documents ou des questions fréquentes, la récupération envoie moins de tokens par requête et reste dans les limites gratuites.
Puis-je changer de modèle d'embeddings plus tard ?
Oui, mais vous devez alors vectoriser à nouveau tous les fragments. Les vecteurs de deux modèles ne sont pas compatibles, ne les mélangez donc pas dans un même index.
Guides associés
- API d'embeddings gratuite
- API LLM gratuite avec un contexte d'un million de tokens
- LLM gratuit pour LlamaIndex
- API LLM gratuite pour LangChain
- API LLM gratuite en Python
Sources
- FreeLLMAPI docs: embeddings (families and failover rules) (vérifié le 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (vérifié le 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (vérifié le 20 November 2026)