Free LLM API untuk RAG
Penjanaan dengan dapatan semula (RAG) memerlukan dua API: model embedding untuk mencari teks yang berkaitan, dan model sembang untuk menulis jawapan. Kedua-duanya tersedia pada tier percuma. FreeLLMAPI memberikan satu kunci yang serasi dengan OpenAI untuk 41 model embedding percuma dan 487 model sembang percuma, dengan sandaran antara pembekal. Panduan ini menunjukkan model percuma bagi setiap langkah dan saluran Python yang lengkap.
Kod, nama model dan label katalog langsung dipaparkan dalam bahasa Inggeris.
Saluran RAG pada tier percuma
| Langkah | API | Perkara tier percuma |
|---|---|---|
| 1. Bahagikan dokumen kepada ketulan | Tiada (kod tempatan) | Tiada |
| 2. Embed setiap ketulan | /v1/embeddings | Banyak permintaan pada permulaan. Sesetengah tier embedding percuma membenarkan 10 permintaan seminit. |
| 3. Embed soalan | /v1/embeddings | Satu permintaan bagi setiap soalan |
| 4. Cari ketulan teratas | Tiada (carian vektor tempatan) | Tiada |
| 5. Susun semula ketulan (pilihan) | /v1/chat/completions | Satu permintaan sembang tambahan bagi setiap soalan |
| 6. Tulis jawapan | /v1/chat/completions | Gesaan yang besar. Had token seminit terpakai. |
Langkah 2 ialah langkah yang mahal. Anda melakukannya sekali bagi setiap dokumen. Simpan vektor, dan embed hanya dokumen baharu atau yang berubah kemudian.
Pasang FreeLLMAPI dan pakej Python
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>Pilih model embedding percuma
Pilih satu keluarga embedding dan kekalkannya untuk keseluruhan indeks. Vektor daripada dua model tidak serasi. FreeLLMAPI melindungi anda daripada vektor bercampur: sandaran embedding tidak sekali-kali menukar model. Ia hanya beralih antara pembekal yang menyediakan keluarga yang sama.
| Model | Pembekal | Dimensi | Input maks | Had percuma |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.
- Beberapa pembekal untuk satu keluarga: keluarga seperti
bge-m3adalah percuma pada lebih daripada satu pembekal. Sandaran kemudian mempunyai tempat untuk dituju. - Input maksimum: ketulan yang lebih panjang daripada input maksimum dipotong atau ditolak. Buat ketulan yang lebih kecil daripada nilai ini.
- Bahasa: bagi teks yang bukan bahasa Inggeris, gunakan keluarga berbilang bahasa seperti
bge-m3. Keluarga yang mempunyai-en-dalam namanya adalah untuk bahasa Inggeris. - Dimensi: vektor yang lebih besar menggunakan lebih banyak storan. Bagi indeks yang kecil, ini bukan masalah.
Kod RAG lengkap dalam Python
Skrip ini memecahkan fail teks kepada ketulan, meng-embed mereka dalam kelompok dan menyimpan vektor dengan NumPy. Kemudian ia menjawab soalan dengan ketulan teratas dan memberikan sumber. Ia mencuba semula apabila had menghentikan permintaan.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))Untuk lebih daripada beberapa ribu ketulan, gantikan carian NumPy dengan pangkalan data vektor. Panggilan embedding dan sembang kekal sama.
Pengguna sering bertanya soalan yang sama semula. FreeLLMAPI mempunyai cache respons pilihan untuk permintaan yang serupa. Hit cache tidak menggunakan kuota pembekal. Anda boleh menghidupkan atau mematikan cache untuk satu permintaan dengan pengepala X-FreeLLM-Cache: on atau off. Gunakan temperature=0, supaya soalan yang sama menghasilkan permintaan yang sama.
Tambah langkah rerank
Carian vektor mencari teks yang serupa, tetapi ketulan teratas tidak selalu merupakan jawapan terbaik. Langkah rerank menyusun semula calon. Dokumentasi FreeLLMAPI tidak menerangkan titik akhir rerank khusus. Anda boleh menggunakan model sembang yang pantas sebagai penyusun semula. Dapatkan 15 calon dan simpan 5 yang terbaik.
LLM rerank dengan auto:fast
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]Langkah rerank menambah satu permintaan sembang bagi setiap soalan. Jika had percuma anda ketat, langkau langkah ini. Pemecahan ketulan yang lebih baik selalunya membantu lebih daripada langkah rerank.
Konteks panjang: bila anda tidak memerlukan dapatan semula
Hari ini, 56 tawaran model percuma mempunyai tetingkap konteks 1 juta token atau lebih. Jika dokumen anda kecil, anda boleh menghantar kesemuanya dalam gesaan dan melangkau indeks vektor. Ini lebih mudah, tetapi setiap soalan kemudian menghantar banyak token.
| Model | Percuma pada | Konteks | Had percuma (tawaran terbaik) | Alat | Penglihatan |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Tidak | Tidak |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 permintaan/minit 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Ya | Ya |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 permintaan/minit 50 permintaan/hari Shared rate limit | Ya | Tidak |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Tidak | Tidak |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Tidak | Tidak |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 permintaan/minit 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Tidak | Tidak |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3 lagi | 1M | 200 permintaan/hari 200 rpd | Ya | Tidak |
Memaparkan 10 daripada 35 model percuma yang sepadan. Lihat semua model.
Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.
- Gunakan konteks panjang untuk beberapa dokumen, untuk soalan yang memerlukan teks penuh, atau untuk satu laporan.
- Gunakan dapatan semula untuk banyak dokumen, untuk soalan yang kerap, atau apabila had token seminit percuma adalah rendah.
- Gabungkan kedua-duanya: dapatkan semula 20 ketulan atau lebih dan hantarkannya kepada model konteks panjang.
Gesaan yang besar boleh gagal pada pembekal dengan had token seminit yang rendah. FreeLLMAPI kemudian mencuba pembekal seterusnya. Untuk mengawal model mana yang menerima gesaan besar, buat profil rantaian sandaran dengan model konteks panjang sahaja. Gunakannya sebagai auto:<profile>.
Had dan penyelesaian masalah
| Masalah | Punca | Penyelesaian |
|---|---|---|
| Pengambilan berhenti dengan 429 | Keluarga embedding berada pada had di semua pembekal | Gunakan kelompok yang lebih besar, tunggu Retry-After, ambil data secara bahagian |
| Hasil yang buruk selepas perubahan | Indeks mempunyai vektor daripada dua keluarga | Embed semula semua ketulan dengan satu keluarga |
| Ralat tentang panjang input | Satu ketulan lebih panjang daripada input maksimum keluarga | Gunakan ketulan yang lebih kecil |
| Jawapan mengabaikan sumber | Model menjawab daripada pengetahuannya sendiri | Gunakan temperature=0 dan gesaan sistem yang ketat |
| Ralat panjang konteks pada jawapan | Terlalu banyak atau terlalu panjang ketulan | Kurangkan k atau gunakan profil konteks panjang |
| Jawapan berubah gaya | Penghala memilih model yang berbeza | Hantar pengepala X-Session-Id atau kunci model |
Tier percuma tidak mempunyai SLA. Model yang paling kuat mencapai had harian mereka dahulu, dan banyak had ditetapkan semula pada tengah malam UTC. Uji saluran anda dengan model yang rantaian anda akan benar-benar gunakan.
Soalan lazim
Adakah terdapat API percuma untuk RAG?
Ada. Beberapa pembekal mempunyai tier embedding dan sembang percuma. FreeLLMAPI menyediakan kedua-duanya melalui satu kunci yang serasi dengan OpenAI, dengan sandaran antara pembekal.
Model embedding percuma yang manakah terbaik untuk RAG?
Pilih keluarga yang percuma pada beberapa pembekal dan sesuai dengan bahasa anda. Untuk teks berbilang bahasa, bge-m3 ialah pilihan biasa. Kekalkan satu keluarga untuk keseluruhan indeks.
Adakah terdapat API rerank percuma?
Dokumentasi FreeLLMAPI tidak menerangkan titik akhir rerank. Anda boleh membuat rerank dengan model sembang yang pantas, seperti yang ditunjukkan pada halaman ini, atau melangkau langkah rerank.
Adakah saya memerlukan RAG jika model percuma mempunyai konteks 1 juta token?
Tidak untuk beberapa dokumen kecil. Untuk banyak dokumen atau soalan yang kerap, dapatan semula menghantar lebih sedikit token bagi setiap permintaan dan kekal dalam had percuma.
Bolehkah saya menukar model embedding kemudian?
Boleh, tetapi anda mesti meng-embed semula semua ketulan. Vektor daripada dua model tidak serasi, jadi jangan campurkannya dalam satu indeks.
Panduan berkaitan
- API embeddings percuma
- Free LLM API dengan konteks 1 juta token
- LLM percuma untuk LlamaIndex
- API LLM percuma untuk LangChain
- API LLM percuma dalam Python
Sumber
- FreeLLMAPI docs: embeddings (families and failover rules) (disemak 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (disemak 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (disemak 20 November 2026)