API LLM gratis untuk RAG
Retrieval-augmented generation (RAG) membutuhkan dua API: model embedding untuk menemukan teks yang relevan, dan model chat untuk menulis jawaban. Keduanya tersedia pada tier gratis. FreeLLMAPI memberi satu kunci yang kompatibel dengan OpenAI untuk 41 model embedding gratis dan 487 model chat gratis, dengan failover antar penyedia. Panduan ini menunjukkan model gratis untuk setiap langkah dan pipeline Python yang lengkap.
Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.
Pipeline RAG pada tier gratis
| Langkah | API | Perhatian untuk tier gratis |
|---|---|---|
| 1. Pecah dokumen menjadi potongan | Tidak ada (kode lokal) | Tidak ada |
| 2. Embed setiap potongan | /v1/embeddings | Banyak permintaan di awal. Beberapa tier embedding gratis mengizinkan 10 permintaan per menit. |
| 3. Embed pertanyaan | /v1/embeddings | Satu permintaan per pertanyaan |
| 4. Temukan potongan teratas | Tidak ada (pencarian vektor lokal) | Tidak ada |
| 5. Rerank potongan (opsional) | /v1/chat/completions | Satu permintaan chat tambahan per pertanyaan |
| 6. Tulis jawaban | /v1/chat/completions | Prompt besar. Batas token per menit berlaku. |
Langkah 2 adalah langkah yang paling mahal. Anda melakukannya sekali untuk setiap dokumen. Simpan vektornya, dan embed hanya dokumen baru atau yang berubah nanti.
Pasang FreeLLMAPI dan paket Python
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>Pilih model embedding gratis
Pilih satu keluarga embedding dan pertahankan untuk seluruh indeks. Vektor dari dua model tidak kompatibel. FreeLLMAPI melindungi Anda dari vektor campuran: failover embedding tidak pernah mengganti model. Failover hanya berpindah antar penyedia yang menyajikan keluarga yang sama.
| Model | Penyedia | Dimensi | Input maks | Batas gratis |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
- Beberapa penyedia untuk satu keluarga: keluarga seperti
bge-m3gratis di lebih dari satu penyedia. Failover kemudian memiliki tujuan. - Input maks: potongan yang lebih panjang dari input maksimum akan dipotong atau ditolak. Buat potongan lebih kecil dari nilai ini.
- Bahasa: untuk teks yang bukan bahasa Inggris, gunakan keluarga multibahasa seperti
bge-m3. Keluarga dengan-en-di namanya untuk bahasa Inggris. - Dimensi: vektor yang lebih besar memakai lebih banyak penyimpanan. Untuk indeks kecil, ini tidak menjadi masalah.
Kode RAG lengkap dengan Python
Skrip ini memecah file teks menjadi potongan, meng-embed-nya dalam batch, dan menyimpan vektornya dengan NumPy. Lalu skrip menjawab pertanyaan dengan potongan teratas dan memberikan sumbernya. Skrip mencoba lagi saat batas menghentikan permintaan.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))Untuk lebih dari beberapa ribu potongan, ganti pencarian NumPy dengan basis data vektor. Panggilan embedding dan chat tetap sama.
Pengguna sering mengajukan pertanyaan yang sama lagi. FreeLLMAPI memiliki cache respons opt-in untuk permintaan yang identik. Hit cache tidak menggunakan kuota penyedia. Anda dapat mengaktifkan atau menonaktifkan cache untuk satu permintaan dengan header X-FreeLLM-Cache: on atau off. Gunakan temperature=0, agar pertanyaan yang sama menghasilkan permintaan yang sama.
Tambahkan langkah rerank
Pencarian vektor menemukan teks yang mirip, tetapi potongan teratas belum tentu jawaban terbaik. Langkah rerank mengurutkan ulang kandidat. Dokumentasi FreeLLMAPI tidak menjelaskan endpoint rerank khusus. Anda dapat menggunakan model chat cepat sebagai reranker. Ambil 15 kandidat dan simpan 5 yang terbaik.
Rerank LLM dengan auto:fast
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]Langkah rerank menambah satu permintaan chat per pertanyaan. Jika batas gratis Anda ketat, lewati langkah ini. Pemecahan dokumen yang lebih baik sering lebih membantu daripada langkah rerank.
Konteks panjang: saat Anda tidak memerlukan retrieval
Saat ini, 56 penawaran model gratis memiliki jendela konteks 1 juta token atau lebih. Jika dokumen Anda kecil, Anda dapat mengirim semuanya di prompt dan melewati indeks vektor. Cara ini lebih sederhana, tetapi setiap pertanyaan kemudian mengirim banyak token.
| Model | Gratis di | Konteks | Batas gratis (penawaran terbaik) | Alat | Pemrosesan gambar |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Tidak | Tidak |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 permintaan/menit 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Ya | Ya |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 permintaan/menit 50 permintaan/hari Shared rate limit | Ya | Tidak |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Tidak | Tidak |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Tidak | Tidak |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 permintaan/menit 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Tidak | Tidak |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3 lagi | 1M | 200 permintaan/hari 200 rpd | Ya | Tidak |
Menampilkan 10 dari 35 model gratis yang cocok. Lihat semua model.
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
- Gunakan konteks panjang untuk beberapa dokumen, untuk pertanyaan yang memerlukan teks lengkap, atau untuk satu laporan.
- Gunakan retrieval untuk banyak dokumen, untuk pertanyaan yang sering, atau saat batas token per menit gratis rendah.
- Gabungkan keduanya: ambil 20 potongan atau lebih dan kirim ke model konteks panjang.
Prompt besar dapat gagal pada penyedia dengan batas token per menit yang rendah. FreeLLMAPI kemudian mencoba penyedia berikutnya. Untuk mengontrol model mana yang menerima prompt besar, buat profil rantai fallback yang hanya berisi model konteks panjang. Gunakan sebagai auto:<profile>.
Batas dan pemecahan masalah
| Masalah | Penyebab | Solusi |
|---|---|---|
| Ingestion berhenti dengan 429 | Keluarga embedding mencapai batasnya di semua penyedia | Gunakan batch yang lebih besar, tunggu Retry-After, dan ingest per bagian |
| Hasil buruk setelah perubahan | Indeks memiliki vektor dari dua keluarga | Embed ulang semua potongan dengan satu keluarga |
| Error tentang panjang input | Sebuah potongan lebih panjang dari input maksimum keluarga | Gunakan potongan yang lebih kecil |
| Jawaban mengabaikan sumber | Model menjawab dari pengetahuannya sendiri | Gunakan temperature=0 dan system prompt yang ketat |
| Error panjang konteks pada jawaban | Terlalu banyak atau terlalu panjang potongan | Kurangi k atau gunakan profil konteks panjang |
| Gaya jawaban berubah | Router memilih model yang berbeda | Kirim header X-Session-Id atau kunci model |
Tier gratis tidak memiliki SLA. Model terkuat mencapai batas harian lebih dulu, dan banyak batas direset pada tengah malam UTC. Uji pipeline Anda dengan model yang benar-benar akan digunakan oleh rantai Anda.
Pertanyaan yang sering diajukan
Apakah ada API gratis untuk RAG?
Ada. Beberapa penyedia memiliki tier embedding dan chat gratis. FreeLLMAPI menyajikan keduanya melalui satu kunci yang kompatibel dengan OpenAI, dengan failover antar penyedia.
Model embedding gratis mana yang terbaik untuk RAG?
Pilih keluarga yang gratis di beberapa penyedia dan sesuai dengan bahasa Anda. Untuk teks multibahasa, bge-m3 adalah pilihan umum. Pertahankan satu keluarga untuk seluruh indeks.
Apakah ada API rerank gratis?
Dokumentasi FreeLLMAPI tidak menjelaskan endpoint rerank. Anda dapat melakukan rerank dengan model chat cepat, seperti yang ditunjukkan di halaman ini, atau melewati langkah rerank.
Apakah saya perlu RAG jika model gratis memiliki konteks 1 juta token?
Tidak untuk beberapa dokumen kecil. Untuk banyak dokumen atau pertanyaan yang sering, retrieval mengirim lebih sedikit token per permintaan dan tetap berada dalam batas gratis.
Bisakah saya mengganti model embedding nanti?
Bisa, tetapi Anda harus meng-embed ulang semua potongan. Vektor dari dua model tidak kompatibel, jadi jangan mencampurkannya dalam satu indeks.
Panduan terkait
- API embeddings gratis
- API LLM gratis dengan konteks 1 juta token
- LLM gratis untuk LlamaIndex
- Free LLM API untuk LangChain
- API LLM gratis di Python
Sumber
- FreeLLMAPI docs: embeddings (families and failover rules) (diperiksa 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (diperiksa 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (diperiksa 20 November 2026)