API LLM miễn phí cho RAG
Retrieval-augmented generation (RAG) cần hai API: một mô hình embedding để tìm văn bản liên quan, và một mô hình chat để viết câu trả lời. Cả hai đều có trên gói miễn phí. FreeLLMAPI cung cấp một khóa OpenAI-compatible cho 41 mô hình embedding miễn phí và 487 mô hình chat miễn phí, có chuyển dự phòng giữa các nhà cung cấp. Hướng dẫn này chỉ các mô hình miễn phí cho từng bước và một quy trình Python đầy đủ.
Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.
Quy trình RAG trên gói miễn phí
| Bước | API | Lưu ý về gói miễn phí |
|---|---|---|
| 1. Chia tài liệu thành các đoạn | Không có (code chạy cục bộ) | Không có |
| 2. Embed từng đoạn | /v1/embeddings | Nhiều yêu cầu ở đầu. Một số gói embedding miễn phí cho phép 10 yêu cầu mỗi phút. |
| 3. Embed câu hỏi | /v1/embeddings | Một yêu cầu cho mỗi câu hỏi |
| 4. Tìm các đoạn hàng đầu | Không có (tìm kiếm vector cục bộ) | Không có |
| 5. Rerank các đoạn (tùy chọn) | /v1/chat/completions | Thêm một yêu cầu chat cho mỗi câu hỏi |
| 6. Viết câu trả lời | /v1/chat/completions | Prompt lớn. Áp dụng giới hạn token mỗi phút. |
Bước 2 là bước tốn kém nhất. Bạn chỉ làm một lần cho mỗi tài liệu. Lưu các vector, và sau này chỉ embed các tài liệu mới hoặc đã thay đổi.
Cài FreeLLMAPI và các gói Python
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>Chọn mô hình embedding miễn phí
Chọn một họ embedding và giữ nó cho toàn bộ chỉ mục. Vector từ hai mô hình không tương thích với nhau. FreeLLMAPI bảo vệ bạn khỏi việc trộn vector: chuyển dự phòng embedding không bao giờ đổi mô hình. Nó chỉ chuyển giữa các nhà cung cấp phục vụ cùng một họ.
| Mô hình | Nhà cung cấp | Số chiều | Đầu vào tối đa | Giới hạn miễn phí |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
- Nhiều nhà cung cấp cho một họ: một họ như
bge-m3miễn phí trên nhiều hơn một nhà cung cấp. Khi đó chuyển dự phòng có nơi để đi. - Đầu vào tối đa: các đoạn dài hơn đầu vào tối đa sẽ bị cắt hoặc bị từ chối. Hãy làm các đoạn nhỏ hơn giá trị này.
- Ngôn ngữ: với văn bản không phải tiếng Anh, hãy dùng họ đa ngôn ngữ như
bge-m3. Các họ có-en-trong tên dành cho tiếng Anh. - Số chiều: vector lớn hơn tốn nhiều bộ nhớ hơn. Với chỉ mục nhỏ, điều này không phải vấn đề.
Code RAG đầy đủ bằng Python
Script chia tệp văn bản thành các đoạn, embed chúng theo lô và lưu vector bằng NumPy. Sau đó nó trả lời một câu hỏi bằng các đoạn hàng đầu và đưa ra nguồn. Script thử lại khi một giới hạn chặn yêu cầu.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))Với hơn vài nghìn đoạn, hãy thay tìm kiếm NumPy bằng cơ sở dữ liệu vector. Các lệnh gọi embedding và chat giữ nguyên.
Người dùng thường hỏi lại cùng một câu. FreeLLMAPI có bộ nhớ đệm phản hồi tùy chọn cho các yêu cầu giống hệt nhau. Lần trúng bộ nhớ đệm không dùng hạn mức nhà cung cấp. Bạn có thể bật hoặc tắt bộ nhớ đệm cho một yêu cầu bằng header X-FreeLLM-Cache: on hoặc off. Dùng temperature=0, để cùng một câu hỏi tạo ra cùng một yêu cầu.
Thêm bước rerank
Tìm kiếm vector tìm được văn bản tương tự, nhưng đoạn hàng đầu không phải lúc nào cũng là câu trả lời tốt nhất. Bước rerank sắp xếp lại các ứng viên. Tài liệu FreeLLMAPI không mô tả điểm cuối rerank riêng. Bạn có thể dùng một mô hình chat nhanh làm bộ rerank. Lấy 15 ứng viên và giữ 5 cái tốt nhất.
Rerank bằng LLM với auto:fast
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]Bước rerank thêm một yêu cầu chat cho mỗi câu hỏi. Nếu giới hạn miễn phí của bạn chặt, hãy bỏ qua nó. Chia đoạn tốt hơn thường giúp ích nhiều hơn bước rerank.
Ngữ cảnh dài: khi bạn không cần truy xuất
Hiện nay, 56 ưu đãi mô hình miễn phí có cửa sổ ngữ cảnh từ 1 triệu token trở lên. Nếu tài liệu của bạn nhỏ, bạn có thể gửi tất cả trong prompt và bỏ qua chỉ mục vector. Cách này đơn giản hơn, nhưng mỗi câu hỏi sẽ gửi nhiều token.
| Mô hình | Miễn phí trên | Ngữ cảnh | Giới hạn miễn phí (ưu đãi tốt nhất) | Công cụ | Thị giác |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Không | Không |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 yêu cầu/phút 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Có | Có |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 yêu cầu/phút 50 yêu cầu/ngày Shared rate limit | Có | Không |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Không | Không |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Không | Không |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 yêu cầu/phút 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Không | Không |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3 nữa | 1M | 200 yêu cầu/ngày 200 rpd | Có | Không |
Đang hiển thị 10 trong số 35 mô hình miễn phí phù hợp. Xem tất cả mô hình.
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
- Dùng ngữ cảnh dài cho một vài tài liệu, cho các câu hỏi cần toàn bộ văn bản, hoặc cho một báo cáo duy nhất.
- Dùng truy xuất cho nhiều tài liệu, cho câu hỏi thường xuyên, hoặc khi giới hạn token mỗi phút miễn phí thấp.
- Kết hợp cả hai: truy xuất 20 đoạn trở lên và gửi chúng đến mô hình ngữ cảnh dài.
Một prompt lớn có thể lỗi trên nhà cung cấp có giới hạn token mỗi phút thấp. Khi đó FreeLLMAPI thử nhà cung cấp tiếp theo. Để kiểm soát mô hình nào nhận prompt lớn, hãy tạo một hồ sơ chuỗi dự phòng chỉ có mô hình ngữ cảnh dài. Dùng nó như auto:<profile>.
Giới hạn và xử lý sự cố
| Vấn đề | Nguyên nhân | Cách khắc phục |
|---|---|---|
| Quá trình nạp dữ liệu dừng với lỗi 429 | Họ embedding đã đạt giới hạn trên mọi nhà cung cấp | Dùng lô lớn hơn, chờ Retry-After, nạp dữ liệu theo từng phần |
| Kết quả xấu sau một thay đổi | Chỉ mục có vector từ hai họ | Embed lại tất cả các đoạn với một họ |
| Lỗi về độ dài đầu vào | Một đoạn dài hơn đầu vào tối đa của họ | Dùng đoạn nhỏ hơn |
| Câu trả lời bỏ qua các nguồn | Mô hình trả lời từ kiến thức riêng của nó | Dùng temperature=0 và một system prompt chặt chẽ |
| Lỗi độ dài ngữ cảnh ở câu trả lời | Quá nhiều đoạn hoặc đoạn quá dài | Giảm k hoặc dùng hồ sơ ngữ cảnh dài |
| Phong cách câu trả lời thay đổi | Bộ định tuyến đã chọn một mô hình khác | Gửi header X-Session-Id hoặc ghim một mô hình |
Gói miễn phí không có SLA. Các mô hình mạnh nhất đạt giới hạn ngày trước, và nhiều giới hạn đặt lại lúc nửa đêm UTC. Hãy kiểm tra quy trình của bạn với các mô hình mà chuỗi của bạn thực sự dùng.
Câu hỏi thường gặp
Có API miễn phí cho RAG không?
Có. Nhiều nhà cung cấp có gói embedding và chat miễn phí. FreeLLMAPI phục vụ cả hai qua một khóa OpenAI-compatible, có chuyển dự phòng giữa các nhà cung cấp.
Mô hình embedding miễn phí nào tốt nhất cho RAG?
Chọn một họ miễn phí trên nhiều nhà cung cấp và phù hợp với ngôn ngữ của bạn. Với văn bản đa ngôn ngữ, bge-m3 là lựa chọn phổ biến. Giữ một họ cho toàn bộ chỉ mục.
Có API rerank miễn phí không?
Tài liệu FreeLLMAPI không mô tả điểm cuối rerank. Bạn có thể rerank bằng một mô hình chat nhanh, như trình bày trên trang này, hoặc bỏ qua bước rerank.
Tôi có cần RAG nếu một mô hình miễn phí có 1 triệu token ngữ cảnh không?
Không cần cho vài tài liệu nhỏ. Với nhiều tài liệu hoặc câu hỏi thường xuyên, truy xuất gửi ít token hơn cho mỗi yêu cầu và nằm trong giới hạn miễn phí.
Tôi có thể đổi mô hình embedding sau này không?
Có, nhưng bạn phải embed lại tất cả các đoạn. Vector từ hai mô hình không tương thích, nên đừng trộn chúng trong một chỉ mục.
Hướng dẫn liên quan
- API embeddings miễn phí
- API LLM miễn phí với ngữ cảnh 1 triệu token
- LLM miễn phí cho LlamaIndex
- API LLM miễn phí cho LangChain
- API LLM miễn phí trong Python
Nguồn
- FreeLLMAPI docs: embeddings (families and failover rules) (đã kiểm tra 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (đã kiểm tra 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (đã kiểm tra 20 November 2026)