Trang chủ / Hướng dẫn / API LLM miễn phí cho RAG

API LLM miễn phí cho RAG

Retrieval-augmented generation (RAG) cần hai API: một mô hình embedding để tìm văn bản liên quan, và một mô hình chat để viết câu trả lời. Cả hai đều có trên gói miễn phí. FreeLLMAPI cung cấp một khóa OpenAI-compatible cho 41 mô hình embedding miễn phí và 487 mô hình chat miễn phí, có chuyển dự phòng giữa các nhà cung cấp. Hướng dẫn này chỉ các mô hình miễn phí cho từng bước và một quy trình Python đầy đủ.

Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.

Quy trình RAG trên gói miễn phí

BướcAPILưu ý về gói miễn phí
1. Chia tài liệu thành các đoạnKhông có (code chạy cục bộ)Không có
2. Embed từng đoạn/v1/embeddingsNhiều yêu cầu ở đầu. Một số gói embedding miễn phí cho phép 10 yêu cầu mỗi phút.
3. Embed câu hỏi/v1/embeddingsMột yêu cầu cho mỗi câu hỏi
4. Tìm các đoạn hàng đầuKhông có (tìm kiếm vector cục bộ)Không có
5. Rerank các đoạn (tùy chọn)/v1/chat/completionsThêm một yêu cầu chat cho mỗi câu hỏi
6. Viết câu trả lời/v1/chat/completionsPrompt lớn. Áp dụng giới hạn token mỗi phút.

Bước 2 là bước tốn kém nhất. Bạn chỉ làm một lần cho mỗi tài liệu. Lưu các vector, và sau này chỉ embed các tài liệu mới hoặc đã thay đổi.

Cài FreeLLMAPI và các gói Python

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>

Chọn mô hình embedding miễn phí

Chọn một họ embedding và giữ nó cho toàn bộ chỉ mục. Vector từ hai mô hình không tương thích với nhau. FreeLLMAPI bảo vệ bạn khỏi việc trộn vector: chuyển dự phòng embedding không bao giờ đổi mô hình. Nó chỉ chuyển giữa các nhà cung cấp phục vụ cùng một họ.

Mô hìnhNhà cung cấpSố chiềuĐầu vào tối đaGiới hạn miễn phí
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

  • Nhiều nhà cung cấp cho một họ: một họ như bge-m3 miễn phí trên nhiều hơn một nhà cung cấp. Khi đó chuyển dự phòng có nơi để đi.
  • Đầu vào tối đa: các đoạn dài hơn đầu vào tối đa sẽ bị cắt hoặc bị từ chối. Hãy làm các đoạn nhỏ hơn giá trị này.
  • Ngôn ngữ: với văn bản không phải tiếng Anh, hãy dùng họ đa ngôn ngữ như bge-m3. Các họ có -en- trong tên dành cho tiếng Anh.
  • Số chiều: vector lớn hơn tốn nhiều bộ nhớ hơn. Với chỉ mục nhỏ, điều này không phải vấn đề.

Code RAG đầy đủ bằng Python

Script chia tệp văn bản thành các đoạn, embed chúng theo lô và lưu vector bằng NumPy. Sau đó nó trả lời một câu hỏi bằng các đoạn hàng đầu và đưa ra nguồn. Script thử lại khi một giới hạn chặn yêu cầu.

rag.py

import json
import os
import pathlib
import time

import numpy as np
import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,
    timeout=90,
)
EMBED_MODEL = "bge-m3"   # keep one family for the whole index
CHAT_MODEL = "auto"      # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")

def with_retry(fn, *args, **kwargs):
    for attempt in range(6):
        try:
            return fn(*args, **kwargs)
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
    raise RuntimeError("Rate limited on every provider")

def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
    step = size - overlap
    return [text[i:i + size] for i in range(0, max(len(text), 1), step)]

def embed(texts: list[str], batch: int = 32) -> np.ndarray:
    out = []
    for i in range(0, len(texts), batch):
        resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
        out.extend(d.embedding for d in resp.data)
    vecs = np.array(out, dtype=np.float32)
    return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)

def build(folder: str) -> None:
    chunks = []
    for path in sorted(pathlib.Path(folder).rglob("*.md")):
        for part in chunk(path.read_text(encoding="utf-8")):
            if part.strip():
                chunks.append({"source": str(path), "text": part})
    INDEX.mkdir(exist_ok=True)
    np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
    (INDEX / "chunks.json").write_text(json.dumps(chunks))

def answer(question: str, k: int = 5) -> str:
    vecs = np.load(INDEX / "vectors.npy")
    chunks = json.loads((INDEX / "chunks.json").read_text())
    q = embed([question])[0]
    top = np.argsort(vecs @ q)[::-1][:k]
    context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
    resp = with_retry(
        client.chat.completions.create,
        model=CHAT_MODEL,
        temperature=0,
        messages=[
            {"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
            {"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
        ],
    )
    return resp.choices[0].message.content

if __name__ == "__main__":
    if not (INDEX / "vectors.npy").exists():
        build("docs")
    print(answer("How do I rotate the API keys?"))

Với hơn vài nghìn đoạn, hãy thay tìm kiếm NumPy bằng cơ sở dữ liệu vector. Các lệnh gọi embedding và chat giữ nguyên.

Người dùng thường hỏi lại cùng một câu. FreeLLMAPI có bộ nhớ đệm phản hồi tùy chọn cho các yêu cầu giống hệt nhau. Lần trúng bộ nhớ đệm không dùng hạn mức nhà cung cấp. Bạn có thể bật hoặc tắt bộ nhớ đệm cho một yêu cầu bằng header X-FreeLLM-Cache: on hoặc off. Dùng temperature=0, để cùng một câu hỏi tạo ra cùng một yêu cầu.

Thêm bước rerank

Tìm kiếm vector tìm được văn bản tương tự, nhưng đoạn hàng đầu không phải lúc nào cũng là câu trả lời tốt nhất. Bước rerank sắp xếp lại các ứng viên. Tài liệu FreeLLMAPI không mô tả điểm cuối rerank riêng. Bạn có thể dùng một mô hình chat nhanh làm bộ rerank. Lấy 15 ứng viên và giữ 5 cái tốt nhất.

Rerank bằng LLM với auto:fast

def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
    listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
    resp = with_retry(
        client.chat.completions.create,
        model="auto:fast",
        temperature=0,
        messages=[{
            "role": "user",
            "content": (
                f"Question: {question}\n\nPassages:\n{listing}\n\n"
                f"Return the numbers of the {keep} most useful passages, best first, "
                "as a JSON list of integers. Return only the list."
            ),
        }],
    )
    try:
        ids = json.loads(resp.choices[0].message.content.strip())
        return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
    except (json.JSONDecodeError, AttributeError):
        return list(range(min(keep, len(candidates))))  # fall back to vector order


# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]

Bước rerank thêm một yêu cầu chat cho mỗi câu hỏi. Nếu giới hạn miễn phí của bạn chặt, hãy bỏ qua nó. Chia đoạn tốt hơn thường giúp ích nhiều hơn bước rerank.

Ngữ cảnh dài: khi bạn không cần truy xuất

Hiện nay, 56 ưu đãi mô hình miễn phí có cửa sổ ngữ cảnh từ 1 triệu token trở lên. Nếu tài liệu của bạn nhỏ, bạn có thể gửi tất cả trong prompt và bỏ qua chỉ mục vector. Cách này đơn giản hơn, nhưng mỗi câu hỏi sẽ gửi nhiều token.

Mô hình miễn phí có cửa sổ ngữ cảnh lớn nhất
Mô hìnhMiễn phí trênNgữ cảnhGiới hạn miễn phí (ưu đãi tốt nhất)Công cụThị giác
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsKhôngKhông
Gemini 3.8 FlashAPINex, Google AI Studio1M5 yêu cầu/phút
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
CóCó
Gemini 3.7 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 yêu cầu/phút
50 yêu cầu/ngày
Shared rate limit
CóKhông
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetKhôngKhông
Gemini 3.6 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
GLM 5.2Router91M10,000 credits/month (~$1), shared; account-anniversary resetKhôngKhông
Gemini 3.5 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
DeepSeek V4 ProAPINex, Router91M5 yêu cầu/phút
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
KhôngKhông
Nemotron 3 Ultra 550BGizmo, Kilo Gateway, LLMTR +3 nữa1M200 yêu cầu/ngày
200 rpd
CóKhông

Đang hiển thị 10 trong số 35 mô hình miễn phí phù hợp. Xem tất cả mô hình.

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

  • Dùng ngữ cảnh dài cho một vài tài liệu, cho các câu hỏi cần toàn bộ văn bản, hoặc cho một báo cáo duy nhất.
  • Dùng truy xuất cho nhiều tài liệu, cho câu hỏi thường xuyên, hoặc khi giới hạn token mỗi phút miễn phí thấp.
  • Kết hợp cả hai: truy xuất 20 đoạn trở lên và gửi chúng đến mô hình ngữ cảnh dài.

Một prompt lớn có thể lỗi trên nhà cung cấp có giới hạn token mỗi phút thấp. Khi đó FreeLLMAPI thử nhà cung cấp tiếp theo. Để kiểm soát mô hình nào nhận prompt lớn, hãy tạo một hồ sơ chuỗi dự phòng chỉ có mô hình ngữ cảnh dài. Dùng nó như auto:<profile>.

Giới hạn và xử lý sự cố

Vấn đềNguyên nhânCách khắc phục
Quá trình nạp dữ liệu dừng với lỗi 429Họ embedding đã đạt giới hạn trên mọi nhà cung cấpDùng lô lớn hơn, chờ Retry-After, nạp dữ liệu theo từng phần
Kết quả xấu sau một thay đổiChỉ mục có vector từ hai họEmbed lại tất cả các đoạn với một họ
Lỗi về độ dài đầu vàoMột đoạn dài hơn đầu vào tối đa của họDùng đoạn nhỏ hơn
Câu trả lời bỏ qua các nguồnMô hình trả lời từ kiến thức riêng của nóDùng temperature=0 và một system prompt chặt chẽ
Lỗi độ dài ngữ cảnh ở câu trả lờiQuá nhiều đoạn hoặc đoạn quá dàiGiảm k hoặc dùng hồ sơ ngữ cảnh dài
Phong cách câu trả lời thay đổiBộ định tuyến đã chọn một mô hình khácGửi header X-Session-Id hoặc ghim một mô hình

Gói miễn phí không có SLA. Các mô hình mạnh nhất đạt giới hạn ngày trước, và nhiều giới hạn đặt lại lúc nửa đêm UTC. Hãy kiểm tra quy trình của bạn với các mô hình mà chuỗi của bạn thực sự dùng.

Dùng tất cả các mô hình này qua một khóa duy nhất. FreeLLMAPI là bộ định tuyến mã nguồn mở, tự lưu trữ. Nó đặt tất cả các gói miễn phí này sau một endpoint duy nhất tương thích OpenAI, và tự chuyển sang nhà cung cấp khác khi một nhà cung cấp bị giới hạn tốc độ. Xem danh mục hoặc bắt đầu.

Câu hỏi thường gặp

Có API miễn phí cho RAG không?

Có. Nhiều nhà cung cấp có gói embedding và chat miễn phí. FreeLLMAPI phục vụ cả hai qua một khóa OpenAI-compatible, có chuyển dự phòng giữa các nhà cung cấp.

Mô hình embedding miễn phí nào tốt nhất cho RAG?

Chọn một họ miễn phí trên nhiều nhà cung cấp và phù hợp với ngôn ngữ của bạn. Với văn bản đa ngôn ngữ, bge-m3 là lựa chọn phổ biến. Giữ một họ cho toàn bộ chỉ mục.

Có API rerank miễn phí không?

Tài liệu FreeLLMAPI không mô tả điểm cuối rerank. Bạn có thể rerank bằng một mô hình chat nhanh, như trình bày trên trang này, hoặc bỏ qua bước rerank.

Tôi có cần RAG nếu một mô hình miễn phí có 1 triệu token ngữ cảnh không?

Không cần cho vài tài liệu nhỏ. Với nhiều tài liệu hoặc câu hỏi thường xuyên, truy xuất gửi ít token hơn cho mỗi yêu cầu và nằm trong giới hạn miễn phí.

Tôi có thể đổi mô hình embedding sau này không?

Có, nhưng bạn phải embed lại tất cả các đoạn. Vector từ hai mô hình không tương thích, nên đừng trộn chúng trong một chỉ mục.

Hướng dẫn liên quan

Nguồn

Tất cả hướng dẫn · Xem tất cả mô hình miễn phí