หน้าแรก / คู่มือ / Free LLM API สำหรับ RAG

Free LLM API สำหรับ RAG

Retrieval-augmented generation (RAG) ต้องใช้ API สองตัว ได้แก่ โมเดล embedding เพื่อหาข้อความที่เกี่ยวข้อง และโมเดลแชตเพื่อเขียนคำตอบ ทั้งสองมีให้ใช้ในแพ็กเกจฟรี FreeLLMAPI ให้คีย์ OpenAI-compatible เพียงคีย์เดียวสำหรับโมเดล embedding ฟรี 41 รายการ และโมเดลแชตฟรี 487 รายการ พร้อมการสลับสำรองระหว่างผู้ให้บริการ คู่มือนี้แสดงโมเดลฟรีสำหรับแต่ละขั้นตอน และไปป์ไลน์ Python ที่สมบูรณ์

โค้ด ชื่อโมเดล และป้ายกำกับของแคตตาล็อกสดจะแสดงเป็นภาษาอังกฤษ

ไปป์ไลน์ RAG บนแพ็กเกจฟรี

ขั้นตอนAPIข้อควรระวังของแพ็กเกจฟรี
1. แบ่งเอกสารเป็น chunkไม่มี (โค้ดในเครื่อง)ไม่มี
2. embed แต่ละ chunk/v1/embeddingsคำขอจำนวนมากตอนเริ่มต้น แพ็กเกจ embedding ฟรีบางรายอนุญาต 10 คำขอต่อนาที
3. embed คำถาม/v1/embeddingsหนึ่งคำขอต่อคำถาม
4. หา chunk ที่ตรงที่สุดไม่มี (การค้นหาเวกเตอร์ในเครื่อง)ไม่มี
5. จัดอันดับ chunk ใหม่ (ไม่บังคับ)/v1/chat/completionsหนึ่งคำขอแชตเพิ่มต่อคำถาม
6. เขียนคำตอบ/v1/chat/completionsพรอมต์ขนาดใหญ่ ใช้ขีดจำกัดโทเค็นต่อนาที

ขั้นตอนที่ 2 เป็นขั้นตอนที่ใช้ทรัพยากรมากที่สุด ทำครั้งเดียวต่อหนึ่งเอกสาร บันทึกเวกเตอร์ไว้ และภายหลัง embed เฉพาะเอกสารที่ใหม่หรือมีการเปลี่ยนแปลง

ติดตั้ง FreeLLMAPI และแพ็กเกจ Python

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>

เลือกโมเดล embedding ฟรี

เลือกตระกูล embedding หนึ่งตระกูลและใช้ตลอดทั้งดัชนี เวกเตอร์จากสองโมเดลไม่เข้ากัน FreeLLMAPI ป้องกันการผสมเวกเตอร์: การสลับสำรองของ embedding จะไม่เปลี่ยนโมเดล ระบบย้ายไปยังผู้ให้บริการที่ให้บริการตระกูลเดียวกันเท่านั้น

โมเดลผู้ให้บริการมิติอินพุตสูงสุดขีดจำกัดฟรี
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

ข้อมูลสดจากแคตตาล็อก FreeLLMAPI (เวอร์ชัน 2026.11.19 ตรวจสอบเมื่อ 2026-11-19) ขีดจำกัดฟรีเปลี่ยนบ่อย แคตตาล็อกถูกตรวจสอบทุกวัน

  • ผู้ให้บริการหลายรายสำหรับตระกูลเดียว: ตระกูลเช่น bge-m3 ฟรีบนผู้ให้บริการมากกว่าหนึ่งราย การสลับสำรองจึงมีที่ไป
  • อินพุตสูงสุด: chunk ที่ยาวกว่าอินพุตสูงสุดจะถูกตัดหรือถูกปฏิเสธ ทำให้ chunk เล็กกว่าค่านี้
  • ภาษา: สำหรับข้อความที่ไม่ใช่ภาษาอังกฤษ ให้ใช้ตระกูลหลายภาษาเช่น bge-m3 ตระกูลที่มี -en- ในชื่อใช้สำหรับภาษาอังกฤษ
  • มิติ: เวกเตอร์ที่ใหญ่กว่าใช้พื้นที่เก็บข้อมูลมากกว่า สำหรับดัชนีขนาดเล็ก เรื่องนี้ไม่เป็นปัญหา

โค้ด RAG ครบชุดด้วย Python

สคริปต์แบ่งไฟล์ข้อความเป็น chunk, embed เป็นชุด และบันทึกเวกเตอร์ด้วย NumPy จากนั้นตอบคำถามด้วย chunk ที่ตรงที่สุด และแสดงแหล่งที่มา สคริปต์ลองใหม่เมื่อขีดจำกัดหยุดคำขอ

rag.py

import json
import os
import pathlib
import time

import numpy as np
import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,
    timeout=90,
)
EMBED_MODEL = "bge-m3"   # keep one family for the whole index
CHAT_MODEL = "auto"      # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")

def with_retry(fn, *args, **kwargs):
    for attempt in range(6):
        try:
            return fn(*args, **kwargs)
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
    raise RuntimeError("Rate limited on every provider")

def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
    step = size - overlap
    return [text[i:i + size] for i in range(0, max(len(text), 1), step)]

def embed(texts: list[str], batch: int = 32) -> np.ndarray:
    out = []
    for i in range(0, len(texts), batch):
        resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
        out.extend(d.embedding for d in resp.data)
    vecs = np.array(out, dtype=np.float32)
    return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)

def build(folder: str) -> None:
    chunks = []
    for path in sorted(pathlib.Path(folder).rglob("*.md")):
        for part in chunk(path.read_text(encoding="utf-8")):
            if part.strip():
                chunks.append({"source": str(path), "text": part})
    INDEX.mkdir(exist_ok=True)
    np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
    (INDEX / "chunks.json").write_text(json.dumps(chunks))

def answer(question: str, k: int = 5) -> str:
    vecs = np.load(INDEX / "vectors.npy")
    chunks = json.loads((INDEX / "chunks.json").read_text())
    q = embed([question])[0]
    top = np.argsort(vecs @ q)[::-1][:k]
    context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
    resp = with_retry(
        client.chat.completions.create,
        model=CHAT_MODEL,
        temperature=0,
        messages=[
            {"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
            {"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
        ],
    )
    return resp.choices[0].message.content

if __name__ == "__main__":
    if not (INDEX / "vectors.npy").exists():
        build("docs")
    print(answer("How do I rotate the API keys?"))

สำหรับมากกว่าไม่กี่พัน chunk ให้แทนที่การค้นหาด้วย NumPy ด้วยฐานข้อมูลเวกเตอร์ การเรียก embedding และแชตยังคงเหมือนเดิม

ผู้ใช้มักถามคำถามเดิมซ้ำ FreeLLMAPI มี response cache แบบเลือกเปิดสำหรับคำขอที่เหมือนกัน การตอบจาก cache ไม่ใช้โควตาของผู้ให้บริการ คุณเปิดหรือปิด cache ให้คำขอเดียวได้ด้วย header X-FreeLLM-Cache: on หรือ off ใช้ temperature=0 เพื่อให้คำถามเดียวกันสร้างคำขอเดียวกัน

เพิ่มขั้นตอน rerank

การค้นหาเวกเตอร์พบข้อความที่คล้ายกัน แต่ chunk อันดับแรกไม่ใช่คำตอบที่ดีที่สุดเสมอไป ขั้นตอน rerank จัดเรียงตัวเลือกใหม่ เอกสาร FreeLLMAPI ไม่ได้อธิบาย endpoint rerank โดยเฉพาะ คุณใช้โมเดลแชตที่เร็วเป็น reranker ได้ ดึงตัวเลือก 15 รายการและเก็บ 5 รายการที่ดีที่สุด

LLM rerank ด้วย auto:fast

def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
    listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
    resp = with_retry(
        client.chat.completions.create,
        model="auto:fast",
        temperature=0,
        messages=[{
            "role": "user",
            "content": (
                f"Question: {question}\n\nPassages:\n{listing}\n\n"
                f"Return the numbers of the {keep} most useful passages, best first, "
                "as a JSON list of integers. Return only the list."
            ),
        }],
    )
    try:
        ids = json.loads(resp.choices[0].message.content.strip())
        return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
    except (json.JSONDecodeError, AttributeError):
        return list(range(min(keep, len(candidates))))  # fall back to vector order


# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]

ขั้นตอน rerank เพิ่มหนึ่งคำขอแชตต่อคำถาม หากขีดจำกัดฟรีของคุณตึง ให้ข้ามขั้นตอนนี้ การแบ่ง chunk ที่ดีกว่ามักช่วยได้มากกว่าขั้นตอน rerank

Long context: เมื่อไม่ต้องใช้การค้นคืน

ปัจจุบัน ข้อเสนอโมเดลฟรี 56 รายการมีหน้าต่าง context ตั้งแต่ 1 ล้านโทเค็นขึ้นไป หากเอกสารของคุณมีขนาดเล็ก คุณส่งทั้งหมดในพรอมต์และข้ามดัชนีเวกเตอร์ได้ วิธีนี้ง่ายกว่า แต่แต่ละคำถามจะส่งโทเค็นจำนวนมาก

โมเดลฟรีที่มีหน้าต่าง context ใหญ่ที่สุด
โมเดลฟรีบนขนาดบริบทขีดจำกัดฟรี (ข้อเสนอที่ดีที่สุด)เครื่องมือการอ่านภาพ
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsไม่ไม่
Gemini 3.8 FlashAPINex, Google AI Studio1M5 คำขอ/นาที
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
ใช่ใช่
Gemini 3.7 FlashGoogle AI Studio1M10 คำขอ/นาที
20 คำขอ/วัน
250,000 โทเคน/นาที
~3M
ใช่ใช่
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 คำขอ/นาที
50 คำขอ/วัน
Shared rate limit
ใช่ไม่
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetไม่ไม่
Gemini 3.6 FlashGoogle AI Studio1M10 คำขอ/นาที
20 คำขอ/วัน
250,000 โทเคน/นาที
~3M
ใช่ใช่
GLM 5.2Router91M10,000 credits/month (~$1), shared; account-anniversary resetไม่ไม่
Gemini 3.5 FlashGoogle AI Studio1M10 คำขอ/นาที
20 คำขอ/วัน
250,000 โทเคน/นาที
~3M
ใช่ใช่
DeepSeek V4 ProAPINex, Router91M5 คำขอ/นาที
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
ไม่ไม่
Nemotron 3 Ultra 550BGizmo, Kilo Gateway, LLMTR +3 รายการเพิ่มเติม1M200 คำขอ/วัน
200 rpd
ใช่ไม่

แสดง 10 จาก 35 โมเดลฟรีที่ตรงกัน ดูโมเดลทั้งหมด.

ข้อมูลสดจากแคตตาล็อก FreeLLMAPI (เวอร์ชัน 2026.11.19 ตรวจสอบเมื่อ 2026-11-19) ขีดจำกัดฟรีเปลี่ยนบ่อย แคตตาล็อกถูกตรวจสอบทุกวัน

  • ใช้ long context สำหรับเอกสารไม่กี่ฉบับ คำถามที่ต้องใช้ข้อความทั้งหมด หรือรายงานฉบับเดียว
  • ใช้การค้นคืน สำหรับเอกสารจำนวนมาก คำถามที่ถามบ่อย หรือเมื่อขีดจำกัดโทเค็นต่อนาทีฟรีต่ำ
  • รวมทั้งสองวิธี: ค้นคืน chunk 20 รายการขึ้นไปแล้วส่งไปยังโมเดล long context

พรอมต์ขนาดใหญ่อาจล้มเหลวบนผู้ให้บริการที่มีขีดจำกัดโทเค็นต่อนาทีต่ำ FreeLLMAPI จะลองผู้ให้บริการรายถัดไป หากต้องการควบคุมว่าโมเดลใดรับพรอมต์ขนาดใหญ่ ให้สร้างโปรไฟล์เชนสำรองที่มีเฉพาะโมเดล long context ใช้เป็น auto:<profile>

ขีดจำกัดและการแก้ไขปัญหา

ปัญหาสาเหตุวิธีแก้
การนำเข้าข้อมูลหยุดด้วย 429ตระกูล embedding ถึงขีดจำกัดบนทุกผู้ให้บริการใช้ชุดที่ใหญ่ขึ้น รอตาม Retry-After นำเข้าข้อมูลเป็นส่วนๆ
ผลลัพธ์แย่ลงหลังการเปลี่ยนแปลงดัชนีมีเวกเตอร์จากสองตระกูลembed ทุก chunk ใหม่ด้วยตระกูลเดียว
ข้อผิดพลาดเกี่ยวกับความยาวอินพุตchunk ยาวกว่าอินพุตสูงสุดของตระกูลใช้ chunk ที่เล็กลง
คำตอบไม่สนใจแหล่งที่มาโมเดลตอบจากความรู้ของตนเองใช้ temperature=0 และ system prompt ที่เข้มงวด
ข้อผิดพลาดความยาว context ตอนสร้างคำตอบchunk มากเกินไปหรือยาวเกินไปลดค่า k หรือใช้โปรไฟล์ long context
สไตล์ของคำตอบเปลี่ยนเราเตอร์เลือกโมเดลอื่นส่ง header X-Session-Id หรือกำหนดโมเดล

แพ็กเกจฟรีไม่มี SLA โมเดลที่แข็งแรงที่สุดถึงขีดจำกัดรายวันก่อน และขีดจำกัดหลายรายการรีเซ็ตเที่ยงคืน UTC ทดสอบไปป์ไลน์ของคุณด้วยโมเดลที่เชนของคุณจะใช้งานจริง

ใช้ทุกตัวในรายการนี้ผ่านคีย์เดียว FreeLLMAPI คือเราเตอร์โอเพนซอร์สที่คุณโฮสต์เอง รวมระดับฟรีทั้งหมดนี้ไว้หลังปลายทางเดียวที่เข้ากันได้กับ OpenAI และเปลี่ยนไปใช้ตัวอื่นเมื่อตัวใดตัวหนึ่งถูกจำกัดอัตรา ดูแคตตาล็อก หรือ เริ่มใช้งานจริง.

คำถามที่พบบ่อย

มี API ฟรีสำหรับ RAG หรือไม่

มี ผู้ให้บริการหลายรายมีแพ็กเกจฟรีสำหรับ embedding และแชต FreeLLMAPI ให้บริการทั้งสองผ่านคีย์ OpenAI-compatible เพียงคีย์เดียว พร้อมการสลับสำรองระหว่างผู้ให้บริการ

โมเดล embedding ฟรีตัวไหนดีที่สุดสำหรับ RAG

เลือกตระกูลที่ฟรีบนผู้ให้บริการหลายรายและเหมาะกับภาษาของคุณ สำหรับข้อความหลายภาษา bge-m3 เป็นตัวเลือกที่พบบ่อย ใช้ตระกูลเดียวตลอดทั้งดัชนี

มี rerank API ฟรีหรือไม่

เอกสาร FreeLLMAPI ไม่ได้อธิบาย endpoint rerank คุณทำ rerank ด้วยโมเดลแชตที่เร็วได้ ตามที่แสดงในหน้านี้ หรือข้ามขั้นตอน rerank ก็ได้

ฉันต้องใช้ RAG หรือไม่ หากโมเดลฟรีมี context 1 ล้านโทเค็น

ไม่จำเป็นสำหรับเอกสารขนาดเล็กไม่กี่ฉบับ สำหรับเอกสารจำนวนมากหรือคำถามที่ถามบ่อย การค้นคืนส่งโทเค็นน้อยลงต่อคำขอและอยู่ในขีดจำกัดฟรี

ฉันเปลี่ยนโมเดล embedding ภายหลังได้หรือไม่

ได้ แต่คุณต้อง embed ทุก chunk ใหม่ เวกเตอร์จากสองโมเดลไม่เข้ากัน จึงไม่ควรผสมในดัชนีเดียวกัน

คู่มือที่เกี่ยวข้อง

แหล่งข้อมูล

คู่มือทั้งหมด · ดูโมเดลฟรีทั้งหมด