خانه / راهنماها / API رایگان LLM برای RAG

API رایگان LLM برای RAG

تولید با بازیابی افزوده (RAG) به دو API نیاز دارد: یک مدل embedding برای پیدا کردن متن مرتبط، و یک مدل گفتگو برای نوشتن پاسخ. هر دو روی سطح‌های رایگان موجودند. FreeLLMAPI یک کلید سازگار با OpenAI برای 41 مدل رایگان embedding و 487 مدل رایگان گفتگو می‌دهد، با جایگزینی بین ارائه‌دهندگان. این راهنما مدل‌های رایگان را برای هر مرحله و یک خط لوله کامل پایتون نشان می‌دهد.

کد، نام مدل‌ها و برچسب‌های زندهٔ کاتالوگ به زبان انگلیسی نمایش داده می‌شوند.

خط لوله RAG روی سطح‌های رایگان

مرحلهAPIنکته سطح رایگان
1. تقسیم اسناد به بخش‌هاهیچ (کد محلی)هیچ
2. embedding هر بخش/v1/embeddingsدرخواست‌های زیاد در ابتدا. برخی سطح‌های رایگان embedding به 10 درخواست در دقیقه اجازه می‌دهند.
3. embedding پرسش/v1/embeddingsیک درخواست برای هر پرسش
4. پیدا کردن بهترین بخش‌هاهیچ (جستجوی برداری محلی)هیچ
5. rerank بخش‌ها (اختیاری)/v1/chat/completionsیک درخواست گفتگوی اضافه برای هر پرسش
6. نوشتن پاسخ/v1/chat/completionsprompt های بزرگ. محدودیت‌های توکن در دقیقه اعمال می‌شوند.

مرحله 2 هزینه‌برترین مرحله است. آن را برای هر سند یک بار انجام می‌دهید. بردارها را ذخیره کنید و بعداً فقط اسناد جدید یا تغییرکرده را embedding کنید.

نصب FreeLLMAPI و بسته‌های پایتون

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>

انتخاب یک مدل رایگان embedding

یک خانواده embedding انتخاب کنید و آن را برای کل ایندکس نگه دارید. بردارهای دو مدل با هم سازگار نیستند. FreeLLMAPI شما را از بردارهای مخلوط محافظت می‌کند: جایگزینی embedding هرگز مدل را عوض نمی‌کند. فقط بین ارائه‌دهندگانی جابه‌جا می‌شود که همان خانواده را ارائه می‌دهند.

مدلارائه‌دهندهابعادحداکثر ورودیمحدودیت رایگان
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

داده‌های زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسی‌شده در 2026-11-19). محدودیت‌های رایگان اغلب تغییر می‌کنند. کاتالوگ هر روز بررسی می‌شود.

  • چند ارائه‌دهنده برای یک خانواده: یک خانواده مانند bge-m3 روی بیش از یک ارائه‌دهنده رایگان است. پس جایگزینی جایی برای رفتن دارد.
  • حداکثر ورودی: بخش‌های بلندتر از حداکثر ورودی بریده یا رد می‌شوند. بخش‌ها را کوچک‌تر از این مقدار بسازید.
  • زبان‌ها: برای متنی که انگلیسی نیست، از یک خانواده چندزبانه مانند bge-m3 استفاده کنید. خانواده‌هایی که -en- در نام دارند برای انگلیسی هستند.
  • ابعاد: بردارهای بزرگ‌تر فضای بیشتری می‌گیرند. برای یک ایندکس کوچک این مشکل نیست.

کد کامل RAG در پایتون

این اسکریپت فایل‌های متنی را به بخش‌ها تقسیم می‌کند، آن‌ها را دسته‌ای embedding می‌کند و بردارها را با NumPy ذخیره می‌کند. سپس با بهترین بخش‌ها به یک پرسش پاسخ می‌دهد و منابع را نشان می‌دهد. وقتی محدودیتی درخواستی را متوقف کند، دوباره تلاش می‌کند.

rag.py

import json
import os
import pathlib
import time

import numpy as np
import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,
    timeout=90,
)
EMBED_MODEL = "bge-m3"   # keep one family for the whole index
CHAT_MODEL = "auto"      # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")

def with_retry(fn, *args, **kwargs):
    for attempt in range(6):
        try:
            return fn(*args, **kwargs)
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
    raise RuntimeError("Rate limited on every provider")

def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
    step = size - overlap
    return [text[i:i + size] for i in range(0, max(len(text), 1), step)]

def embed(texts: list[str], batch: int = 32) -> np.ndarray:
    out = []
    for i in range(0, len(texts), batch):
        resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
        out.extend(d.embedding for d in resp.data)
    vecs = np.array(out, dtype=np.float32)
    return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)

def build(folder: str) -> None:
    chunks = []
    for path in sorted(pathlib.Path(folder).rglob("*.md")):
        for part in chunk(path.read_text(encoding="utf-8")):
            if part.strip():
                chunks.append({"source": str(path), "text": part})
    INDEX.mkdir(exist_ok=True)
    np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
    (INDEX / "chunks.json").write_text(json.dumps(chunks))

def answer(question: str, k: int = 5) -> str:
    vecs = np.load(INDEX / "vectors.npy")
    chunks = json.loads((INDEX / "chunks.json").read_text())
    q = embed([question])[0]
    top = np.argsort(vecs @ q)[::-1][:k]
    context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
    resp = with_retry(
        client.chat.completions.create,
        model=CHAT_MODEL,
        temperature=0,
        messages=[
            {"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
            {"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
        ],
    )
    return resp.choices[0].message.content

if __name__ == "__main__":
    if not (INDEX / "vectors.npy").exists():
        build("docs")
    print(answer("How do I rotate the API keys?"))

برای بیش از چند هزار بخش، جستجوی NumPy را با یک پایگاه داده برداری جایگزین کنید. فراخوانی‌های embedding و گفتگو بدون تغییر می‌مانند.

کاربران اغلب دوباره همان پرسش را می‌پرسند. FreeLLMAPI یک کش پاسخ اختیاری برای درخواست‌های یکسان دارد. وقتی پاسخ از کش می‌آید، هیچ سهمیه ارائه‌دهنده مصرف نمی‌شود. می‌توانید کش را برای یک درخواست با هدر X-FreeLLM-Cache: on یا off روشن یا خاموش کنید. از temperature=0 استفاده کنید، تا همان پرسش همان درخواست را بسازد.

افزودن مرحله rerank

جستجوی برداری متن مشابه را پیدا می‌کند، اما بهترین بخش همیشه بهترین پاسخ نیست. مرحله rerank نامزدها را دوباره مرتب می‌کند. مستندات FreeLLMAPI یک نقطه پایانی اختصاصی rerank را توصیف نمی‌کند. می‌توانید از یک مدل گفتگوی سریع به عنوان rerank استفاده کنید. 15 نامزد را بازیابی کنید و 5 بهترین را نگه دارید.

rerank با LLM و auto:fast

def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
    listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
    resp = with_retry(
        client.chat.completions.create,
        model="auto:fast",
        temperature=0,
        messages=[{
            "role": "user",
            "content": (
                f"Question: {question}\n\nPassages:\n{listing}\n\n"
                f"Return the numbers of the {keep} most useful passages, best first, "
                "as a JSON list of integers. Return only the list."
            ),
        }],
    )
    try:
        ids = json.loads(resp.choices[0].message.content.strip())
        return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
    except (json.JSONDecodeError, AttributeError):
        return list(range(min(keep, len(candidates))))  # fall back to vector order


# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]

مرحله rerank برای هر پرسش یک درخواست گفتگوی اضافه می‌افزاید. اگر محدودیت‌های رایگان شما تنگ است، از آن صرف‌نظر کنید. تقسیم‌بندی بهتر اغلب بیشتر از مرحله rerank کمک می‌کند.

زمینه بلند: وقتی به بازیابی نیاز ندارید

امروز، 56 پیشنهاد مدل رایگان پنجره زمینه‌ای با 1 میلیون توکن یا بیشتر دارند. اگر اسناد شما کوچک هستند، می‌توانید همه آن‌ها را در prompt بفرستید و ایندکس برداری را حذف کنید. این ساده‌تر است، اما هر پرسش توکن‌های زیادی می‌فرستد.

مدل‌های رایگان با بزرگ‌ترین پنجره زمینه
مدلرایگان درمتن ورودیمحدودیت‌های رایگان (بهترین پیشنهاد)ابزارهابینایی
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsخیرخیر
Gemini 3.8 FlashAPINex, Google AI Studio1M5 درخواست در دقیقه
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
بلهبله
Gemini 3.7 FlashGoogle AI Studio1M10 درخواست در دقیقه
20 درخواست در روز
250,000 توکن در دقیقه
~3M
بلهبله
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 درخواست در دقیقه
50 درخواست در روز
Shared rate limit
بلهخیر
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetخیرخیر
Gemini 3.6 FlashGoogle AI Studio1M10 درخواست در دقیقه
20 درخواست در روز
250,000 توکن در دقیقه
~3M
بلهبله
GLM 5.2Router91M10,000 credits/month (~$1), shared; account-anniversary resetخیرخیر
Gemini 3.5 FlashGoogle AI Studio1M10 درخواست در دقیقه
20 درخواست در روز
250,000 توکن در دقیقه
~3M
بلهبله
DeepSeek V4 ProAPINex, Router91M5 درخواست در دقیقه
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
خیرخیر
Nemotron 3 Ultra 550BGizmo, Kilo Gateway, LLMTR +3 مورد دیگر1M200 درخواست در روز
200 rpd
بلهخیر

نمایش 10 مدل رایگان مطابق از 35 مدل. مشاهده همه مدل‌ها.

داده‌های زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسی‌شده در 2026-11-19). محدودیت‌های رایگان اغلب تغییر می‌کنند. کاتالوگ هر روز بررسی می‌شود.

  • از زمینه بلند استفاده کنید برای چند سند، برای پرسش‌هایی که به متن کامل نیاز دارند، یا برای یک گزارش واحد.
  • از بازیابی استفاده کنید برای اسناد زیاد، پرسش‌های پرتکرار، یا وقتی محدودیت‌های توکن در دقیقه رایگان پایین است.
  • آن‌ها را ترکیب کنید: 20 بخش یا بیشتر را بازیابی کنید و به یک مدل زمینه بلند بفرستید.

یک prompt بزرگ ممکن است روی ارائه‌دهنده‌ای با محدودیت توکن در دقیقه پایین شکست بخورد. آنگاه FreeLLMAPI ارائه‌دهنده بعدی را امتحان می‌کند. برای کنترل اینکه کدام مدل‌ها prompt های بزرگ می‌گیرند، یک پروفایل زنجیره جایگزینی فقط با مدل‌های زمینه بلند بسازید. آن را به صورت auto:<profile> استفاده کنید.

محدودیت‌ها و عیب‌یابی

مشکلعلتراه‌حل
ورود داده با 429 متوقف می‌شودخانواده embedding روی همه ارائه‌دهندگان به حد خود رسیده استدسته‌های بزرگ‌تر استفاده کنید، تا Retry-After صبر کنید، داده را در بخش‌ها وارد کنید
نتایج بد بعد از یک تغییرایندکس بردارهایی از دو خانواده داردهمه بخش‌ها را با یک خانواده دوباره embedding کنید
خطا درباره طول ورودییک بخش از حداکثر ورودی خانواده بلندتر استاز بخش‌های کوچک‌تر استفاده کنید
پاسخ منابع را نادیده می‌گیردمدل از دانش خودش پاسخ می‌دهداز temperature=0 و یک prompt سیستمی سخت‌گیرانه استفاده کنید
خطای طول زمینه در پاسخبخش‌های زیاد یا خیلی بلندمقدار k را کم کنید یا از یک پروفایل زمینه بلند استفاده کنید
سبک پاسخ‌ها تغییر می‌کندمسیریاب مدل دیگری را انتخاب کرده استیک هدر X-Session-Id بفرستید یا یک مدل را ثابت کنید

سطح‌های رایگان SLA ندارند. قوی‌ترین مدل‌ها ابتدا به سقف روزانه خود می‌رسند و بسیاری از محدودیت‌ها در نیمه‌شب UTC بازنشانی می‌شوند. خط لوله خود را با مدل‌هایی آزمایش کنید که زنجیره شما واقعاً استفاده می‌کند.

هر یک از این‌ها را با یک کلید استفاده کنید. FreeLLMAPI یک روتر متن‌باز و میزبانی‌شده روی سرور خودتان است. این روتر همه این سطوح رایگان را پشت یک نقطه پایانی سازگار با OpenAI قرار می‌دهد و وقتی یک سرویس به محدودیت نرخ برسد، به سرویس بعدی منتقل می‌شود. مرور کاتالوگ یا اجرای زنده.

پرسش‌های متداول

آیا یک API رایگان برای RAG وجود دارد؟

بله. چند ارائه‌دهنده سطح رایگان embedding و گفتگو دارند. FreeLLMAPI هر دو را از طریق یک کلید سازگار با OpenAI، با جایگزینی بین ارائه‌دهندگان، ارائه می‌دهد.

کدام مدل رایگان embedding برای RAG بهتر است؟

خانواده‌ای را انتخاب کنید که روی چند ارائه‌دهنده رایگان است و با زبان‌های شما سازگار است. برای متن چندزبانه، bge-m3 انتخاب رایجی است. یک خانواده را برای کل ایندکس نگه دارید.

آیا یک API رایگان rerank وجود دارد؟

مستندات FreeLLMAPI یک نقطه پایانی rerank را توصیف نمی‌کند. می‌توانید با یک مدل گفتگوی سریع، همان‌طور که در این صفحه آمده، rerank کنید، یا مرحله rerank را حذف کنید.

اگر یک مدل رایگان 1 میلیون توکن زمینه داشته باشد، آیا به RAG نیاز دارم؟

برای چند سند کوچک، نه. برای اسناد زیاد یا پرسش‌های پرتکرار، بازیابی برای هر درخواست توکن کمتری می‌فرستد و داخل محدودیت‌های رایگان می‌ماند.

آیا بعداً می‌توانم مدل embedding را تغییر دهم؟

بله، اما باید همه بخش‌ها را دوباره embedding کنید. بردارهای دو مدل با هم سازگار نیستند، پس آن‌ها را در یک ایندکس مخلوط نکنید.

راهنماهای مرتبط

منابع

همه راهنماها · مرور همه مدل‌های رایگان