API رایگان LLM برای RAG
تولید با بازیابی افزوده (RAG) به دو API نیاز دارد: یک مدل embedding برای پیدا کردن متن مرتبط، و یک مدل گفتگو برای نوشتن پاسخ. هر دو روی سطحهای رایگان موجودند. FreeLLMAPI یک کلید سازگار با OpenAI برای 41 مدل رایگان embedding و 487 مدل رایگان گفتگو میدهد، با جایگزینی بین ارائهدهندگان. این راهنما مدلهای رایگان را برای هر مرحله و یک خط لوله کامل پایتون نشان میدهد.
کد، نام مدلها و برچسبهای زندهٔ کاتالوگ به زبان انگلیسی نمایش داده میشوند.
خط لوله RAG روی سطحهای رایگان
| مرحله | API | نکته سطح رایگان |
|---|---|---|
| 1. تقسیم اسناد به بخشها | هیچ (کد محلی) | هیچ |
| 2. embedding هر بخش | /v1/embeddings | درخواستهای زیاد در ابتدا. برخی سطحهای رایگان embedding به 10 درخواست در دقیقه اجازه میدهند. |
| 3. embedding پرسش | /v1/embeddings | یک درخواست برای هر پرسش |
| 4. پیدا کردن بهترین بخشها | هیچ (جستجوی برداری محلی) | هیچ |
| 5. rerank بخشها (اختیاری) | /v1/chat/completions | یک درخواست گفتگوی اضافه برای هر پرسش |
| 6. نوشتن پاسخ | /v1/chat/completions | prompt های بزرگ. محدودیتهای توکن در دقیقه اعمال میشوند. |
مرحله 2 هزینهبرترین مرحله است. آن را برای هر سند یک بار انجام میدهید. بردارها را ذخیره کنید و بعداً فقط اسناد جدید یا تغییرکرده را embedding کنید.
نصب FreeLLMAPI و بستههای پایتون
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>انتخاب یک مدل رایگان embedding
یک خانواده embedding انتخاب کنید و آن را برای کل ایندکس نگه دارید. بردارهای دو مدل با هم سازگار نیستند. FreeLLMAPI شما را از بردارهای مخلوط محافظت میکند: جایگزینی embedding هرگز مدل را عوض نمیکند. فقط بین ارائهدهندگانی جابهجا میشود که همان خانواده را ارائه میدهند.
| مدل | ارائهدهنده | ابعاد | حداکثر ورودی | محدودیت رایگان |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
دادههای زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسیشده در 2026-11-19). محدودیتهای رایگان اغلب تغییر میکنند. کاتالوگ هر روز بررسی میشود.
- چند ارائهدهنده برای یک خانواده: یک خانواده مانند
bge-m3روی بیش از یک ارائهدهنده رایگان است. پس جایگزینی جایی برای رفتن دارد. - حداکثر ورودی: بخشهای بلندتر از حداکثر ورودی بریده یا رد میشوند. بخشها را کوچکتر از این مقدار بسازید.
- زبانها: برای متنی که انگلیسی نیست، از یک خانواده چندزبانه مانند
bge-m3استفاده کنید. خانوادههایی که-en-در نام دارند برای انگلیسی هستند. - ابعاد: بردارهای بزرگتر فضای بیشتری میگیرند. برای یک ایندکس کوچک این مشکل نیست.
کد کامل RAG در پایتون
این اسکریپت فایلهای متنی را به بخشها تقسیم میکند، آنها را دستهای embedding میکند و بردارها را با NumPy ذخیره میکند. سپس با بهترین بخشها به یک پرسش پاسخ میدهد و منابع را نشان میدهد. وقتی محدودیتی درخواستی را متوقف کند، دوباره تلاش میکند.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))برای بیش از چند هزار بخش، جستجوی NumPy را با یک پایگاه داده برداری جایگزین کنید. فراخوانیهای embedding و گفتگو بدون تغییر میمانند.
کاربران اغلب دوباره همان پرسش را میپرسند. FreeLLMAPI یک کش پاسخ اختیاری برای درخواستهای یکسان دارد. وقتی پاسخ از کش میآید، هیچ سهمیه ارائهدهنده مصرف نمیشود. میتوانید کش را برای یک درخواست با هدر X-FreeLLM-Cache: on یا off روشن یا خاموش کنید. از temperature=0 استفاده کنید، تا همان پرسش همان درخواست را بسازد.
افزودن مرحله rerank
جستجوی برداری متن مشابه را پیدا میکند، اما بهترین بخش همیشه بهترین پاسخ نیست. مرحله rerank نامزدها را دوباره مرتب میکند. مستندات FreeLLMAPI یک نقطه پایانی اختصاصی rerank را توصیف نمیکند. میتوانید از یک مدل گفتگوی سریع به عنوان rerank استفاده کنید. 15 نامزد را بازیابی کنید و 5 بهترین را نگه دارید.
rerank با LLM و auto:fast
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]مرحله rerank برای هر پرسش یک درخواست گفتگوی اضافه میافزاید. اگر محدودیتهای رایگان شما تنگ است، از آن صرفنظر کنید. تقسیمبندی بهتر اغلب بیشتر از مرحله rerank کمک میکند.
زمینه بلند: وقتی به بازیابی نیاز ندارید
امروز، 56 پیشنهاد مدل رایگان پنجره زمینهای با 1 میلیون توکن یا بیشتر دارند. اگر اسناد شما کوچک هستند، میتوانید همه آنها را در prompt بفرستید و ایندکس برداری را حذف کنید. این سادهتر است، اما هر پرسش توکنهای زیادی میفرستد.
| مدل | رایگان در | متن ورودی | محدودیتهای رایگان (بهترین پیشنهاد) | ابزارها | بینایی |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | خیر | خیر |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 درخواست در دقیقه 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | بله | بله |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 درخواست در دقیقه 20 درخواست در روز 250,000 توکن در دقیقه ~3M | بله | بله |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 درخواست در دقیقه 50 درخواست در روز Shared rate limit | بله | خیر |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | خیر | خیر |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 درخواست در دقیقه 20 درخواست در روز 250,000 توکن در دقیقه ~3M | بله | بله |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | خیر | خیر |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 درخواست در دقیقه 20 درخواست در روز 250,000 توکن در دقیقه ~3M | بله | بله |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 درخواست در دقیقه 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | خیر | خیر |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3 مورد دیگر | 1M | 200 درخواست در روز 200 rpd | بله | خیر |
نمایش 10 مدل رایگان مطابق از 35 مدل. مشاهده همه مدلها.
دادههای زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسیشده در 2026-11-19). محدودیتهای رایگان اغلب تغییر میکنند. کاتالوگ هر روز بررسی میشود.
- از زمینه بلند استفاده کنید برای چند سند، برای پرسشهایی که به متن کامل نیاز دارند، یا برای یک گزارش واحد.
- از بازیابی استفاده کنید برای اسناد زیاد، پرسشهای پرتکرار، یا وقتی محدودیتهای توکن در دقیقه رایگان پایین است.
- آنها را ترکیب کنید: 20 بخش یا بیشتر را بازیابی کنید و به یک مدل زمینه بلند بفرستید.
یک prompt بزرگ ممکن است روی ارائهدهندهای با محدودیت توکن در دقیقه پایین شکست بخورد. آنگاه FreeLLMAPI ارائهدهنده بعدی را امتحان میکند. برای کنترل اینکه کدام مدلها prompt های بزرگ میگیرند، یک پروفایل زنجیره جایگزینی فقط با مدلهای زمینه بلند بسازید. آن را به صورت auto:<profile> استفاده کنید.
محدودیتها و عیبیابی
| مشکل | علت | راهحل |
|---|---|---|
| ورود داده با 429 متوقف میشود | خانواده embedding روی همه ارائهدهندگان به حد خود رسیده است | دستههای بزرگتر استفاده کنید، تا Retry-After صبر کنید، داده را در بخشها وارد کنید |
| نتایج بد بعد از یک تغییر | ایندکس بردارهایی از دو خانواده دارد | همه بخشها را با یک خانواده دوباره embedding کنید |
| خطا درباره طول ورودی | یک بخش از حداکثر ورودی خانواده بلندتر است | از بخشهای کوچکتر استفاده کنید |
| پاسخ منابع را نادیده میگیرد | مدل از دانش خودش پاسخ میدهد | از temperature=0 و یک prompt سیستمی سختگیرانه استفاده کنید |
| خطای طول زمینه در پاسخ | بخشهای زیاد یا خیلی بلند | مقدار k را کم کنید یا از یک پروفایل زمینه بلند استفاده کنید |
| سبک پاسخها تغییر میکند | مسیریاب مدل دیگری را انتخاب کرده است | یک هدر X-Session-Id بفرستید یا یک مدل را ثابت کنید |
سطحهای رایگان SLA ندارند. قویترین مدلها ابتدا به سقف روزانه خود میرسند و بسیاری از محدودیتها در نیمهشب UTC بازنشانی میشوند. خط لوله خود را با مدلهایی آزمایش کنید که زنجیره شما واقعاً استفاده میکند.
پرسشهای متداول
آیا یک API رایگان برای RAG وجود دارد؟
بله. چند ارائهدهنده سطح رایگان embedding و گفتگو دارند. FreeLLMAPI هر دو را از طریق یک کلید سازگار با OpenAI، با جایگزینی بین ارائهدهندگان، ارائه میدهد.
کدام مدل رایگان embedding برای RAG بهتر است؟
خانوادهای را انتخاب کنید که روی چند ارائهدهنده رایگان است و با زبانهای شما سازگار است. برای متن چندزبانه، bge-m3 انتخاب رایجی است. یک خانواده را برای کل ایندکس نگه دارید.
آیا یک API رایگان rerank وجود دارد؟
مستندات FreeLLMAPI یک نقطه پایانی rerank را توصیف نمیکند. میتوانید با یک مدل گفتگوی سریع، همانطور که در این صفحه آمده، rerank کنید، یا مرحله rerank را حذف کنید.
اگر یک مدل رایگان 1 میلیون توکن زمینه داشته باشد، آیا به RAG نیاز دارم؟
برای چند سند کوچک، نه. برای اسناد زیاد یا پرسشهای پرتکرار، بازیابی برای هر درخواست توکن کمتری میفرستد و داخل محدودیتهای رایگان میماند.
آیا بعداً میتوانم مدل embedding را تغییر دهم؟
بله، اما باید همه بخشها را دوباره embedding کنید. بردارهای دو مدل با هم سازگار نیستند، پس آنها را در یک ایندکس مخلوط نکنید.
راهنماهای مرتبط
- API رایگان embedding
- API رایگان LLM با زمینه 1 میلیون توکن
- LLM رایگان برای LlamaIndex
- API رایگان LLM برای LangChain
- API رایگان LLM در Python
منابع
- FreeLLMAPI docs: embeddings (families and failover rules) (بررسیشده در 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (بررسیشده در 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (بررسیشده در 20 November 2026)