ہوم / گائیڈز / RAG کے لیے مفت LLM API

RAG کے لیے مفت LLM API

Retrieval-augmented generation (RAG) کو دو API چاہئیں: متعلقہ متن تلاش کرنے کے لیے ایک embedding ماڈل، اور جواب لکھنے کے لیے ایک چیٹ ماڈل۔ دونوں مفت ٹائرز پر دستیاب ہیں۔ FreeLLMAPI 41 مفت embedding ماڈلز اور 487 مفت چیٹ ماڈلز کے لیے ایک OpenAI سے مطابقت رکھنے والی کلید دیتا ہے، جس میں فراہم کنندگان کے درمیان فال اوور ہوتا ہے۔ یہ گائیڈ ہر مرحلے کے مفت ماڈلز اور ایک مکمل Python پائپ لائن دکھاتی ہے۔

کوڈ، ماڈل کے نام اور براہِ راست کیٹلاگ کے لیبل انگریزی میں دکھائے جاتے ہیں۔

مفت ٹائرز پر RAG پائپ لائن

مرحلہAPIمفت ٹائر کا مسئلہ
1. دستاویزات کو ٹکڑوں میں تقسیم کریںکوئی نہیں (مقامی کوڈ)کوئی نہیں
2. ہر ٹکڑے کو embed کریں/v1/embeddingsشروع میں بہت سی درخواستیں۔ کچھ مفت embedding ٹائرز فی منٹ 10 درخواستوں کی اجازت دیتے ہیں۔
3. سوال کو embed کریں/v1/embeddingsہر سوال پر ایک درخواست
4. اوپر کے ٹکڑے تلاش کریںکوئی نہیں (مقامی ویکٹر تلاش)کوئی نہیں
5. ٹکڑوں کی دوبارہ درجہ بندی کریں (اختیاری)/v1/chat/completionsہر سوال پر ایک اضافی چیٹ درخواست
6. جواب لکھیں/v1/chat/completionsبڑے پرامپٹس۔ فی منٹ ٹوکنز کی حدیں لاگو ہوتی ہیں۔

مرحلہ 2 مہنگا مرحلہ ہے۔ یہ ہر دستاویز کے لیے ایک بار کیا جاتا ہے۔ ویکٹرز محفوظ کریں، اور بعد میں صرف نئی یا تبدیل شدہ دستاویزات کو embed کریں۔

FreeLLMAPI اور Python پیکیجز انسٹال کریں

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>

مفت embedding ماڈل منتخب کریں

ایک embedding خاندان چنیں اور پورے انڈیکس کے لیے اسے رکھیں۔ دو ماڈلز کے ویکٹرز ہم آہنگ نہیں ہیں۔ FreeLLMAPI آپ کو مخلوط ویکٹرز سے بچاتا ہے: embedding کا فال اوور کبھی ماڈل نہیں بدلتا۔ یہ صرف ان فراہم کنندگان کے درمیان جاتا ہے جو ایک ہی خاندان فراہم کرتے ہیں۔

ماڈلفراہم کنندہابعادزیادہ سے زیادہ ان پٹمفت حد
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔

  • ایک خاندان کے لیے کئی فراہم کنندگان: bge-m3 جیسا خاندان ایک سے زیادہ فراہم کنندگان پر مفت ہے۔ تب فال اوور کے لیے کہیں جانے کی جگہ ہوتی ہے۔
  • زیادہ سے زیادہ ان پٹ: زیادہ سے زیادہ ان پٹ سے لمبے ٹکڑے کاٹ دیے جاتے ہیں یا مسترد ہو جاتے ہیں۔ ٹکڑوں کو اس قدر سے چھوٹا رکھیں۔
  • زبانیں: انگریزی کے علاوہ متن کے لیے bge-m3 جیسا کثیر لسانی خاندان استعمال کریں۔ جن خاندانوں کے نام میں -en- ہے وہ انگریزی کے لیے ہیں۔
  • ابعاد: بڑے ویکٹرز زیادہ اسٹوریج لیتے ہیں۔ چھوٹے انڈیکس کے لیے یہ مسئلہ نہیں ہے۔

Python میں مکمل RAG کوڈ

یہ اسکرپٹ متن کی فائلوں کو ٹکڑوں میں تقسیم کرتی ہے، انہیں بیچ میں embed کرتی ہے اور ویکٹرز NumPy سے محفوظ کرتی ہے۔ پھر یہ اوپر کے ٹکڑوں سے سوال کا جواب دیتی ہے اور ماخذ دیتی ہے۔ جب کوئی حد درخواست کو روکتی ہے تو یہ دوبارہ کوشش کرتی ہے۔

rag.py

import json
import os
import pathlib
import time

import numpy as np
import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,
    timeout=90,
)
EMBED_MODEL = "bge-m3"   # keep one family for the whole index
CHAT_MODEL = "auto"      # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")

def with_retry(fn, *args, **kwargs):
    for attempt in range(6):
        try:
            return fn(*args, **kwargs)
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
    raise RuntimeError("Rate limited on every provider")

def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
    step = size - overlap
    return [text[i:i + size] for i in range(0, max(len(text), 1), step)]

def embed(texts: list[str], batch: int = 32) -> np.ndarray:
    out = []
    for i in range(0, len(texts), batch):
        resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
        out.extend(d.embedding for d in resp.data)
    vecs = np.array(out, dtype=np.float32)
    return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)

def build(folder: str) -> None:
    chunks = []
    for path in sorted(pathlib.Path(folder).rglob("*.md")):
        for part in chunk(path.read_text(encoding="utf-8")):
            if part.strip():
                chunks.append({"source": str(path), "text": part})
    INDEX.mkdir(exist_ok=True)
    np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
    (INDEX / "chunks.json").write_text(json.dumps(chunks))

def answer(question: str, k: int = 5) -> str:
    vecs = np.load(INDEX / "vectors.npy")
    chunks = json.loads((INDEX / "chunks.json").read_text())
    q = embed([question])[0]
    top = np.argsort(vecs @ q)[::-1][:k]
    context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
    resp = with_retry(
        client.chat.completions.create,
        model=CHAT_MODEL,
        temperature=0,
        messages=[
            {"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
            {"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
        ],
    )
    return resp.choices[0].message.content

if __name__ == "__main__":
    if not (INDEX / "vectors.npy").exists():
        build("docs")
    print(answer("How do I rotate the API keys?"))

چند ہزار سے زیادہ ٹکڑوں کے لیے NumPy تلاش کی جگہ ویکٹر ڈیٹا بیس استعمال کریں۔ embedding اور چیٹ کی کالز وہی رہتی ہیں۔

صارفین اکثر وہی سوال دوبارہ پوچھتے ہیں۔ FreeLLMAPI میں ایک اختیاری جواب کیش ہے جو یکساں درخواستوں کے لیے ہے۔ کیش کا ہٹ فراہم کنندہ کا کوٹا استعمال نہیں کرتا۔ آپ X-FreeLLM-Cache: on یا off ہیڈر کے ساتھ ایک درخواست کے لیے کیش آن یا آف کر سکتے ہیں۔ temperature=0 استعمال کریں، تاکہ ایک ہی سوال ایک ہی درخواست بنائے۔

rerank کا مرحلہ شامل کریں

ویکٹر تلاش ملتے جلتے متن ڈھونڈتی ہے، لیکن اوپر کا ٹکڑا ہمیشہ بہترین جواب نہیں ہوتا۔ rerank کا مرحلہ امیدواروں کو دوبارہ ترتیب دیتا ہے۔ FreeLLMAPI کی دستاویزات میں کوئی مخصوص rerank اینڈ پوائنٹ بیان نہیں ہے۔ آپ بطور reranker ایک تیز چیٹ ماڈل استعمال کر سکتے ہیں۔ 15 امیدوار حاصل کریں اور بہترین 5 رکھیں۔

auto:fast کے ساتھ LLM rerank

def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
    listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
    resp = with_retry(
        client.chat.completions.create,
        model="auto:fast",
        temperature=0,
        messages=[{
            "role": "user",
            "content": (
                f"Question: {question}\n\nPassages:\n{listing}\n\n"
                f"Return the numbers of the {keep} most useful passages, best first, "
                "as a JSON list of integers. Return only the list."
            ),
        }],
    )
    try:
        ids = json.loads(resp.choices[0].message.content.strip())
        return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
    except (json.JSONDecodeError, AttributeError):
        return list(range(min(keep, len(candidates))))  # fall back to vector order


# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]

rerank کا مرحلہ ہر سوال پر ایک چیٹ درخواست شامل کرتا ہے۔ اگر آپ کی مفت حدیں تنگ ہیں تو اسے چھوڑ دیں۔ بہتر ٹکڑے بنانا اکثر rerank کے مرحلے سے زیادہ مدد دیتا ہے۔

طویل سیاق و سباق: جب retrieval کی ضرورت نہ ہو

آج 56 مفت ماڈل پیشکشوں کی سیاق و سباق ونڈو 10 لاکھ ٹوکنز یا اس سے زیادہ ہے۔ اگر آپ کی دستاویزات چھوٹی ہیں، تو آپ سب کو پرامپٹ میں بھیج سکتے ہیں اور ویکٹر انڈیکس چھوڑ سکتے ہیں۔ یہ سادہ ہے، لیکن ہر سوال کے ساتھ بہت سے ٹوکنز بھیجے جاتے ہیں۔

سب سے بڑی سیاق و سباق ونڈو والے مفت ماڈلز
ماڈلمفت دستیابسیاق و سباقمفت حدیں (بہترین پیشکش)ٹولزویژن
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsنہیںنہیں
Gemini 3.8 FlashAPINex, Google AI Studio1M5 درخواستیں فی منٹ
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
ہاںہاں
Gemini 3.7 FlashGoogle AI Studio1M10 درخواستیں فی منٹ
20 درخواستیں فی دن
250,000 ٹوکن فی منٹ
~3M
ہاںہاں
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 درخواستیں فی منٹ
50 درخواستیں فی دن
Shared rate limit
ہاںنہیں
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetنہیںنہیں
Gemini 3.6 FlashGoogle AI Studio1M10 درخواستیں فی منٹ
20 درخواستیں فی دن
250,000 ٹوکن فی منٹ
~3M
ہاںہاں
GLM 5.2Router91M10,000 credits/month (~$1), shared; account-anniversary resetنہیںنہیں
Gemini 3.5 FlashGoogle AI Studio1M10 درخواستیں فی منٹ
20 درخواستیں فی دن
250,000 ٹوکن فی منٹ
~3M
ہاںہاں
DeepSeek V4 ProAPINex, Router91M5 درخواستیں فی منٹ
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
نہیںنہیں
Nemotron 3 Ultra 550BGizmo, Kilo Gateway, LLMTR +3 مزید1M200 درخواستیں فی دن
200 rpd
ہاںنہیں

35 میں سے 10 مماثل مفت ماڈلز دکھائے جا رہے ہیں۔ تمام ماڈلز دیکھیں.

FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔

  • طویل سیاق و سباق استعمال کریں چند دستاویزات کے لیے، ان سوالات کے لیے جن کو پورا متن چاہیے، یا ایک رپورٹ کے لیے۔
  • retrieval استعمال کریں بہت سی دستاویزات کے لیے، بار بار پوچھے جانے والے سوالات کے لیے، یا جب مفت فی منٹ ٹوکنز کی حدیں کم ہوں۔
  • دونوں کو ملائیں: 20 یا زیادہ ٹکڑے حاصل کریں اور انہیں طویل سیاق و سباق والے ماڈل کو بھیجیں۔

بڑا پرامپٹ کم فی منٹ ٹوکن حد والے فراہم کنندہ پر ناکام ہو سکتا ہے۔ تب FreeLLMAPI اگلے فراہم کنندہ کو آزماتا ہے۔ یہ کنٹرول کرنے کے لیے کہ بڑے پرامپٹس کون سے ماڈلز لیں، صرف طویل سیاق و سباق والے ماڈلز کا فال بیک چین پروفائل بنائیں۔ اسے auto:<profile> کے طور پر استعمال کریں۔

حدیں اور خرابیوں کا ازالہ

مسئلہوجہحل
انجیشن 429 پر رک جاتی ہےembedding خاندان تمام فراہم کنندگان پر اپنی حد پر ہےبڑے بیچ استعمال کریں، Retry-After کا انتظار کریں، حصوں میں انجیسٹ کریں
تبدیلی کے بعد خراب نتائجانڈیکس میں دو خاندانوں کے ویکٹرز ہیںایک خاندان کے ساتھ تمام ٹکڑوں کو دوبارہ embed کریں
ان پٹ کی لمبائی کے بارے میں غلطیایک ٹکڑا خاندان کے زیادہ سے زیادہ ان پٹ سے لمبا ہےچھوٹے ٹکڑے استعمال کریں
جواب ماخذ کو نظر انداز کرتا ہےماڈل اپنے علم سے جواب دیتا ہےtemperature=0 اور سخت system prompt استعمال کریں
جواب پر سیاق و سباق کی لمبائی کی غلطیبہت زیادہ یا بہت لمبے ٹکڑےk کم کریں، یا طویل سیاق و سباق والا پروفائل استعمال کریں
جوابات کا انداز بدلتا ہےراؤٹر نے مختلف ماڈل منتخب کیاX-Session-Id ہیڈر بھیجیں، یا ایک ماڈل مقرر کریں

مفت ٹائرز کی کوئی SLA نہیں ہوتی۔ سب سے طاقتور ماڈلز پہلے اپنی روزانہ حدوں تک پہنچتے ہیں، اور بہت سی حدیں آدھی رات UTC پر ری سیٹ ہوتی ہیں۔ اپنی پائپ لائن کو ان ماڈلز کے ساتھ جانچیں جنہیں آپ کی چین حقیقت میں استعمال کرے گی۔

ان سب کو ایک ہی کلید سے استعمال کریں۔ FreeLLMAPI ایک اوپن سورس، خود میزبانی والا راؤٹر ہے۔ یہ ان تمام مفت ٹائرز کو ایک ہی OpenAI سے ہم آہنگ اینڈ پوائنٹ کے پیچھے رکھتا ہے، اور جب کوئی ایک ریٹ لمٹ ہو جائے تو خودکار طور پر دوسرے پر منتقل ہو جاتا ہے۔ کیٹلاگ دیکھیں یا لائیو جائیں.

اکثر پوچھے گئے سوالات

کیا RAG کے لیے کوئی مفت API ہے؟

ہاں۔ کئی فراہم کنندگان کے پاس مفت embedding اور چیٹ ٹائرز ہیں۔ FreeLLMAPI دونوں کو ایک OpenAI سے مطابقت رکھنے والی کلید کے ذریعے دیتا ہے، جس میں فراہم کنندگان کے درمیان فال اوور ہوتا ہے۔

RAG کے لیے کون سا مفت embedding ماڈل سب سے اچھا ہے؟

ایسا خاندان منتخب کریں جو کئی فراہم کنندگان پر مفت ہو اور آپ کی زبانوں کے لیے موزوں ہو۔ کثیر لسانی متن کے لیے bge-m3 ایک عام انتخاب ہے۔ پورے انڈیکس کے لیے ایک خاندان رکھیں۔

کیا کوئی مفت rerank API ہے؟

FreeLLMAPI کی دستاویزات میں rerank اینڈ پوائنٹ بیان نہیں ہے۔ آپ اس صفحے پر دکھائے گئے طریقے سے ایک تیز چیٹ ماڈل کے ساتھ rerank کر سکتے ہیں، یا rerank کا مرحلہ چھوڑ سکتے ہیں۔

اگر ایک مفت ماڈل میں 10 لاکھ ٹوکنز کا سیاق و سباق ہو تو کیا مجھے RAG کی ضرورت ہے؟

چند چھوٹی دستاویزات کے لیے نہیں۔ بہت سی دستاویزات یا بار بار پوچھے جانے والے سوالات کے لیے، retrieval ہر درخواست میں کم ٹوکنز بھیجتا ہے اور مفت حدوں کے اندر رہتا ہے۔

کیا میں بعد میں embedding ماڈل بدل سکتا ہوں؟

ہاں، لیکن آپ کو تمام ٹکڑوں کو دوبارہ embed کرنا ہوگا۔ دو ماڈلز کے ویکٹرز ہم آہنگ نہیں ہیں، اس لیے انہیں ایک انڈیکس میں نہ ملائیں۔

متعلقہ گائیڈز

ماخذ

تمام گائیڈز · تمام مفت ماڈلز دیکھیں