ہوم / گائیڈز / LlamaIndex کے لیے مفت LLM

LlamaIndex کے لیے مفت LLM

LlamaIndex میں OpenAI-compatible APIs کے لیے دو classes ہیں: chat کے لیے OpenAILike اور embeddings کے لیے OpenAILikeEmbedding۔ یہ گائیڈ دونوں کو FreeLLMAPI کی طرف رکھتی ہے، جو ایک key کے پیچھے 45 مفت provider ٹیئرز جمع کرتا ہے۔ آپ retrieval-augmented generation (RAG) index بناتے ہیں، اس سے سوال کرتے ہیں اور ایک agent شامل کرتے ہیں۔ کوڈ rate limits کو سنبھالتا ہے۔

کوڈ، ماڈل کے نام اور براہِ راست کیٹلاگ کے لیبل انگریزی میں دکھائے جاتے ہیں۔

پیکجز انسٹال کریں

FreeLLMAPI انسٹال کریں اور dashboard کے Keys صفحے پر دو یا زیادہ providers کی مفت keys شامل کریں۔ unified key کاپی کریں۔ پھر LlamaIndex پیکجز انسٹال کریں۔

انسٹال

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

OpenAI class، جو llama-index-llms-openai سے آتی ہے، ایسے ماڈل ناموں کے ساتھ استعمال نہ کریں جنہیں OpenAI نہیں جانتا۔ وہ class ماڈل ناموں اور context سائز کو OpenAI ماڈلز کی فہرست سے جانچتی ہے۔ OpenAILike ایسا نہیں کرتی، اس لیے یہ قدریں آپ خود سیٹ کرتے ہیں۔

LLM اور embedding ماڈل کی ترتیب

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: اس کے بغیر LlamaIndex پرانے completions endpoint کو requests بھیجتا ہے۔
  • context_window: LlamaIndex اس قدر سے طے کرتا ہے کہ prompt میں کتنے retrieved chunks آ سکتے ہیں۔ auto کے ساتھ router مختلف ماڈلز منتخب کر سکتا ہے۔ اپنی chain کی سب سے چھوٹی context window استعمال کریں۔
  • is_function_calling_model=True: یہ صرف اس وقت سیٹ کریں جب آپ کی chain میں tool calling والے ماڈلز ہوں۔
  • embed_batch_size: ہر batch ایک request ہے۔ بڑے batches فی منٹ کم requests استعمال کرتے ہیں۔

RAG prompt میں کئی retrieved chunks ہوتے ہیں، اس لیے chat ماڈل کو ان کے لیے جگہ چاہئے۔ RAG کے لیے لمبے context والے ماڈلز کے ساتھ ایک fallback chain profile بنائیں۔ پھر model="auto:<profile>" سیٹ کریں اور context_window کو اس profile کی سب سے چھوٹی window تک رکھیں۔ آج یہ مفت ماڈلز سب سے بڑی context windows رکھتے ہیں:

سب سے بڑی context windows والے مفت ماڈلز
ماڈلمفت دستیابسیاق و سباقمفت حدیں (بہترین پیشکش)ٹولزویژن
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsنہیںنہیں
Gemini 3.8 FlashAPINex, Google AI Studio1M5 درخواستیں فی منٹ
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
ہاںہاں
Gemini 3.7 FlashGoogle AI Studio1M10 درخواستیں فی منٹ
20 درخواستیں فی دن
250,000 ٹوکن فی منٹ
~3M
ہاںہاں
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 درخواستیں فی منٹ
50 درخواستیں فی دن
Shared rate limit
ہاںنہیں
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetنہیںنہیں
Gemini 3.6 FlashGoogle AI Studio1M10 درخواستیں فی منٹ
20 درخواستیں فی دن
250,000 ٹوکن فی منٹ
~3M
ہاںہاں
GLM-5.2ModelScope, Router91M100 درخواستیں فی دن
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
نہیںنہیں
Gemini 3.5 FlashGoogle AI Studio1M10 درخواستیں فی منٹ
20 درخواستیں فی دن
250,000 ٹوکن فی منٹ
~3M
ہاںہاں

115 میں سے 8 مماثل مفت ماڈلز دکھائے جا رہے ہیں۔ تمام ماڈلز دیکھیں.

FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔

ایک صارف کو ایک ہی ماڈل پر رکھنے کے لیے X-Session-Id header بھیجیں۔ OpenAILike default_headers قبول کرتی ہے، مثلاً default_headers={"X-Session-Id": "user-42"}۔ FreeLLMAPI ایک session کو 30 منٹ تک ایک ہی ماڈل پر رکھتا ہے۔ اس سے ایک chat کے جوابات ایک ہی انداز میں آتے ہیں۔

RAG index بنائیں اور اس سے سوال کریں

اسکرپٹ ایک فولڈر سے فائلیں پڑھتا ہے، embeddings بناتا ہے، index محفوظ کرتا ہے اور ایک سوال کا جواب دیتا ہے۔ index بنانے کے لیے ایک بار چلائیں۔ بعد کے رنز محفوظ index لوڈ کرتے ہیں اور فائلوں کو دوبارہ embed نہیں کرتے۔

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
اہم: پورے index کے لیے ایک embedding family رکھیں۔ FreeLLMAPI failover کے دوران embedding ماڈل کبھی نہیں بدلتا۔ وہ صرف انہی providers کے درمیان جاتا ہے جو ایک ہی family دیتے ہیں۔ اگر آپ family بدلیں تو ./storage حذف کریں اور index دوبارہ بنائیں۔

آج کے catalog میں یہ embedding ماڈلز مفت ہیں۔ dimensions کا کالم ہر family کے vector سائز کو دکھاتا ہے۔

ماڈلفراہم کنندہابعادزیادہ سے زیادہ ان پٹمفت حد
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔

FunctionAgent کے ساتھ agent شامل کریں

FunctionAgent tool calling استعمال کرتا ہے۔ آپ اسے query engine بطور tool دے سکتے ہیں اور اپنے Python functions شامل کر سکتے ہیں۔

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

agent کے کام کے لیے tool calling والے ماڈلز منتخب کریں۔ صرف انہی ماڈلز کے ساتھ ایک fallback chain profile بنائیں، اور ماڈل نام کے طور پر auto:<profile> استعمال کریں۔

tool calling اور 128K+ context والے مفت ماڈلز
ماڈلمفت دستیابسیاق و سباقمفت حدیں (بہترین پیشکش)ٹولزویژن
GLM 5.3UnoRouter1M1 درخواستیں فی منٹ
1 req/min per model
ہاںنہیں
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 درخواستیں فی منٹ
40 RPM
ہاںہاں
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaہاںہاں
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceہاںنہیں
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditہاںہاں
Gemini 3.7 FlashGoogle AI Studio1M10 درخواستیں فی منٹ
20 درخواستیں فی دن
250,000 ٹوکن فی منٹ
~3M
ہاںہاں
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditہاںہاں
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 درخواستیں فی منٹ
50 درخواستیں فی دن
50 req/day account-wide (1,000 after a $10 purchase)
ہاںہاں
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 درخواستیں فی منٹ
50 درخواستیں فی دن
Shared rate limit
ہاںنہیں
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 درخواستیں فی منٹ
250 درخواستیں فی دن
70,000 ٹوکن فی منٹ
~6M
ہاںہاں

109 میں سے 10 مماثل مفت ماڈلز دکھائے جا رہے ہیں۔ تمام ماڈلز دیکھیں.

FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔

ingestion کو مفت حدوں میں رکھیں

Ingestion کم وقت میں بہت سی embedding requests بھیجتا ہے۔ مفت embedding ٹیئرز کی حدیں کم ہیں۔ مثلاً کچھ 10 requests فی منٹ دیتے ہیں اور کچھ calls کو ماہانہ گنتے ہیں۔ شروع کرنے سے پہلے پہلی ingestion کی منصوبہ بندی کریں۔

  • بڑے chunks استعمال کریں۔ کم chunks کا مطلب ہے کم vectors اور کم requests۔ تقریباً 1,024 tokens کا chunk size اچھا آغاز ہے۔
  • Batches استعمال کریں۔ embed_batch_size کو 16 یا زیادہ پر سیٹ کریں۔ تب ایک request میں بہت سے chunks جاتے ہیں۔
  • index محفوظ کریں۔ پہلے رن کے بعد index کو محفوظ کریں۔ وہی فائلیں دوبارہ embed نہ کریں۔
  • Retries آن رکھیں۔ OpenAILikeEmbedding ڈیفالٹ کے طور پر 10 بار تک دوبارہ کوشش کرتا ہے۔ لمبے ingestion jobs کے لیے یہ قدر رکھیں۔
  • حصوں میں ingest کریں۔ ہزاروں فائلوں کے لیے ایک وقت میں ایک فولڈر ingest کریں۔

Queries، ingestion سے سستے ہیں۔ ہر query ایک embedding request اور ایک chat request استعمال کرتی ہے۔ چار chunks، ہر ایک 1,024 tokens، والی chat request تقریباً 5,000 tokens بھیجتی ہے۔ کم tokens-per-minute حدوں والے مفت ٹیئرز اسے رد کر سکتے ہیں۔ FreeLLMAPI پھر اگلا provider آزماتا ہے۔

خرابیوں کا حل

مسئلہوجہحل
Unknown model 'auto'آپ نے OpenAI class استعمال کیOpenAILike استعمال کریں
requests /v1/completions پر جا رہی ہیںis_chat_model سیٹ نہیں ہےis_chat_model=True سیٹ کریں
agent tools کال نہیں کرتاis_function_calling_model بند ہے، یا ماڈل میں tool calling نہیںاسے True سیٹ کریں اور tools profile استعمال کریں
ingestion کے دوران error 429embedding family تمام providers پر اپنی حد پر ہےبڑے batches استعمال کریں، Retry-After کا انتظار کریں اور دوبارہ چلائیں
embedding ماڈل بدلنے کے بعد غلط جواباتایک index میں دو families کے vectorsمحفوظ index حذف کریں اور دوبارہ بنائیں
Context length کی errorcontext_window جواب دینے والے ماڈل سے بڑی ہےچھوٹی قدر سیٹ کریں، یا لمبے context والا profile استعمال کریں

یہ دیکھنے کے لیے کہ کس provider نے request کا جواب دیا، FreeLLMAPI dashboard استعمال کریں۔ Analytics صفحہ ہر provider اور ماڈل کے لیے requests، latency اور errors دکھاتا ہے۔ ہر response میں X-Routed-Via header بھی ہوتا ہے۔ اگر router نے provider بدلا ہو تو X-Fallback-Trail header ہر ناکام کوشش اور اس کی وجہ بتاتا ہے۔

ان سب کو ایک ہی کلید سے استعمال کریں۔ FreeLLMAPI ایک اوپن سورس، خود میزبانی والا راؤٹر ہے۔ یہ ان تمام مفت ٹائرز کو ایک ہی OpenAI سے ہم آہنگ اینڈ پوائنٹ کے پیچھے رکھتا ہے، اور جب کوئی ایک ریٹ لمٹ ہو جائے تو خودکار طور پر دوسرے پر منتقل ہو جاتا ہے۔ کیٹلاگ دیکھیں یا لائیو جائیں.

اکثر پوچھے گئے سوالات

کیا میں LlamaIndex کو مفت LLM کے ساتھ استعمال کر سکتا ہوں؟

ہاں۔ OpenAILike استعمال کریں جس میں api_base کو OpenAI-compatible URL پر سیٹ کیا گیا ہو۔ FreeLLMAPI بہت سے مفت provider ٹیئرز کے لیے ایک URL دیتا ہے۔ ہر ٹیئر کی اپنی حدیں ہیں۔

LlamaIndex میں OpenAI اور OpenAILike میں کیا فرق ہے؟

OpenAI class ماڈل ناموں کو OpenAI ماڈلز سے جانچتی ہے۔ OpenAILike کوئی بھی ماڈل نام قبول کرتی ہے۔ context window اور chat اور function-calling flags آپ خود سیٹ کرتے ہیں۔

LlamaIndex کے لیے کون سا مفت embedding ماڈل بہترین ہے؟

ایک ایسی family منتخب کریں جس کی آپ کی ingestion کے لیے کافی مفت requests ہوں، اور اسے پورے index کے لیے رکھیں۔ bge-m3 family کئی providers پر مفت ہے، اس لیے failover ان کے درمیان جا سکتا ہے۔

کیا FunctionAgent مفت ماڈلز کے ساتھ کام کرتا ہے؟

ہاں، اگر ماڈل tool calling سپورٹ کرتا ہو اور آپ is_function_calling_model=True سیٹ کریں۔ ایسا fallback chain profile استعمال کریں جس میں صرف tool calling والے ماڈلز ہوں۔

LlamaIndex index بناتے وقت rate limits سے کیسے بچوں؟

بڑے chunks استعمال کریں، embed_batch_size کو 16 یا زیادہ پر سیٹ کریں، index محفوظ کریں اور بڑے فولڈرز کو حصوں میں ingest کریں۔

متعلقہ گائیڈز

ماخذ

تمام گائیڈز · تمام مفت ماڈلز دیکھیں