LlamaIndex کے لیے مفت LLM
LlamaIndex میں OpenAI-compatible APIs کے لیے دو classes ہیں: chat کے لیے OpenAILike اور embeddings کے لیے OpenAILikeEmbedding۔ یہ گائیڈ دونوں کو FreeLLMAPI کی طرف رکھتی ہے، جو ایک key کے پیچھے 45 مفت provider ٹیئرز جمع کرتا ہے۔ آپ retrieval-augmented generation (RAG) index بناتے ہیں، اس سے سوال کرتے ہیں اور ایک agent شامل کرتے ہیں۔ کوڈ rate limits کو سنبھالتا ہے۔
کوڈ، ماڈل کے نام اور براہِ راست کیٹلاگ کے لیبل انگریزی میں دکھائے جاتے ہیں۔
پیکجز انسٹال کریں
FreeLLMAPI انسٹال کریں اور dashboard کے Keys صفحے پر دو یا زیادہ providers کی مفت keys شامل کریں۔ unified key کاپی کریں۔ پھر LlamaIndex پیکجز انسٹال کریں۔
انسٹال
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>OpenAI class، جو llama-index-llms-openai سے آتی ہے، ایسے ماڈل ناموں کے ساتھ استعمال نہ کریں جنہیں OpenAI نہیں جانتا۔ وہ class ماڈل ناموں اور context سائز کو OpenAI ماڈلز کی فہرست سے جانچتی ہے۔ OpenAILike ایسا نہیں کرتی، اس لیے یہ قدریں آپ خود سیٹ کرتے ہیں۔
LLM اور embedding ماڈل کی ترتیب
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: اس کے بغیر LlamaIndex پرانے completions endpoint کو requests بھیجتا ہے۔
- context_window: LlamaIndex اس قدر سے طے کرتا ہے کہ prompt میں کتنے retrieved chunks آ سکتے ہیں۔
autoکے ساتھ router مختلف ماڈلز منتخب کر سکتا ہے۔ اپنی chain کی سب سے چھوٹی context window استعمال کریں۔ - is_function_calling_model=True: یہ صرف اس وقت سیٹ کریں جب آپ کی chain میں tool calling والے ماڈلز ہوں۔
- embed_batch_size: ہر batch ایک request ہے۔ بڑے batches فی منٹ کم requests استعمال کرتے ہیں۔
RAG prompt میں کئی retrieved chunks ہوتے ہیں، اس لیے chat ماڈل کو ان کے لیے جگہ چاہئے۔ RAG کے لیے لمبے context والے ماڈلز کے ساتھ ایک fallback chain profile بنائیں۔ پھر model="auto:<profile>" سیٹ کریں اور context_window کو اس profile کی سب سے چھوٹی window تک رکھیں۔ آج یہ مفت ماڈلز سب سے بڑی context windows رکھتے ہیں:
| ماڈل | مفت دستیاب | سیاق و سباق | مفت حدیں (بہترین پیشکش) | ٹولز | ویژن |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | نہیں | نہیں |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 درخواستیں فی منٹ 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | ہاں | ہاں |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 درخواستیں فی منٹ 20 درخواستیں فی دن 250,000 ٹوکن فی منٹ ~3M | ہاں | ہاں |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 درخواستیں فی منٹ 50 درخواستیں فی دن Shared rate limit | ہاں | نہیں |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | نہیں | نہیں |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 درخواستیں فی منٹ 20 درخواستیں فی دن 250,000 ٹوکن فی منٹ ~3M | ہاں | ہاں |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 درخواستیں فی دن Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | نہیں | نہیں |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 درخواستیں فی منٹ 20 درخواستیں فی دن 250,000 ٹوکن فی منٹ ~3M | ہاں | ہاں |
115 میں سے 8 مماثل مفت ماڈلز دکھائے جا رہے ہیں۔ تمام ماڈلز دیکھیں.
FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔
ایک صارف کو ایک ہی ماڈل پر رکھنے کے لیے X-Session-Id header بھیجیں۔ OpenAILike default_headers قبول کرتی ہے، مثلاً default_headers={"X-Session-Id": "user-42"}۔ FreeLLMAPI ایک session کو 30 منٹ تک ایک ہی ماڈل پر رکھتا ہے۔ اس سے ایک chat کے جوابات ایک ہی انداز میں آتے ہیں۔
RAG index بنائیں اور اس سے سوال کریں
اسکرپٹ ایک فولڈر سے فائلیں پڑھتا ہے، embeddings بناتا ہے، index محفوظ کرتا ہے اور ایک سوال کا جواب دیتا ہے۔ index بنانے کے لیے ایک بار چلائیں۔ بعد کے رنز محفوظ index لوڈ کرتے ہیں اور فائلوں کو دوبارہ embed نہیں کرتے۔
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage حذف کریں اور index دوبارہ بنائیں۔آج کے catalog میں یہ embedding ماڈلز مفت ہیں۔ dimensions کا کالم ہر family کے vector سائز کو دکھاتا ہے۔
| ماڈل | فراہم کنندہ | ابعاد | زیادہ سے زیادہ ان پٹ | مفت حد |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔
FunctionAgent کے ساتھ agent شامل کریں
FunctionAgent tool calling استعمال کرتا ہے۔ آپ اسے query engine بطور tool دے سکتے ہیں اور اپنے Python functions شامل کر سکتے ہیں۔
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())agent کے کام کے لیے tool calling والے ماڈلز منتخب کریں۔ صرف انہی ماڈلز کے ساتھ ایک fallback chain profile بنائیں، اور ماڈل نام کے طور پر auto:<profile> استعمال کریں۔
| ماڈل | مفت دستیاب | سیاق و سباق | مفت حدیں (بہترین پیشکش) | ٹولز | ویژن |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 درخواستیں فی منٹ 1 req/min per model | ہاں | نہیں |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 درخواستیں فی منٹ 40 RPM | ہاں | ہاں |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | ہاں | ہاں |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | ہاں | نہیں |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | ہاں | ہاں |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 درخواستیں فی منٹ 20 درخواستیں فی دن 250,000 ٹوکن فی منٹ ~3M | ہاں | ہاں |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | ہاں | ہاں |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 درخواستیں فی منٹ 50 درخواستیں فی دن 50 req/day account-wide (1,000 after a $10 purchase) | ہاں | ہاں |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 درخواستیں فی منٹ 50 درخواستیں فی دن Shared rate limit | ہاں | نہیں |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 درخواستیں فی منٹ 250 درخواستیں فی دن 70,000 ٹوکن فی منٹ ~6M | ہاں | ہاں |
109 میں سے 10 مماثل مفت ماڈلز دکھائے جا رہے ہیں۔ تمام ماڈلز دیکھیں.
FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔
ingestion کو مفت حدوں میں رکھیں
Ingestion کم وقت میں بہت سی embedding requests بھیجتا ہے۔ مفت embedding ٹیئرز کی حدیں کم ہیں۔ مثلاً کچھ 10 requests فی منٹ دیتے ہیں اور کچھ calls کو ماہانہ گنتے ہیں۔ شروع کرنے سے پہلے پہلی ingestion کی منصوبہ بندی کریں۔
- بڑے chunks استعمال کریں۔ کم chunks کا مطلب ہے کم vectors اور کم requests۔ تقریباً 1,024 tokens کا chunk size اچھا آغاز ہے۔
- Batches استعمال کریں۔
embed_batch_sizeکو 16 یا زیادہ پر سیٹ کریں۔ تب ایک request میں بہت سے chunks جاتے ہیں۔ - index محفوظ کریں۔ پہلے رن کے بعد index کو محفوظ کریں۔ وہی فائلیں دوبارہ embed نہ کریں۔
- Retries آن رکھیں۔
OpenAILikeEmbeddingڈیفالٹ کے طور پر 10 بار تک دوبارہ کوشش کرتا ہے۔ لمبے ingestion jobs کے لیے یہ قدر رکھیں۔ - حصوں میں ingest کریں۔ ہزاروں فائلوں کے لیے ایک وقت میں ایک فولڈر ingest کریں۔
Queries، ingestion سے سستے ہیں۔ ہر query ایک embedding request اور ایک chat request استعمال کرتی ہے۔ چار chunks، ہر ایک 1,024 tokens، والی chat request تقریباً 5,000 tokens بھیجتی ہے۔ کم tokens-per-minute حدوں والے مفت ٹیئرز اسے رد کر سکتے ہیں۔ FreeLLMAPI پھر اگلا provider آزماتا ہے۔
خرابیوں کا حل
| مسئلہ | وجہ | حل |
|---|---|---|
Unknown model 'auto' | آپ نے OpenAI class استعمال کی | OpenAILike استعمال کریں |
requests /v1/completions پر جا رہی ہیں | is_chat_model سیٹ نہیں ہے | is_chat_model=True سیٹ کریں |
| agent tools کال نہیں کرتا | is_function_calling_model بند ہے، یا ماڈل میں tool calling نہیں | اسے True سیٹ کریں اور tools profile استعمال کریں |
| ingestion کے دوران error 429 | embedding family تمام providers پر اپنی حد پر ہے | بڑے batches استعمال کریں، Retry-After کا انتظار کریں اور دوبارہ چلائیں |
| embedding ماڈل بدلنے کے بعد غلط جوابات | ایک index میں دو families کے vectors | محفوظ index حذف کریں اور دوبارہ بنائیں |
| Context length کی error | context_window جواب دینے والے ماڈل سے بڑی ہے | چھوٹی قدر سیٹ کریں، یا لمبے context والا profile استعمال کریں |
یہ دیکھنے کے لیے کہ کس provider نے request کا جواب دیا، FreeLLMAPI dashboard استعمال کریں۔ Analytics صفحہ ہر provider اور ماڈل کے لیے requests، latency اور errors دکھاتا ہے۔ ہر response میں X-Routed-Via header بھی ہوتا ہے۔ اگر router نے provider بدلا ہو تو X-Fallback-Trail header ہر ناکام کوشش اور اس کی وجہ بتاتا ہے۔
اکثر پوچھے گئے سوالات
کیا میں LlamaIndex کو مفت LLM کے ساتھ استعمال کر سکتا ہوں؟
ہاں۔ OpenAILike استعمال کریں جس میں api_base کو OpenAI-compatible URL پر سیٹ کیا گیا ہو۔ FreeLLMAPI بہت سے مفت provider ٹیئرز کے لیے ایک URL دیتا ہے۔ ہر ٹیئر کی اپنی حدیں ہیں۔
LlamaIndex میں OpenAI اور OpenAILike میں کیا فرق ہے؟
OpenAI class ماڈل ناموں کو OpenAI ماڈلز سے جانچتی ہے۔ OpenAILike کوئی بھی ماڈل نام قبول کرتی ہے۔ context window اور chat اور function-calling flags آپ خود سیٹ کرتے ہیں۔
LlamaIndex کے لیے کون سا مفت embedding ماڈل بہترین ہے؟
ایک ایسی family منتخب کریں جس کی آپ کی ingestion کے لیے کافی مفت requests ہوں، اور اسے پورے index کے لیے رکھیں۔ bge-m3 family کئی providers پر مفت ہے، اس لیے failover ان کے درمیان جا سکتا ہے۔
کیا FunctionAgent مفت ماڈلز کے ساتھ کام کرتا ہے؟
ہاں، اگر ماڈل tool calling سپورٹ کرتا ہو اور آپ is_function_calling_model=True سیٹ کریں۔ ایسا fallback chain profile استعمال کریں جس میں صرف tool calling والے ماڈلز ہوں۔
LlamaIndex index بناتے وقت rate limits سے کیسے بچوں؟
بڑے chunks استعمال کریں، embed_batch_size کو 16 یا زیادہ پر سیٹ کریں، index محفوظ کریں اور بڑے فولڈرز کو حصوں میں ingest کریں۔
متعلقہ گائیڈز
- RAG کے لیے مفت LLM API
- مفت embeddings API
- LangChain کے لیے مفت LLM API
- Python میں مفت LLM API
- 10 لاکھ ٹوکن سیاق و سباق کے ساتھ مفت LLM API
ماخذ
- LlamaIndex: llama-index-llms-openai-like README (20 November 2026 کو جانچا گیا)
- LlamaIndex: llama-index-embeddings-openai-like source (20 November 2026 کو جانچا گیا)
- LlamaIndex: FunctionAgent (agent workflow) source (20 November 2026 کو جانچا گیا)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (20 November 2026 کو جانچا گیا)