Python میں مفت LLM API
آفیشل openai Python پیکج ہر OpenAI-compatible API کے ساتھ کام کرتا ہے۔ آپ base URL اور key بدلتے ہیں۔ یہ گائیڈ FreeLLMAPI استعمال کرتی ہے، جو ایک key کے پیچھے 45 مفت provider ٹیئرز جمع کرتا ہے اور جب کوئی حد request کو روکتی ہے تو اگلے provider پر چلا جاتا ہے۔ نیچے ہر مثال مکمل ہے اور جوں کی توں چلتی ہے۔
کوڈ، ماڈل کے نام اور براہِ راست کیٹلاگ کے لیبل انگریزی میں دکھائے جاتے ہیں۔
ترتیب
FreeLLMAPI انسٹال کریں۔ یہ Docker میں چلتا ہے۔ http://localhost:3001 پر dashboard کھولیں، Keys صفحے پر دو یا زیادہ providers کی مفت keys شامل کریں اور unified key کاپی کریں۔ پھر Python پیکج انسٹال کریں۔
آپ کا Python کوڈ صرف unified key استعمال کرتا ہے۔ provider keys FreeLLMAPI میں رہتی ہیں، اس کے ڈیٹا بیس میں خفیہ شکل میں۔ اگر آپ کوئی provider key بدلیں یا شامل کریں تو آپ کو اپنا کوڈ نہیں بدلنا پڑتا۔
انسٹال
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)ماڈل auto dashboard پر آپ کی fallback chain کی پیروی کرتا ہے۔ آپ auto:fast، auto:smart یا auto:reliable، auto:coding جیسا profile، یا ایک مقررہ model ID بھی استعمال کر سکتے ہیں۔
Streaming اور response headers
جواب کو stream کریں
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()ہر response میں X-Routed-Via header ہوتا ہے، جس میں وہ provider اور ماڈل ہوتا ہے جس نے جواب دیا۔ SDK سے headers پڑھنے کے لیے with_raw_response استعمال کریں اور عام object حاصل کرنے کے لیے parse() کال کریں۔
routing headers پڑھیں
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)Tool calling
OpenAI طرز کے tools بھیجیں۔ router انہیں OpenAI-compatible providers کو دیتا ہے اور Gemini کے لیے ان کا ترجمہ کرتا ہے۔ جواب ہر provider کے لیے ایک ہی format میں واپس آتا ہے۔
ایک tool call اور آخری جواب
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)کچھ providers tool call کو سادہ متن کے طور پر واپس کرتے ہیں۔ FreeLLMAPI ان جوابات کو اصل tool_calls میں بدل دیتا ہے، اس لیے آپ کا کوڈ ایک ہی format پڑھتا ہے۔ ہمیشہ msg.tool_calls چیک کریں، msg.content پڑھنے سے پہلے، کیونکہ ماڈل بغیر tool کے بھی جواب دے سکتا ہے۔
tool calling والا ماڈل استعمال کریں۔ یہ مفت ماڈلز tools سپورٹ کرتے ہیں اور آج ناپی گئی سب سے تیز رفتار رکھتے ہیں:
| ماڈل | مفت دستیاب | سیاق و سباق | مفت حدیں (بہترین پیشکش) | ٹولز | ویژن |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 درخواستیں فی منٹ 250 درخواستیں فی دن 70,000 ٹوکن فی منٹ ~6M | ہاں | ہاں |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 درخواستیں فی منٹ 50 درخواستیں فی دن 50 req/day account-wide (1,000 after a $10 purchase) | ہاں | نہیں |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq +1 مزید | 131K | 30 درخواستیں فی منٹ 1,000 درخواستیں فی دن 8,000 ٹوکن فی منٹ 200,000 ٹوکن فی دن ~6M | ہاں | نہیں |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM +1 مزید | 131K | 30 درخواستیں فی منٹ 1,000 درخواستیں فی دن 8,000 ٹوکن فی منٹ 200,000 ٹوکن فی دن ~6M | ہاں | نہیں |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 درخواستیں فی منٹ 1,000 درخواستیں فی دن 8,000 ٹوکن فی منٹ 200,000 ٹوکن فی دن ~6M | ہاں | نہیں |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 درخواستیں فی منٹ 20 درخواستیں فی دن 250,000 ٹوکن فی منٹ ~3M | ہاں | ہاں |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | ہاں | ہاں |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 درخواستیں فی منٹ 5,000 درخواستیں فی دن 500,000 ٹوکن فی دن 500K tokens/day · 5,000 req/day | ہاں | ہاں |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 درخواستیں فی دن 200 rpd | ہاں | نہیں |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 درخواستیں فی منٹ 20 درخواستیں فی دن 250,000 ٹوکن فی منٹ ~3M | ہاں | ہاں |
146 میں سے 10 مماثل مفت ماڈلز دکھائے جا رہے ہیں۔ تمام ماڈلز دیکھیں.
FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔
مفت حدوں کے اندر async batches
AsyncOpenAI بیک وقت بہت سی requests بھیجتا ہے۔ مفت ٹیئرز فی منٹ requests کو محدود کرتے ہیں، اس لیے semaphore کے ساتھ concurrency محدود کریں۔ مثال میں جب ہر provider اپنی حد پر ہو تو دوبارہ کوشش بھی ہوتی ہے۔
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())router 429 تب لوٹاتا ہے جب chain کی ہر key اپنی حد پر ہو۔ پھر response میں Retry-After header ہوتا ہے۔ بڑے batches کے لیے چھوٹی semaphore قدر اور زیادہ provider keys بہترین نتائج دیتی ہیں۔
ہر کام کے لیے model string منتخب کریں
model string router کو بتاتی ہے کہ ماڈل کیسے منتخب کرنا ہے۔ آپ ہر کال میں مختلف string استعمال کر سکتے ہیں۔ dashboard بدلنے کی ضرورت نہیں۔
| کام | Model string | وجہ |
|---|---|---|
| صارفین کے لیے chat کے جوابات | auto | وہ fallback chain پیروی کرتا ہے جو آپ نے dashboard پر سیٹ کی |
| درجہ بندی، extraction، مختصر خلاصے | auto:fast | فعال ماڈلز کو ناپی گئی رفتار کے لحاظ سے ترتیب دیتا ہے |
| مشکل سوالات، code review، منصوبہ بندی | auto:smart | فعال ماڈلز کو ذہانت کے لحاظ سے ترتیب دیتا ہے |
| مقررہ کام جو لازماً مکمل ہوں | auto:reliable | فعال ماڈلز کو حالیہ کامیابی کی شرح کے لحاظ سے ترتیب دیتا ہے |
| ایک ایپ کے لیے الگ chain | auto:<profile> | نامزد fallback chain استعمال کرتا ہے |
| ایسے ٹیسٹ جو دہرائے جا سکیں | ایک مقررہ model ID | ہر بار وہی ماڈل، لیکن اس ماڈل کی حد پر رک جاتا ہے |
یہ دیکھنے کے لیے کہ آپ کی keys ابھی کن ماڈلز کو کال کر سکتی ہیں، فلٹر کے ساتھ ماڈلز کی فہرست مانگیں۔ مکمل فہرست میں وہ ماڈلز بھی ہیں جن کی ابھی کوئی key نہیں۔
وہ ماڈلز دکھائیں جو ابھی جواب دے سکتے ہیں
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])جس ماڈل کی حیثیت exhausted ہو، اس کی keys ہیں، لیکن وہ سب ابھی حد پر ہیں۔ cooldowns ختم ہونے پر یہ حیثیت صاف ہو جاتی ہے۔ جس ماڈل کی حیثیت needsKey ہو، اس کی کوئی فعال key نہیں۔
کسی گفتگو کے لیے X-Session-Id header بھیجیں، extra_headers کے ذریعے۔ تب FreeLLMAPI وہ گفتگو 30 منٹ تک ایک ہی ماڈل پر رکھتا ہے۔ header کے بغیر یہ پہلے user پیغام کا hash session key کے طور پر استعمال کرتا ہے۔
Embeddings
متن embed کریں
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")embedding کا failover کبھی ماڈل نہیں بدلتا۔ یہ صرف انہی providers کے درمیان جاتا ہے جو ایک ہی family دیتے ہیں، اس لیے آپ کے vectors مطابقت رکھتے ہیں۔ قدر auto dashboard پر آپ کی سیٹ کردہ ڈیفالٹ family استعمال کرتی ہے۔
ایک input فہرست میں بہت سے متن بھیجیں۔ 32 متن والی ایک request مفت حد میں ایک request گنی جاتی ہے، 32 نہیں۔ ہر متن کو family کی زیادہ سے زیادہ input حد کے اندر رکھیں۔ family کا نام اپنے vectors کے ساتھ محفوظ کریں، تاکہ بعد میں آپ سوالات کو اسی family سے embed کر سکیں۔
خرابیاں اور حل
| Exception | وجہ | حل |
|---|---|---|
openai.AuthenticationError | غلط unified key | Keys صفحے سے key دوبارہ کاپی کریں |
openai.APIConnectionError | FreeLLMAPI نہیں چل رہا، یا port غلط ہے | براؤزر میں http://localhost:3001 کھولیں |
openai.NotFoundError | base URL میں /v1 نہیں ہے | http://localhost:3001/v1 استعمال کریں |
openai.RateLimitError | chain کی تمام keys اپنی حد پر ہیں | providers شامل کریں، concurrency کم کریں، یا Retry-After کا انتظار کریں |
openai.BadRequestError، auto:name کے ساتھ | profile کا نام موجود نہیں | dashboard پر profile کا نام چیک کریں |
تصاویر کے ساتھ openai.UnprocessableEntityError (422) | آپ کی chain میں کوئی vision ماڈل نہیں | fallback chain میں ایک vision ماڈل فعال کریں |
مفت ٹیئرز کا کوئی SLA نہیں ہوتا۔ دن کے دوران latency بدلتی ہے۔ سب سے مضبوط ماڈلز پہلے اپنی روزانہ حد تک پہنچتے ہیں، اور بہت سی حدیں آدھی رات UTC کو reset ہوتی ہیں۔ کسی ایسی سروس کے لیے مفت gateway استعمال نہ کریں جسے طے شدہ وقت میں جواب دینا ہو۔
اکثر پوچھے گئے سوالات
کیا Python کے لیے مفت LLM API موجود ہے؟
ہاں۔ بہت سے providers کے مفت ٹیئرز ہیں جو openai Python پیکج کے ساتھ کام کرتے ہیں۔ FreeLLMAPI انہیں ایک base URL اور ایک key کے پیچھے جوڑتا ہے، اور providers کے درمیان failover ہوتا ہے۔
مختلف base URL کے ساتھ openai Python library کیسے استعمال کریں؟
OpenAI() یا AsyncOpenAI() کو base_url دیں، مثلاً base_url="http://localhost:3001/v1"۔ اپنی gateway key api_key کے طور پر دیں۔
Python میں rate limit errors کیسے سنبھالیں؟
کلائنٹ پر max_retries سیٹ کریں۔ openai.RateLimitError کو پکڑیں، Retry-After header پڑھیں اور انتظار کریں۔ asyncio semaphore کے ساتھ concurrency محدود کریں۔
کیا Python میں مفت LLM APIs کے ساتھ streaming کام کرتی ہے؟
ہاں۔ stream=True دیں اور chunk.choices[0].delta.content پڑھیں۔ FreeLLMAPI ہر provider کے لیے OpenAI format میں stream کرتا ہے۔
کیا میں مفت LLM API کے ساتھ async Python استعمال کر سکتا ہوں؟
ہاں۔ وہی base_url اور key کے ساتھ AsyncOpenAI استعمال کریں۔ متوازی requests کی تعداد کم رکھیں، کیونکہ مفت ٹیئرز فی منٹ requests کو محدود کرتے ہیں۔
متعلقہ گائیڈز
- مفت OpenAI سے مطابقت رکھنے والے API base URLs
- LangChain کے لیے مفت LLM API
- AI ایجنٹس کے لیے مفت LLM API
- فنکشن کالنگ کے ساتھ مفت LLM API
- مفت LLM API ریٹ حدیں
ماخذ
- OpenAI Python SDK README (async, retries, raw responses, errors) (20 November 2026 کو جانچا گیا)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (20 November 2026 کو جانچا گیا)
- FreeLLMAPI docs: degraded mode and failover (20 November 2026 کو جانچا گیا)