ہوم / گائیڈز / Python میں مفت LLM API

Python میں مفت LLM API

آفیشل openai Python پیکج ہر OpenAI-compatible API کے ساتھ کام کرتا ہے۔ آپ base URL اور key بدلتے ہیں۔ یہ گائیڈ FreeLLMAPI استعمال کرتی ہے، جو ایک key کے پیچھے 45 مفت provider ٹیئرز جمع کرتا ہے اور جب کوئی حد request کو روکتی ہے تو اگلے provider پر چلا جاتا ہے۔ نیچے ہر مثال مکمل ہے اور جوں کی توں چلتی ہے۔

کوڈ، ماڈل کے نام اور براہِ راست کیٹلاگ کے لیبل انگریزی میں دکھائے جاتے ہیں۔

ترتیب

FreeLLMAPI انسٹال کریں۔ یہ Docker میں چلتا ہے۔ http://localhost:3001 پر dashboard کھولیں، Keys صفحے پر دو یا زیادہ providers کی مفت keys شامل کریں اور unified key کاپی کریں۔ پھر Python پیکج انسٹال کریں۔

آپ کا Python کوڈ صرف unified key استعمال کرتا ہے۔ provider keys FreeLLMAPI میں رہتی ہیں، اس کے ڈیٹا بیس میں خفیہ شکل میں۔ اگر آپ کوئی provider key بدلیں یا شامل کریں تو آپ کو اپنا کوڈ نہیں بدلنا پڑتا۔

انسٹال

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

ماڈل auto dashboard پر آپ کی fallback chain کی پیروی کرتا ہے۔ آپ auto:fast، auto:smart یا auto:reliable، auto:coding جیسا profile، یا ایک مقررہ model ID بھی استعمال کر سکتے ہیں۔

Streaming اور response headers

جواب کو stream کریں

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

ہر response میں X-Routed-Via header ہوتا ہے، جس میں وہ provider اور ماڈل ہوتا ہے جس نے جواب دیا۔ SDK سے headers پڑھنے کے لیے with_raw_response استعمال کریں اور عام object حاصل کرنے کے لیے parse() کال کریں۔

routing headers پڑھیں

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

Tool calling

OpenAI طرز کے tools بھیجیں۔ router انہیں OpenAI-compatible providers کو دیتا ہے اور Gemini کے لیے ان کا ترجمہ کرتا ہے۔ جواب ہر provider کے لیے ایک ہی format میں واپس آتا ہے۔

ایک tool call اور آخری جواب

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

کچھ providers tool call کو سادہ متن کے طور پر واپس کرتے ہیں۔ FreeLLMAPI ان جوابات کو اصل tool_calls میں بدل دیتا ہے، اس لیے آپ کا کوڈ ایک ہی format پڑھتا ہے۔ ہمیشہ msg.tool_calls چیک کریں، msg.content پڑھنے سے پہلے، کیونکہ ماڈل بغیر tool کے بھی جواب دے سکتا ہے۔

tool calling والا ماڈل استعمال کریں۔ یہ مفت ماڈلز tools سپورٹ کرتے ہیں اور آج ناپی گئی سب سے تیز رفتار رکھتے ہیں:

tool calling والے تیز مفت ماڈلز
ماڈلمفت دستیابسیاق و سباقمفت حدیں (بہترین پیشکش)ٹولزویژن
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 درخواستیں فی منٹ
250 درخواستیں فی دن
70,000 ٹوکن فی منٹ
~6M
ہاںہاں
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 درخواستیں فی منٹ
50 درخواستیں فی دن
50 req/day account-wide (1,000 after a $10 purchase)
ہاںنہیں
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq +1 مزید131K30 درخواستیں فی منٹ
1,000 درخواستیں فی دن
8,000 ٹوکن فی منٹ
200,000 ٹوکن فی دن
~6M
ہاںنہیں
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM +1 مزید131K30 درخواستیں فی منٹ
1,000 درخواستیں فی دن
8,000 ٹوکن فی منٹ
200,000 ٹوکن فی دن
~6M
ہاںنہیں
GPT-OSS Safeguard 20BGroq131K30 درخواستیں فی منٹ
1,000 درخواستیں فی دن
8,000 ٹوکن فی منٹ
200,000 ٹوکن فی دن
~6M
ہاںنہیں
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 درخواستیں فی منٹ
20 درخواستیں فی دن
250,000 ٹوکن فی منٹ
~3M
ہاںہاں
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditہاںہاں
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 درخواستیں فی منٹ
5,000 درخواستیں فی دن
500,000 ٹوکن فی دن
500K tokens/day · 5,000 req/day
ہاںہاں
Nemotron 3.5 Lightning 30BRequesty1M200 درخواستیں فی دن
200 rpd
ہاںنہیں
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 درخواستیں فی منٹ
20 درخواستیں فی دن
250,000 ٹوکن فی منٹ
~3M
ہاںہاں

146 میں سے 10 مماثل مفت ماڈلز دکھائے جا رہے ہیں۔ تمام ماڈلز دیکھیں.

FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔

مفت حدوں کے اندر async batches

AsyncOpenAI بیک وقت بہت سی requests بھیجتا ہے۔ مفت ٹیئرز فی منٹ requests کو محدود کرتے ہیں، اس لیے semaphore کے ساتھ concurrency محدود کریں۔ مثال میں جب ہر provider اپنی حد پر ہو تو دوبارہ کوشش بھی ہوتی ہے۔

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

router 429 تب لوٹاتا ہے جب chain کی ہر key اپنی حد پر ہو۔ پھر response میں Retry-After header ہوتا ہے۔ بڑے batches کے لیے چھوٹی semaphore قدر اور زیادہ provider keys بہترین نتائج دیتی ہیں۔

ہر کام کے لیے model string منتخب کریں

model string router کو بتاتی ہے کہ ماڈل کیسے منتخب کرنا ہے۔ آپ ہر کال میں مختلف string استعمال کر سکتے ہیں۔ dashboard بدلنے کی ضرورت نہیں۔

کامModel stringوجہ
صارفین کے لیے chat کے جواباتautoوہ fallback chain پیروی کرتا ہے جو آپ نے dashboard پر سیٹ کی
درجہ بندی، extraction، مختصر خلاصےauto:fastفعال ماڈلز کو ناپی گئی رفتار کے لحاظ سے ترتیب دیتا ہے
مشکل سوالات، code review، منصوبہ بندیauto:smartفعال ماڈلز کو ذہانت کے لحاظ سے ترتیب دیتا ہے
مقررہ کام جو لازماً مکمل ہوںauto:reliableفعال ماڈلز کو حالیہ کامیابی کی شرح کے لحاظ سے ترتیب دیتا ہے
ایک ایپ کے لیے الگ chainauto:<profile>نامزد fallback chain استعمال کرتا ہے
ایسے ٹیسٹ جو دہرائے جا سکیںایک مقررہ model IDہر بار وہی ماڈل، لیکن اس ماڈل کی حد پر رک جاتا ہے

یہ دیکھنے کے لیے کہ آپ کی keys ابھی کن ماڈلز کو کال کر سکتی ہیں، فلٹر کے ساتھ ماڈلز کی فہرست مانگیں۔ مکمل فہرست میں وہ ماڈلز بھی ہیں جن کی ابھی کوئی key نہیں۔

وہ ماڈلز دکھائیں جو ابھی جواب دے سکتے ہیں

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

جس ماڈل کی حیثیت exhausted ہو، اس کی keys ہیں، لیکن وہ سب ابھی حد پر ہیں۔ cooldowns ختم ہونے پر یہ حیثیت صاف ہو جاتی ہے۔ جس ماڈل کی حیثیت needsKey ہو، اس کی کوئی فعال key نہیں۔

کسی گفتگو کے لیے X-Session-Id header بھیجیں، extra_headers کے ذریعے۔ تب FreeLLMAPI وہ گفتگو 30 منٹ تک ایک ہی ماڈل پر رکھتا ہے۔ header کے بغیر یہ پہلے user پیغام کا hash session key کے طور پر استعمال کرتا ہے۔

Embeddings

متن embed کریں

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

embedding کا failover کبھی ماڈل نہیں بدلتا۔ یہ صرف انہی providers کے درمیان جاتا ہے جو ایک ہی family دیتے ہیں، اس لیے آپ کے vectors مطابقت رکھتے ہیں۔ قدر auto dashboard پر آپ کی سیٹ کردہ ڈیفالٹ family استعمال کرتی ہے۔

ایک input فہرست میں بہت سے متن بھیجیں۔ 32 متن والی ایک request مفت حد میں ایک request گنی جاتی ہے، 32 نہیں۔ ہر متن کو family کی زیادہ سے زیادہ input حد کے اندر رکھیں۔ family کا نام اپنے vectors کے ساتھ محفوظ کریں، تاکہ بعد میں آپ سوالات کو اسی family سے embed کر سکیں۔

خرابیاں اور حل

Exceptionوجہحل
openai.AuthenticationErrorغلط unified keyKeys صفحے سے key دوبارہ کاپی کریں
openai.APIConnectionErrorFreeLLMAPI نہیں چل رہا، یا port غلط ہےبراؤزر میں http://localhost:3001 کھولیں
openai.NotFoundErrorbase URL میں /v1 نہیں ہےhttp://localhost:3001/v1 استعمال کریں
openai.RateLimitErrorchain کی تمام keys اپنی حد پر ہیںproviders شامل کریں، concurrency کم کریں، یا Retry-After کا انتظار کریں
openai.BadRequestError، auto:name کے ساتھprofile کا نام موجود نہیںdashboard پر profile کا نام چیک کریں
تصاویر کے ساتھ openai.UnprocessableEntityError (422)آپ کی chain میں کوئی vision ماڈل نہیںfallback chain میں ایک vision ماڈل فعال کریں

مفت ٹیئرز کا کوئی SLA نہیں ہوتا۔ دن کے دوران latency بدلتی ہے۔ سب سے مضبوط ماڈلز پہلے اپنی روزانہ حد تک پہنچتے ہیں، اور بہت سی حدیں آدھی رات UTC کو reset ہوتی ہیں۔ کسی ایسی سروس کے لیے مفت gateway استعمال نہ کریں جسے طے شدہ وقت میں جواب دینا ہو۔

ان سب کو ایک ہی کلید سے استعمال کریں۔ FreeLLMAPI ایک اوپن سورس، خود میزبانی والا راؤٹر ہے۔ یہ ان تمام مفت ٹائرز کو ایک ہی OpenAI سے ہم آہنگ اینڈ پوائنٹ کے پیچھے رکھتا ہے، اور جب کوئی ایک ریٹ لمٹ ہو جائے تو خودکار طور پر دوسرے پر منتقل ہو جاتا ہے۔ کیٹلاگ دیکھیں یا لائیو جائیں.

اکثر پوچھے گئے سوالات

کیا Python کے لیے مفت LLM API موجود ہے؟

ہاں۔ بہت سے providers کے مفت ٹیئرز ہیں جو openai Python پیکج کے ساتھ کام کرتے ہیں۔ FreeLLMAPI انہیں ایک base URL اور ایک key کے پیچھے جوڑتا ہے، اور providers کے درمیان failover ہوتا ہے۔

مختلف base URL کے ساتھ openai Python library کیسے استعمال کریں؟

OpenAI() یا AsyncOpenAI() کو base_url دیں، مثلاً base_url="http://localhost:3001/v1"۔ اپنی gateway key api_key کے طور پر دیں۔

Python میں rate limit errors کیسے سنبھالیں؟

کلائنٹ پر max_retries سیٹ کریں۔ openai.RateLimitError کو پکڑیں، Retry-After header پڑھیں اور انتظار کریں۔ asyncio semaphore کے ساتھ concurrency محدود کریں۔

کیا Python میں مفت LLM APIs کے ساتھ streaming کام کرتی ہے؟

ہاں۔ stream=True دیں اور chunk.choices[0].delta.content پڑھیں۔ FreeLLMAPI ہر provider کے لیے OpenAI format میں stream کرتا ہے۔

کیا میں مفت LLM API کے ساتھ async Python استعمال کر سکتا ہوں؟

ہاں۔ وہی base_url اور key کے ساتھ AsyncOpenAI استعمال کریں۔ متوازی requests کی تعداد کم رکھیں، کیونکہ مفت ٹیئرز فی منٹ requests کو محدود کرتے ہیں۔

متعلقہ گائیڈز

ماخذ

تمام گائیڈز · تمام مفت ماڈلز دیکھیں