AI ایجنٹس کے لیے مفت LLM API
ایک AI ایجنٹ ایک کام کے لیے بہت سی ماڈل درخواستیں بھیجتا ہے۔ ہر مرحلے کو ٹول کالنگ اور بڑے سیاق و سباق کی ضرورت ہوتی ہے۔ ایک مفت ٹائر ایجنٹ کو جلد روک دیتا ہے۔ FreeLLMAPI ایک OpenAI سے مطابقت رکھنے والی ایک کلید کے پیچھے 45 مفت فراہم کنندہ ٹائرز جمع کرتا ہے۔ جب کوئی حد درخواست کو روکتی ہے تو یہ اگلے فراہم کنندہ پر چلا جاتا ہے، تاکہ ایجنٹ جاری رہ سکے۔ اس گائیڈ میں ٹول کالنگ، ہر مرحلے کی روٹنگ، طویل سیشنز اور راؤٹر کا MCP سرور شامل ہے۔
کوڈ، ماڈل کے نام اور براہِ راست کیٹلاگ کے لیبل انگریزی میں دکھائے جاتے ہیں۔
مفت API سے ایجنٹ کو کیا چاہیے
| ضرورت | وجہ | FreeLLMAPI کیا کرتا ہے |
|---|---|---|
| ٹول کالنگ | ایجنٹ ٹولز منتخب کرتا ہے اور انہیں چلاتا ہے | ہر فراہم کنندہ کو OpenAI طرز کے tools بھیجتا ہے۔ سادہ متن والی ٹول کالز کو اصل tool_calls میں تبدیل کرتا ہے۔ |
| بہت سی درخواستیں | ایک کام میں 20 سے 100 مراحل لگ سکتے ہیں | ہر کلید کا کوٹا گنتا ہے اور 429 پر اگلی کلید یا فراہم کنندہ پر جاتا ہے |
| بڑا سیاق و سباق | ہر مرحلے پر ٹول کے نتائج اور تاریخ بڑھتے ہیں | آپ کی چین میں شامل ماڈلز پر روٹ کرتا ہے۔ آپ طویل سیاق و سباق کا پروفائل بنا سکتے ہیں۔ |
| مستحکم رویہ | کام کے دوران ماڈل بدلنے سے ایجنٹ الجھ سکتا ہے | سیشن کو 30 منٹ تک ایک ہی ماڈل پر رکھتا ہے۔ تبدیلی ہونے پر اختیاری سیاق و سباق کی منتقلی۔ |
| نظر آنے کی صلاحیت | آپ کو معلوم ہونا چاہیے کہ کون سا ماڈل ناکام ہوا | ہر جواب پر X-Routed-Via اور X-Fallback-Trail ہیڈرز |
مفت ٹائرز کی حدیں ہوتی ہیں۔ فال اوور آپ کی کلیدوں پر لوڈ تقسیم کرتا ہے، لیکن کل حد پھر بھی مفت حدوں کا مجموعہ ہے۔ ایجنٹ کے کام کے لیے چار یا زیادہ فراہم کنندگان کی کلیدیں شامل کریں۔
| ماڈل | مفت دستیاب | سیاق و سباق | مفت حدیں (بہترین پیشکش) | ٹولز | ویژن |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 درخواستیں فی منٹ 1 req/min per model | ہاں | نہیں |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 درخواستیں فی منٹ 40 RPM | ہاں | ہاں |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | ہاں | ہاں |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | ہاں | نہیں |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | ہاں | ہاں |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 درخواستیں فی منٹ 20 درخواستیں فی دن 250,000 ٹوکن فی منٹ ~3M | ہاں | ہاں |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | ہاں | ہاں |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 درخواستیں فی منٹ 50 درخواستیں فی دن 50 req/day account-wide (1,000 after a $10 purchase) | ہاں | ہاں |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 درخواستیں فی منٹ 50 درخواستیں فی دن Shared rate limit | ہاں | نہیں |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 درخواستیں فی منٹ 250 درخواستیں فی دن 70,000 ٹوکن فی منٹ ~6M | ہاں | ہاں |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 درخواستیں فی منٹ 20 درخواستیں فی دن 250,000 ٹوکن فی منٹ ~3M | ہاں | ہاں |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | ہاں | ہاں |
109 میں سے 12 مماثل مفت ماڈلز دکھائے جا رہے ہیں۔ تمام ماڈلز دیکھیں.
FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔
Python میں مکمل ایجنٹ لوپ
نیچے دیا گیا لوپ سرکاری OpenAI SDK استعمال کرتا ہے۔ یہ ٹولز بھیجتا ہے، ہر ٹول کال چلاتا ہے، نتیجہ واپس بھیجتا ہے اور جب ماڈل حتمی جواب دے تو رک جاتا ہے۔ یہ مراحل کی زیادہ سے زیادہ تعداد پوری ہونے پر بھی رک جاتا ہے۔
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: ایک کام کے تمام مراحل کو اس ماڈل پر رکھتا ہے، جب تک اس ماڈل کا کوٹا باقی ہو۔
- Retry-After: جب ہر کلید اپنی حد پر ہو تو گیٹ وے یہ ہیڈر کے ساتھ 429 دیتا ہے۔ لوپ انتظار کرتا ہے اور دوبارہ کوشش کرتا ہے۔
- ٹول کی غلطیاں: لوپ غلطیوں کو ٹول کے نتائج کے طور پر ماڈل کو واپس بھیجتا ہے۔ اس کے بعد ماڈل اپنی کال درست کر سکتا ہے۔
ہر مرحلے کو درست ماڈل پر روٹ کریں
ایجنٹ کے مراحل برابر نہیں ہوتے۔ منصوبہ بندی کے مرحلے کو مضبوط ماڈل چاہیے۔ ایک فیلڈ نکالنے والے مرحلے کو تیز ماڈل چاہیے۔ ہر قسم کے مرحلے کے لیے مختلف ماڈل سٹرنگ استعمال کریں۔ ڈیش بورڈ بدلنے کی ضرورت نہیں۔
| ماڈل سٹرنگ | ماڈلز کی درجہ بندی | ایجنٹ میں استعمال |
|---|---|---|
auto:smart | ذہانت | منصوبہ بندی، ٹول کا انتخاب، حتمی جوابات |
auto:fast | ناپی گئی رفتار اور پہلے بائٹ کا وقت | نکالنا، درجہ بندی، ٹول کے آؤٹ پٹ کا مختصر خلاصہ |
auto:reliable | حالیہ کامیابی کی شرح | شیڈول شدہ ایجنٹ جنہیں لازماً مکمل ہونا ہے |
auto:balanced | پہلے اعتماد، پھر رفتار اور ذہانت | عمومی ڈیفالٹ |
auto:<profile> | آپ کی نامزد فال بیک چین | صرف ٹول کالنگ والے ماڈلز کی چین |
auto:* حکمت عملیاں ہر فعال ماڈل کی درجہ بندی کرتی ہیں اور آپ کی چین کی ترتیب نظر انداز کرتی ہیں۔ ٹولز والی درخواست کو پھر بھی ٹول کالنگ والا ماڈل چاہیے۔ اگر کچھ فعال ماڈلز ٹولز کو اچھی طرح سپورٹ نہیں کرتے تو صرف ٹول کالنگ والے ماڈلز کا پروفائل بنائیں۔ پھر ٹول کے مراحل کے لیے auto:<profile> استعمال کریں۔ نامعلوم پروفائل کا نام غلطی 400 دیتا ہے۔
ہیڈر X-FreeLLM-Task-Type: code ایک درخواست کے لیے روٹنگ کا وزن رفتار سے ذہانت کی طرف لے جاتا ہے۔ یہ نرم ترجیح ہے۔ یہ صلاحیت کی جانچ یا فال بیک چین کو تبدیل نہیں کرتا۔
طویل ایجنٹ سیشنز اور ماڈل کی تبدیلی
طویل کام کے دوران ایک ماڈل اپنی یومیہ حد تک پہنچ سکتا ہے۔ اس کے بعد راؤٹر دوسرے ماڈل پر چلا جاتا ہے۔ نئے ماڈل کو پورا پیغامات کا سلسلہ ملتا ہے، لیکن وہ نہیں جانتا کہ پچھلے مراحل کسی اور ماڈل نے کیے تھے۔
جب ماڈل بدلے تو ایک مختصر سسٹم پیغام شامل کرنے کے لیے سیاق و سباق کی منتقلی فعال کریں۔ یہ پیغام نئے ماڈل کو بتاتا ہے کہ کام جاری رکھے اور پچھلے ٹول کے نتائج محفوظ رکھے۔
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- منتقلی کا پیغام صرف اس وقت شامل ہوتا ہے جب کسی سیشن کے لیے منتخب ماڈل بدلتا ہے۔
- سیشنز 3 گھنٹے تک میموری میں رہتے ہیں۔ کچھ بھی ڈسک پر نہیں لکھا جاتا۔
- سیشن کی کلید
X-Session-Idہیڈر ہے۔ ہیڈر کے بغیر، یہ پہلے صارف پیغام کا ہیش ہے۔
راؤٹر کو MCP سرور کے طور پر استعمال کریں
FreeLLMAPI /mcp پر ایک MCP سرور بھی ہے۔ MCP سے بات کرنے والا ایجنٹ FreeLLMAPI ماڈل کو متنی کام بھیج سکتا ہے۔ وہ سیشن کے دوران گیٹ وے کی حالت بھی پڑھ سکتا ہے: قابلِ استعمال ماڈلز اور ان کے پیرامیٹرز، فراہم کنندہ کی صحت، استعمال اور کیش کے اعداد و شمار، اور روٹنگ کی حکمت عملی۔
نئی انسٹالیشن پر MCP کی سطح بند ہوتی ہے۔ اسے ڈیش بورڈ میں Keys صفحے پر Agent compatibility کے تحت آن کریں۔ جب تک یہ بند ہے، /mcp 403 دیتا ہے۔
Claude Code میں MCP سرور شامل کریں
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Streamable HTTP والا کوئی بھی MCP کلائنٹ اسی طرح کام کرتا ہے۔ اسے /mcp کی طرف اشارہ کریں اور متحد کلید کو Bearer ٹوکن کے طور پر بھیجیں۔ مفید ٹولز میں healthcheck، list_models اور ask_freellmapi شامل ہیں۔ ask_freellmapi ٹول ایک کام کو اسی چیٹ راستے سے چلاتا ہے جو API استعمال کرتا ہے، روٹنگ اور فال بیک کے ساتھ۔
کوڈنگ ایجنٹس کے لیے، FreeLLMAPI میں سیٹ اپ کمانڈز ہیں جو آپ کے لیے کلائنٹ کی کنفیگریشن لکھتی ہیں۔ مثالیں یہ ہیں: npx freellmapi setup-claude، setup-codex، setup-cline، setup-openclaw اور setup-hermes۔ ہر کمانڈ --dry-run سپورٹ کرتی ہے اور پہلے بیک اپ بناتی ہے۔
خرابیوں کا ازالہ
| مسئلہ | وجہ | حل |
|---|---|---|
| ماڈل متن میں جواب دیتا ہے اور کوئی ٹول کال نہیں کرتا | ماڈل کی ٹول کالنگ کمزور ہے | صرف ٹول کالنگ والے ماڈلز کے ساتھ auto:<profile> استعمال کریں |
| ایجنٹ کام درمیان سے دوبارہ شروع کرتا ہے | ایک حد نے ماڈل بدلنے پر مجبور کیا | X-Session-Id بھیجیں اور سیاق و سباق کی منتقلی آن کریں |
| بہت سے مراحل کے بعد غلطی 429 | چین کی تمام کلیدیں اپنی حد پر ہیں | فراہم کنندگان شامل کریں، چھوٹے مراحل کے لیے auto:fast استعمال کریں اور Retry-After کا انتظار کریں |
auto:name کے ساتھ غلطی 400 | پروفائل موجود نہیں ہے | ڈیش بورڈ پر پروفائل کا نام چیک کریں |
/mcp 403 دیتا ہے | MCP کی سطح بند ہے | Keys صفحے پر Agent compatibility کے تحت اسے آن کریں |
| کام کے آخر میں سیاق و سباق کی لمبائی کی غلطیاں | تاریخ ماڈل کی ونڈو سے بڑی ہے | پرانے ٹول کے نتائج کا خلاصہ کریں یا طویل سیاق و سباق کا پروفائل استعمال کریں |
اکثر پوچھے گئے سوالات
کیا AI ایجنٹس کے لیے کوئی مفت LLM API ہے؟
ہاں۔ کئی فراہم کنندگان کے پاس ٹول کالنگ کے ساتھ مفت ٹائرز ہیں۔ FreeLLMAPI انہیں ایک OpenAI سے مطابقت رکھنے والی کلید کے پیچھے جوڑتا ہے اور جب کوئی حد درخواست روکتی ہے تو اگلے فراہم کنندہ پر چلا جاتا ہے۔
ٹول کالنگ کے لیے کون سا مفت LLM بہترین ہے؟
ایسا ماڈل استعمال کریں جس میں ٹول کالنگ ہو اور سیاق و سباق کی ونڈو 128K ٹوکنز یا اس سے زیادہ ہو۔ اس صفحے کا جدول آج کے طاقتور ترین مفت ماڈلز دکھاتا ہے جو دونوں اصولوں پر پورے اترتے ہیں۔
کیا میں FreeLLMAPI کو MCP سرور کے طور پر استعمال کر سکتا ہوں؟
ہاں۔ Keys صفحے پر Agent compatibility کے تحت MCP کی سطح آن کریں۔ پھر اپنے MCP کلائنٹ کو متحد کلید کے ساتھ Bearer ٹوکن کے طور پر /mcp سے جوڑیں۔
میں ایجنٹ کو ریٹ حدوں پر ناکام ہونے سے کیسے روکوں؟
زیادہ فراہم کنندگان کی کلیدیں شامل کریں، چھوٹے مراحل auto:fast کو بھیجیں، Retry-After ہیڈر کے ساتھ 429 پر دوبارہ کوشش کریں اور مراحل کی زیادہ سے زیادہ تعداد مقرر کریں۔
ایجنٹ کے کام کے درمیان ماڈل بدلنے پر کیا ہوتا ہے؟
نئے ماڈل کو پیغامات کا پورا سلسلہ ملتا ہے۔ سیاق و سباق کی منتقلی آن ہونے پر اسے ایک مختصر نوٹ بھی ملتا ہے جو اسے کام جاری رکھنے کو کہتا ہے۔
متعلقہ گائیڈز
- فنکشن کالنگ کے ساتھ مفت LLM API
- Python میں مفت LLM API
- LangChain کے لیے مفت LLM API
- n8n کے لیے مفت LLM API
- Claude Code مفت میں کیسے استعمال کریں
- مفت LLM API ریٹ حدیں
ماخذ
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (20 November 2026 کو جانچا گیا)
- FreeLLMAPI docs: clients, MCP server and context handoff (20 November 2026 کو جانچا گیا)
- OpenAI Python SDK: errors and retries (20 November 2026 کو جانچا گیا)
- Claude Code docs: MCP (20 November 2026 کو جانچا گیا)