AI एजेंट्स के लिए मुफ़्त LLM API
एक AI एजेंट एक कार्य के लिए कई मॉडल अनुरोध भेजता है। हर चरण को टूल कॉलिंग और बड़ा कॉन्टेक्स्ट चाहिए। एक मुफ़्त टियर एजेंट को जल्दी रोक देता है। FreeLLMAPI एक OpenAI-compatible कुंजी के पीछे 45 मुफ़्त प्रदाता टियर को जोड़ता है। जब कोई सीमा अनुरोध को रोकती है, तो यह अगले प्रदाता पर चला जाता है, ताकि एजेंट काम जारी रख सके। यह गाइड टूल कॉलिंग, हर चरण की रूटिंग, लंबे सत्र और राउटर के MCP सर्वर को समझाती है।
कोड, मॉडल नाम और लाइव कैटलॉग लेबल अंग्रेज़ी में दिखाए गए हैं।
मुफ़्त API से एजेंट को क्या चाहिए
| ज़रूरत | क्यों | FreeLLMAPI क्या करता है |
|---|---|---|
| टूल कॉलिंग | एजेंट टूल चुनता है और चलाता है | हर प्रदाता को OpenAI-style tools भेजता है। सादे-टेक्स्ट वाली टूल कॉल को असली tool_calls में बदलता है। |
| कई अनुरोध | एक कार्य में 20 से 100 चरण लग सकते हैं | हर कुंजी का कोटा गिनता है और 429 पर अगली कुंजी या प्रदाता पर जाता है |
| बड़ा कॉन्टेक्स्ट | हर चरण में टूल परिणाम और इतिहास बढ़ता है | आपकी चेन के मॉडलों पर रूट करता है। आप लंबे कॉन्टेक्स्ट वाली प्रोफ़ाइल बना सकते हैं। |
| स्थिर व्यवहार | कार्य के बीच मॉडल बदलने से एजेंट भ्रमित हो सकता है | एक सत्र को 30 मिनट तक एक ही मॉडल पर रखता है। बदलाव होने पर वैकल्पिक संदर्भ हैंडऑफ़ मिलता है। |
| दृश्यता | आपको पता होना चाहिए कि कौन सा मॉडल विफल हुआ | हर प्रतिक्रिया पर X-Routed-Via और X-Fallback-Trail हेडर |
मुफ़्त टियर की सीमाएँ होती हैं। फ़ेलओवर आपकी कुंजियों पर लोड बाँटता है, लेकिन कुल सीमा मुफ़्त सीमाओं का योग ही रहती है। एजेंट के काम के लिए चार या अधिक प्रदाताओं की कुंजियाँ जोड़ें।
| मॉडल | मुफ़्त उपलब्ध | कॉन्टेक्स्ट | मुफ़्त सीमाएँ (सबसे अच्छा विकल्प) | टूल | विज़न |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 अनुरोध/मिनट 1 req/min per model | हाँ | नहीं |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 अनुरोध/मिनट 40 RPM | हाँ | हाँ |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | हाँ | हाँ |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | हाँ | नहीं |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | हाँ | हाँ |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 अनुरोध/मिनट 20 अनुरोध/दिन 250,000 टोकन/मिनट ~3M | हाँ | हाँ |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | हाँ | हाँ |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 अनुरोध/मिनट 50 अनुरोध/दिन 50 req/day account-wide (1,000 after a $10 purchase) | हाँ | हाँ |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 अनुरोध/मिनट 50 अनुरोध/दिन Shared rate limit | हाँ | नहीं |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 अनुरोध/मिनट 250 अनुरोध/दिन 70,000 टोकन/मिनट ~6M | हाँ | हाँ |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 अनुरोध/मिनट 20 अनुरोध/दिन 250,000 टोकन/मिनट ~3M | हाँ | हाँ |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | हाँ | हाँ |
109 मिलते-जुलते मुफ़्त मॉडल में से 12 दिखाए जा रहे हैं। सभी मॉडल देखें.
FreeLLMAPI कैटलॉग से लाइव डेटा (संस्करण 2026.11.19, जाँच 2026-11-19)। मुफ़्त सीमाएँ अक्सर बदलती हैं। कैटलॉग की हर दिन जाँच होती है।
Python में पूरा एजेंट लूप
नीचे दिया लूप आधिकारिक OpenAI SDK इस्तेमाल करता है। यह टूल भेजता है, हर टूल कॉल चलाता है, परिणाम वापस भेजता है और जब मॉडल अंतिम उत्तर दे, तब रुकता है। यह चरणों की अधिकतम संख्या के बाद भी रुक जाता है।
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: जब तक उस मॉडल का कोटा है, एक कार्य के सभी चरण एक ही मॉडल पर रखता है।
- Retry-After: जब हर कुंजी अपनी सीमा पर हो, गेटवे यह हेडर लगाकर 429 लौटाता है। लूप इतनी देर रुकता है और फिर कोशिश करता है।
- टूल त्रुटियाँ: लूप त्रुटियों को टूल परिणाम के रूप में मॉडल को वापस भेजता है। इसके बाद मॉडल अपनी कॉल सुधार सकता है।
हर चरण को सही मॉडल पर भेजें
एजेंट के सभी चरण एक जैसे नहीं होते। योजना बनाने के चरण को मज़बूत मॉडल चाहिए। एक फ़ील्ड निकालने वाले चरण को तेज़ मॉडल चाहिए। हर चरण के प्रकार के लिए अलग मॉडल स्ट्रिंग इस्तेमाल करें। आपको डैशबोर्ड बदलने की ज़रूरत नहीं है।
| मॉडल स्ट्रिंग | मॉडल किस आधार पर क्रम में रखे जाते हैं | एजेंट में उपयोग |
|---|---|---|
auto:smart | बुद्धिमत्ता | योजना, टूल चयन, अंतिम उत्तर |
auto:fast | मापी गई गति और पहले बाइट का समय | निष्कर्षण, वर्गीकरण, टूल आउटपुट का छोटा सार |
auto:reliable | हाल की सफलता दर | निर्धारित एजेंट जिन्हें पूरा होना ज़रूरी है |
auto:balanced | पहले विश्वसनीयता, फिर गति और बुद्धिमत्ता | सामान्य डिफ़ॉल्ट |
auto:<profile> | आपकी नामित फ़ॉलबैक चेन | केवल टूल कॉलिंग वाले मॉडलों की चेन |
auto:* रणनीतियाँ सभी सक्षम मॉडलों को क्रम में रखती हैं और आपकी चेन के क्रम को अनदेखा करती हैं। टूल वाले अनुरोध को फिर भी टूल कॉलिंग वाला मॉडल चाहिए। यदि कुछ सक्षम मॉडल टूल को ठीक से सपोर्ट नहीं करते, तो केवल टूल कॉलिंग वाले मॉडलों की प्रोफ़ाइल बनाएँ। फिर टूल चरणों के लिए auto:<profile> इस्तेमाल करें। अज्ञात प्रोफ़ाइल नाम त्रुटि 400 लौटाता है।
हेडर X-FreeLLM-Task-Type: code एक अनुरोध के लिए रूटिंग भार को गति से बुद्धिमत्ता की ओर ले जाता है। यह एक नरम प्राथमिकता है। यह क्षमता जाँच या फ़ॉलबैक चेन नहीं बदलता।
लंबे एजेंट सत्र और मॉडल बदलाव
लंबे कार्य के दौरान एक मॉडल अपनी दैनिक सीमा तक पहुँच सकता है। तब राउटर दूसरे मॉडल पर चला जाता है। नए मॉडल को पूरा संदेश इतिहास मिलता है, लेकिन उसे यह नहीं पता कि पिछले चरण किसी और मॉडल ने किए थे।
मॉडल बदलने पर एक छोटा सिस्टम संदेश जोड़ने के लिए संदर्भ हैंडऑफ़ चालू करें। यह संदेश नए मॉडल से कहता है कि कार्य जारी रखे और पिछले टूल परिणाम बनाए रखे।
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- हैंडऑफ़ संदेश तभी जोड़ा जाता है, जब किसी सत्र के लिए चुना गया मॉडल बदलता है।
- सत्र 3 घंटे तक मेमोरी में रखे जाते हैं। कुछ भी डिस्क पर नहीं लिखा जाता।
- सत्र कुंजी
X-Session-Idहेडर है। हेडर न होने पर, यह पहले उपयोगकर्ता संदेश का हैश है।
राउटर को MCP सर्वर के रूप में उपयोग करें
FreeLLMAPI /mcp पर एक MCP सर्वर भी है। MCP बोलने वाला एजेंट FreeLLMAPI मॉडल को टेक्स्ट कार्य भेज सकता है। वह सत्र के दौरान गेटवे की स्थिति भी पढ़ सकता है: उपयोग योग्य मॉडल और उनके पैरामीटर, प्रदाता स्वास्थ्य, उपयोग और कैश आँकड़े, और रूटिंग रणनीति।
नए इंस्टॉल पर MCP सतह बंद होती है। इसे डैशबोर्ड में Keys पेज पर Agent compatibility के अंतर्गत चालू करें। बंद होने पर /mcp 403 लौटाता है।
Claude Code में MCP सर्वर जोड़ें
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Streamable HTTP वाला कोई भी MCP क्लाइंट इसी तरह काम करता है। उसे /mcp की ओर इंगित करें और एकीकृत कुंजी को Bearer टोकन के रूप में भेजें। उपयोगी टूल हैं healthcheck, list_models और ask_freellmapi। ask_freellmapi टूल एक कार्य को उसी चैट रूट से चलाता है जो API इस्तेमाल करता है, जिसमें रूटिंग और फ़ॉलबैक शामिल हैं।
कोडिंग एजेंट्स के लिए FreeLLMAPI में सेटअप कमांड हैं जो क्लाइंट कॉन्फ़िगरेशन अपने-आप लिखते हैं। उदाहरण हैं npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw और setup-hermes। हर कमांड --dry-run सपोर्ट करता है और पहले बैकअप बनाता है।
समस्या निवारण
| समस्या | कारण | समाधान |
|---|---|---|
| मॉडल टेक्स्ट में उत्तर देता है और कोई टूल कॉल नहीं करता | मॉडल की टूल कॉलिंग कमज़ोर है | केवल टूल कॉलिंग वाले मॉडलों के साथ auto:<profile> इस्तेमाल करें |
| एजेंट बीच में कार्य फिर से शुरू करता है | एक सीमा ने मॉडल बदलने पर मजबूर किया | X-Session-Id भेजें और संदर्भ हैंडऑफ़ चालू करें |
| कई चरणों के बाद त्रुटि 429 | चेन की सभी कुंजियाँ अपनी सीमा पर हैं | प्रदाता जोड़ें, छोटे चरणों के लिए auto:fast इस्तेमाल करें और Retry-After तक प्रतीक्षा करें |
auto:name के साथ त्रुटि 400 | प्रोफ़ाइल मौजूद नहीं है | डैशबोर्ड पर प्रोफ़ाइल का नाम जाँचें |
/mcp 403 लौटाता है | MCP सतह बंद है | Keys पेज पर Agent compatibility के अंतर्गत इसे चालू करें |
| कार्य में देर से संदर्भ की लंबाई की त्रुटियाँ | इतिहास मॉडल की विंडो से बड़ा है | पुराने टूल परिणामों का सार बनाएँ या लंबे कॉन्टेक्स्ट वाली प्रोफ़ाइल इस्तेमाल करें |
अक्सर पूछे जाने वाले प्रश्न
क्या AI एजेंट्स के लिए कोई मुफ़्त LLM API है?
हाँ। कई प्रदाताओं के पास टूल कॉलिंग वाले मुफ़्त टियर हैं। FreeLLMAPI उन्हें एक OpenAI-compatible कुंजी के पीछे जोड़ता है और जब कोई सीमा अनुरोध को रोकती है, तो अगले प्रदाता पर चला जाता है।
टूल कॉलिंग के लिए कौन सा मुफ़्त LLM सबसे अच्छा है?
ऐसा मॉडल इस्तेमाल करें जिसमें टूल कॉलिंग हो और कॉन्टेक्स्ट विंडो 128K टोकन या उससे अधिक हो। इस पेज की तालिका आज के सबसे मज़बूत मुफ़्त मॉडल दिखाती है जो दोनों नियम पूरे करते हैं।
क्या मैं FreeLLMAPI को MCP सर्वर के रूप में इस्तेमाल कर सकता हूँ?
हाँ। Keys पेज पर Agent compatibility के अंतर्गत MCP सतह चालू करें। फिर अपने MCP क्लाइंट को एकीकृत कुंजी के साथ Bearer टोकन के रूप में /mcp से जोड़ें।
मैं एजेंट को रेट सीमाओं पर विफल होने से कैसे रोकूँ?
अधिक प्रदाताओं की कुंजियाँ जोड़ें, छोटे चरण auto:fast को भेजें, Retry-After हेडर के साथ 429 पर रिट्राई करें और चरणों की अधिकतम संख्या तय करें।
एजेंट कार्य के बीच मॉडल बदलने पर क्या होता है?
नए मॉडल को पूरा संदेश इतिहास मिलता है। संदर्भ हैंडऑफ़ चालू होने पर उसे एक छोटा नोट भी मिलता है, जो उसे कार्य जारी रखने के लिए कहता है।
संबंधित गाइड
- Function calling वाला मुफ़्त LLM API
- Python में मुफ़्त LLM API
- LangChain के लिए मुफ़्त LLM API
- n8n के लिए मुफ़्त LLM API
- Claude Code मुफ़्त में कैसे उपयोग करें
- मुफ़्त LLM API रेट सीमाएँ
स्रोत
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (जाँचा गया 20 November 2026)
- FreeLLMAPI docs: clients, MCP server and context handoff (जाँचा गया 20 November 2026)
- OpenAI Python SDK: errors and retries (जाँचा गया 20 November 2026)
- Claude Code docs: MCP (जाँचा गया 20 November 2026)