होम / गाइड / AI एजेंट्स के लिए मुफ़्त LLM API

AI एजेंट्स के लिए मुफ़्त LLM API

एक AI एजेंट एक कार्य के लिए कई मॉडल अनुरोध भेजता है। हर चरण को टूल कॉलिंग और बड़ा कॉन्टेक्स्ट चाहिए। एक मुफ़्त टियर एजेंट को जल्दी रोक देता है। FreeLLMAPI एक OpenAI-compatible कुंजी के पीछे 45 मुफ़्त प्रदाता टियर को जोड़ता है। जब कोई सीमा अनुरोध को रोकती है, तो यह अगले प्रदाता पर चला जाता है, ताकि एजेंट काम जारी रख सके। यह गाइड टूल कॉलिंग, हर चरण की रूटिंग, लंबे सत्र और राउटर के MCP सर्वर को समझाती है।

कोड, मॉडल नाम और लाइव कैटलॉग लेबल अंग्रेज़ी में दिखाए गए हैं।

मुफ़्त API से एजेंट को क्या चाहिए

ज़रूरतक्योंFreeLLMAPI क्या करता है
टूल कॉलिंगएजेंट टूल चुनता है और चलाता हैहर प्रदाता को OpenAI-style tools भेजता है। सादे-टेक्स्ट वाली टूल कॉल को असली tool_calls में बदलता है।
कई अनुरोधएक कार्य में 20 से 100 चरण लग सकते हैंहर कुंजी का कोटा गिनता है और 429 पर अगली कुंजी या प्रदाता पर जाता है
बड़ा कॉन्टेक्स्टहर चरण में टूल परिणाम और इतिहास बढ़ता हैआपकी चेन के मॉडलों पर रूट करता है। आप लंबे कॉन्टेक्स्ट वाली प्रोफ़ाइल बना सकते हैं।
स्थिर व्यवहारकार्य के बीच मॉडल बदलने से एजेंट भ्रमित हो सकता हैएक सत्र को 30 मिनट तक एक ही मॉडल पर रखता है। बदलाव होने पर वैकल्पिक संदर्भ हैंडऑफ़ मिलता है।
दृश्यताआपको पता होना चाहिए कि कौन सा मॉडल विफल हुआहर प्रतिक्रिया पर X-Routed-Via और X-Fallback-Trail हेडर

मुफ़्त टियर की सीमाएँ होती हैं। फ़ेलओवर आपकी कुंजियों पर लोड बाँटता है, लेकिन कुल सीमा मुफ़्त सीमाओं का योग ही रहती है। एजेंट के काम के लिए चार या अधिक प्रदाताओं की कुंजियाँ जोड़ें।

टूल कॉलिंग और 128K+ कॉन्टेक्स्ट वाले मुफ़्त मॉडल
मॉडलमुफ़्त उपलब्धकॉन्टेक्स्टमुफ़्त सीमाएँ (सबसे अच्छा विकल्प)टूलविज़न
GLM 5.3UnoRouter1M1 अनुरोध/मिनट
1 req/min per model
हाँनहीं
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 अनुरोध/मिनट
40 RPM
हाँहाँ
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaहाँहाँ
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceहाँनहीं
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditहाँहाँ
Gemini 3.7 FlashGoogle AI Studio1M10 अनुरोध/मिनट
20 अनुरोध/दिन
250,000 टोकन/मिनट
~3M
हाँहाँ
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditहाँहाँ
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 अनुरोध/मिनट
50 अनुरोध/दिन
50 req/day account-wide (1,000 after a $10 purchase)
हाँहाँ
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 अनुरोध/मिनट
50 अनुरोध/दिन
Shared rate limit
हाँनहीं
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 अनुरोध/मिनट
250 अनुरोध/दिन
70,000 टोकन/मिनट
~6M
हाँहाँ
Gemini 3.6 FlashGoogle AI Studio1M10 अनुरोध/मिनट
20 अनुरोध/दिन
250,000 टोकन/मिनट
~3M
हाँहाँ
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayहाँहाँ

109 मिलते-जुलते मुफ़्त मॉडल में से 12 दिखाए जा रहे हैं। सभी मॉडल देखें.

FreeLLMAPI कैटलॉग से लाइव डेटा (संस्करण 2026.11.19, जाँच 2026-11-19)। मुफ़्त सीमाएँ अक्सर बदलती हैं। कैटलॉग की हर दिन जाँच होती है।

Python में पूरा एजेंट लूप

नीचे दिया लूप आधिकारिक OpenAI SDK इस्तेमाल करता है। यह टूल भेजता है, हर टूल कॉल चलाता है, परिणाम वापस भेजता है और जब मॉडल अंतिम उत्तर दे, तब रुकता है। यह चरणों की अधिकतम संख्या के बाद भी रुक जाता है।

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: जब तक उस मॉडल का कोटा है, एक कार्य के सभी चरण एक ही मॉडल पर रखता है।
  • Retry-After: जब हर कुंजी अपनी सीमा पर हो, गेटवे यह हेडर लगाकर 429 लौटाता है। लूप इतनी देर रुकता है और फिर कोशिश करता है।
  • टूल त्रुटियाँ: लूप त्रुटियों को टूल परिणाम के रूप में मॉडल को वापस भेजता है। इसके बाद मॉडल अपनी कॉल सुधार सकता है।

हर चरण को सही मॉडल पर भेजें

एजेंट के सभी चरण एक जैसे नहीं होते। योजना बनाने के चरण को मज़बूत मॉडल चाहिए। एक फ़ील्ड निकालने वाले चरण को तेज़ मॉडल चाहिए। हर चरण के प्रकार के लिए अलग मॉडल स्ट्रिंग इस्तेमाल करें। आपको डैशबोर्ड बदलने की ज़रूरत नहीं है।

मॉडल स्ट्रिंगमॉडल किस आधार पर क्रम में रखे जाते हैंएजेंट में उपयोग
auto:smartबुद्धिमत्तायोजना, टूल चयन, अंतिम उत्तर
auto:fastमापी गई गति और पहले बाइट का समयनिष्कर्षण, वर्गीकरण, टूल आउटपुट का छोटा सार
auto:reliableहाल की सफलता दरनिर्धारित एजेंट जिन्हें पूरा होना ज़रूरी है
auto:balancedपहले विश्वसनीयता, फिर गति और बुद्धिमत्तासामान्य डिफ़ॉल्ट
auto:<profile>आपकी नामित फ़ॉलबैक चेनकेवल टूल कॉलिंग वाले मॉडलों की चेन

auto:* रणनीतियाँ सभी सक्षम मॉडलों को क्रम में रखती हैं और आपकी चेन के क्रम को अनदेखा करती हैं। टूल वाले अनुरोध को फिर भी टूल कॉलिंग वाला मॉडल चाहिए। यदि कुछ सक्षम मॉडल टूल को ठीक से सपोर्ट नहीं करते, तो केवल टूल कॉलिंग वाले मॉडलों की प्रोफ़ाइल बनाएँ। फिर टूल चरणों के लिए auto:<profile> इस्तेमाल करें। अज्ञात प्रोफ़ाइल नाम त्रुटि 400 लौटाता है।

हेडर X-FreeLLM-Task-Type: code एक अनुरोध के लिए रूटिंग भार को गति से बुद्धिमत्ता की ओर ले जाता है। यह एक नरम प्राथमिकता है। यह क्षमता जाँच या फ़ॉलबैक चेन नहीं बदलता।

लंबे एजेंट सत्र और मॉडल बदलाव

लंबे कार्य के दौरान एक मॉडल अपनी दैनिक सीमा तक पहुँच सकता है। तब राउटर दूसरे मॉडल पर चला जाता है। नए मॉडल को पूरा संदेश इतिहास मिलता है, लेकिन उसे यह नहीं पता कि पिछले चरण किसी और मॉडल ने किए थे।

मॉडल बदलने पर एक छोटा सिस्टम संदेश जोड़ने के लिए संदर्भ हैंडऑफ़ चालू करें। यह संदेश नए मॉडल से कहता है कि कार्य जारी रखे और पिछले टूल परिणाम बनाए रखे।

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • हैंडऑफ़ संदेश तभी जोड़ा जाता है, जब किसी सत्र के लिए चुना गया मॉडल बदलता है।
  • सत्र 3 घंटे तक मेमोरी में रखे जाते हैं। कुछ भी डिस्क पर नहीं लिखा जाता।
  • सत्र कुंजी X-Session-Id हेडर है। हेडर न होने पर, यह पहले उपयोगकर्ता संदेश का हैश है।

राउटर को MCP सर्वर के रूप में उपयोग करें

FreeLLMAPI /mcp पर एक MCP सर्वर भी है। MCP बोलने वाला एजेंट FreeLLMAPI मॉडल को टेक्स्ट कार्य भेज सकता है। वह सत्र के दौरान गेटवे की स्थिति भी पढ़ सकता है: उपयोग योग्य मॉडल और उनके पैरामीटर, प्रदाता स्वास्थ्य, उपयोग और कैश आँकड़े, और रूटिंग रणनीति।

नए इंस्टॉल पर MCP सतह बंद होती है। इसे डैशबोर्ड में Keys पेज पर Agent compatibility के अंतर्गत चालू करें। बंद होने पर /mcp 403 लौटाता है।

Claude Code में MCP सर्वर जोड़ें

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Streamable HTTP वाला कोई भी MCP क्लाइंट इसी तरह काम करता है। उसे /mcp की ओर इंगित करें और एकीकृत कुंजी को Bearer टोकन के रूप में भेजें। उपयोगी टूल हैं healthcheck, list_models और ask_freellmapi। ask_freellmapi टूल एक कार्य को उसी चैट रूट से चलाता है जो API इस्तेमाल करता है, जिसमें रूटिंग और फ़ॉलबैक शामिल हैं।

कोडिंग एजेंट्स के लिए FreeLLMAPI में सेटअप कमांड हैं जो क्लाइंट कॉन्फ़िगरेशन अपने-आप लिखते हैं। उदाहरण हैं npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw और setup-hermes। हर कमांड --dry-run सपोर्ट करता है और पहले बैकअप बनाता है।

समस्या निवारण

समस्याकारणसमाधान
मॉडल टेक्स्ट में उत्तर देता है और कोई टूल कॉल नहीं करतामॉडल की टूल कॉलिंग कमज़ोर हैकेवल टूल कॉलिंग वाले मॉडलों के साथ auto:<profile> इस्तेमाल करें
एजेंट बीच में कार्य फिर से शुरू करता हैएक सीमा ने मॉडल बदलने पर मजबूर कियाX-Session-Id भेजें और संदर्भ हैंडऑफ़ चालू करें
कई चरणों के बाद त्रुटि 429चेन की सभी कुंजियाँ अपनी सीमा पर हैंप्रदाता जोड़ें, छोटे चरणों के लिए auto:fast इस्तेमाल करें और Retry-After तक प्रतीक्षा करें
auto:name के साथ त्रुटि 400प्रोफ़ाइल मौजूद नहीं हैडैशबोर्ड पर प्रोफ़ाइल का नाम जाँचें
/mcp 403 लौटाता हैMCP सतह बंद हैKeys पेज पर Agent compatibility के अंतर्गत इसे चालू करें
कार्य में देर से संदर्भ की लंबाई की त्रुटियाँइतिहास मॉडल की विंडो से बड़ा हैपुराने टूल परिणामों का सार बनाएँ या लंबे कॉन्टेक्स्ट वाली प्रोफ़ाइल इस्तेमाल करें
इनमें से हर एक का उपयोग एक ही कुंजी से करें। FreeLLMAPI एक ओपन-सोर्स, सेल्फ़-होस्टेड राउटर है। यह इन सभी मुफ़्त टियर को एक OpenAI-संगत एंडपॉइंट के पीछे रखता है। जब कोई एक सीमा पर पहुँचता है, तो यह अगले प्रदाता पर स्विच कर देता है। कैटलॉग देखें या शुरू करें.

अक्सर पूछे जाने वाले प्रश्न

क्या AI एजेंट्स के लिए कोई मुफ़्त LLM API है?

हाँ। कई प्रदाताओं के पास टूल कॉलिंग वाले मुफ़्त टियर हैं। FreeLLMAPI उन्हें एक OpenAI-compatible कुंजी के पीछे जोड़ता है और जब कोई सीमा अनुरोध को रोकती है, तो अगले प्रदाता पर चला जाता है।

टूल कॉलिंग के लिए कौन सा मुफ़्त LLM सबसे अच्छा है?

ऐसा मॉडल इस्तेमाल करें जिसमें टूल कॉलिंग हो और कॉन्टेक्स्ट विंडो 128K टोकन या उससे अधिक हो। इस पेज की तालिका आज के सबसे मज़बूत मुफ़्त मॉडल दिखाती है जो दोनों नियम पूरे करते हैं।

क्या मैं FreeLLMAPI को MCP सर्वर के रूप में इस्तेमाल कर सकता हूँ?

हाँ। Keys पेज पर Agent compatibility के अंतर्गत MCP सतह चालू करें। फिर अपने MCP क्लाइंट को एकीकृत कुंजी के साथ Bearer टोकन के रूप में /mcp से जोड़ें।

मैं एजेंट को रेट सीमाओं पर विफल होने से कैसे रोकूँ?

अधिक प्रदाताओं की कुंजियाँ जोड़ें, छोटे चरण auto:fast को भेजें, Retry-After हेडर के साथ 429 पर रिट्राई करें और चरणों की अधिकतम संख्या तय करें।

एजेंट कार्य के बीच मॉडल बदलने पर क्या होता है?

नए मॉडल को पूरा संदेश इतिहास मिलता है। संदर्भ हैंडऑफ़ चालू होने पर उसे एक छोटा नोट भी मिलता है, जो उसे कार्य जारी रखने के लिए कहता है।

संबंधित गाइड

स्रोत

सभी गाइड · सभी मुफ़्त मॉडल देखें