मुख्यपृष्ठ / मार्गदर्शक / AI एजंटसाठी मोफत LLM API

AI एजंटसाठी मोफत LLM API

AI एजंट एका कार्यासाठी अनेक मॉडेल विनंत्या पाठवतो. प्रत्येक पायरीला टूल कॉलिंग आणि मोठा संदर्भ लागतो. एक मोफत टियर एजंटला लवकर थांबवतो. FreeLLMAPI 45 मोफत प्रदाता टियर एका OpenAI-सुसंगत कीमागे एकत्र ठेवते. एखाद्या मर्यादेमुळे विनंती थांबल्यास ते पुढच्या प्रदात्याकडे जाते, म्हणून एजंट चालू राहू शकतो. हे मार्गदर्शक टूल कॉलिंग, प्रत्येक पायरीसाठी राउटिंग, दीर्घ सत्रे आणि राउटरचा MCP सर्व्हर यांची माहिती देते.

कोड, मॉडेलची नावे आणि थेट कॅटलॉग लेबल इंग्रजीत दाखवले जातात.

मोफत API कडून एजंटला काय हवे

गरजकाFreeLLMAPI काय करते
टूल कॉलिंगएजंट टूल निवडतो आणि चालवतोप्रत्येक प्रदात्याला OpenAI-शैलीतील tools पाठवते. साध्या मजकुरातील टूल कॉल्सचे रूपांतर खऱ्या tool_calls मध्ये करते.
अनेक विनंत्याएका कार्याला 20 ते 100 पायऱ्या लागू शकतातप्रत्येक कीचा कोटा मोजते आणि 429 आल्यावर पुढच्या कीकडे किंवा प्रदात्याकडे जाते
मोठा संदर्भटूल निकाल आणि इतिहास प्रत्येक पायरीत वाढतोतुमच्या साखळीतील मॉडेल्सकडे पाठवते. तुम्ही दीर्घ-संदर्भ प्रोफाइल तयार करू शकता.
स्थिर वर्तनकार्याच्या मध्येच मॉडेल बदलल्यास एजंट गोंधळू शकतो30 मिनिटे सत्र एकाच मॉडेलवर ठेवते. बदल झाल्यास पर्यायी संदर्भ हस्तांतरण.
दृश्यमानताकोणते मॉडेल अयशस्वी झाले हे तुम्हाला कळले पाहिजेप्रत्येक उत्तरावर X-Routed-Via आणि X-Fallback-Trail हेडर

मोफत टियरला मर्यादा असतात. फेलओव्हरमुळे भार तुमच्या कीवर विभागला जातो, पण एकूण मर्यादा अजूनही मोफत मर्यादांची बेरीज असते. एजंट कामासाठी चार किंवा अधिक प्रदात्यांच्या की जोडा.

टूल कॉलिंग आणि 128K+ संदर्भ असलेली मोफत मॉडेल्स
मॉडेलमोफत उपलब्धसंदर्भमोफत मर्यादा (सर्वोत्तम ऑफर)साधनेव्हिजन
GLM 5.3UnoRouter1M1 विनंत्या/मिनिट
1 req/min per model
होयनाही
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 विनंत्या/मिनिट
40 RPM
होयहोय
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaहोयहोय
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceहोयनाही
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditहोयहोय
Gemini 3.7 FlashGoogle AI Studio1M10 विनंत्या/मिनिट
20 विनंत्या/दिवस
250,000 टोकन/मिनिट
~3M
होयहोय
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditहोयहोय
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 विनंत्या/मिनिट
50 विनंत्या/दिवस
50 req/day account-wide (1,000 after a $10 purchase)
होयहोय
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 विनंत्या/मिनिट
50 विनंत्या/दिवस
Shared rate limit
होयनाही
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 विनंत्या/मिनिट
250 विनंत्या/दिवस
70,000 टोकन/मिनिट
~6M
होयहोय
Gemini 3.6 FlashGoogle AI Studio1M10 विनंत्या/मिनिट
20 विनंत्या/दिवस
250,000 टोकन/मिनिट
~3M
होयहोय
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayहोयहोय

जुळणाऱ्या 109 मोफत मॉडेलपैकी 12 दाखवले जात आहेत. सर्व मॉडेल पहा.

FreeLLMAPI कॅटलॉगमधील थेट डेटा (आवृत्ती 2026.11.19, तपासले 2026-11-19). मोफत मर्यादा वारंवार बदलतात. कॅटलॉग दररोज तपासले जाते.

Python मधील पूर्ण एजंट लूप

खालील लूप अधिकृत OpenAI SDK वापरतो. तो टूल्स पाठवतो, प्रत्येक टूल कॉल चालवतो, निकाल परत पाठवतो आणि मॉडेल अंतिम उत्तर देते तेव्हा थांबतो. तो जास्तीत जास्त पायऱ्यांनंतरही थांबतो.

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: मॉडेलकडे कोटा असेपर्यंत एका कार्याच्या सर्व पायऱ्या एकाच मॉडेलवर ठेवते.
  • Retry-After: प्रत्येक की मर्यादेवर असल्यास गेटवे हे हेडर देऊन 429 परत करतो. लूप थांबतो आणि पुन्हा प्रयत्न करतो.
  • टूल त्रुटी: लूप त्रुटी टूल निकाल म्हणून मॉडेलला परत पाठवतो. मग मॉडेल आपला कॉल दुरुस्त करू शकते.

प्रत्येक पायरी योग्य मॉडेलकडे पाठवा

एजंटच्या सर्व पायऱ्या सारख्या नसतात. नियोजन पायरीला बलवान मॉडेल लागते. एक फील्ड काढणाऱ्या पायरीला जलद मॉडेल लागते. प्रत्येक पायरी प्रकारासाठी वेगळी मॉडेल स्ट्रिंग वापरा. डॅशबोर्ड बदलण्याची गरज नाही.

मॉडेल स्ट्रिंगमॉडेल्सचा क्रम लावतेएजंट वापर
auto:smartबुद्धिमत्तानियोजन, टूल निवड, अंतिम उत्तरे
auto:fastमोजलेला वेग आणि पहिल्या बाइटपर्यंतचा वेळकाढणे, वर्गीकरण, टूल आउटपुटचे लहान सारांश
auto:reliableअलीकडील यशाचा दरज्या शेड्युल्ड एजंटने पूर्ण झालेच पाहिजे
auto:balancedप्रथम विश्वासार्हता, मग वेग आणि बुद्धिमत्तासामान्य डीफॉल्ट
auto:<profile>तुमची नावाची फॉलबॅक साखळीफक्त टूल-कॉलिंग मॉडेल असलेली साखळी

auto:* धोरणे सर्व सक्षम मॉडेल्सचा क्रम लावतात आणि तुमच्या साखळीचा क्रम दुर्लक्षित करतात. टूल्स असलेल्या विनंतीला अजूनही टूल कॉलिंग असलेले मॉडेल लागते. काही सक्षम मॉडेल्स टूल्स नीट हाताळत नसल्यास फक्त टूल-कॉलिंग मॉडेल्स असलेले प्रोफाइल तयार करा. मग टूल पायऱ्यांसाठी auto:<profile> वापरा. अज्ञात प्रोफाइल नाव त्रुटी 400 परत करते.

X-FreeLLM-Task-Type: code हेडर एका विनंतीसाठी राउटिंग वजन वेगातून बुद्धिमत्तेकडे हलवते. ही मृदू प्राधान्य आहे. ती क्षमता तपासणी किंवा फॉलबॅक साखळी बदलत नाही.

दीर्घ एजंट सत्रे आणि मॉडेल बदल

दीर्घ कामादरम्यान एखादे मॉडेल दैनिक मर्यादेपर्यंत पोहोचू शकते. मग राउटर दुसऱ्या मॉडेलकडे जातो. नवीन मॉडेलला संपूर्ण संदेश इतिहास मिळतो, पण आधीच्या पायऱ्या दुसऱ्या मॉडेलने केल्या होत्या हे त्याला माहीत नसते.

मॉडेल बदलल्यावर एक लहान सिस्टम संदेश जोडण्यासाठी संदर्भ हस्तांतरण चालू करा. तो संदेश नवीन मॉडेलला कार्य पुढे चालू ठेवण्यास आणि आधीचे टूल निकाल जपण्यास सांगतो.

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • सत्रासाठी निवडलेले मॉडेल बदलते तेव्हाच हस्तांतरण संदेश जोडला जातो.
  • सत्रे 3 तास स्मृतीत ठेवली जातात. काहीही डिस्कवर लिहिले जात नाही.
  • सत्र की म्हणजे X-Session-Id हेडर. हेडर नसल्यास ती पहिल्या वापरकर्ता संदेशाचा हॅश असते.

राउटरचा MCP सर्व्हर म्हणून वापर करा

FreeLLMAPI /mcp वर MCP सर्व्हर म्हणूनही काम करते. MCP बोलणारा एजंट FreeLLMAPI मॉडेलला मजकूर कार्य पाठवू शकतो. तो सत्रादरम्यान गेटवेची स्थितीही वाचू शकतो: वापरता येणारी मॉडेल्स आणि त्यांचे पॅरामीटर्स, प्रदात्यांची स्थिती, वापर आणि कॅशे आकडेवारी, आणि राउटिंग धोरण.

नवीन इन्स्टॉलवर MCP सुविधा बंद असते. डॅशबोर्डमधील Keys पेजवर Agent compatibility अंतर्गत ती चालू करा. ती बंद असताना /mcp 403 परत करते.

Claude Code मध्ये MCP सर्व्हर जोडा

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Streamable HTTP वापरणारा कोणताही MCP क्लाएंट त्याच प्रकारे काम करतो. त्याला /mcp कडे निर्देश करा आणि एकत्रित की Bearer टोकन म्हणून पाठवा. उपयुक्त टूल्समध्ये healthcheck, list_models आणि ask_freellmapi यांचा समावेश होतो. ask_freellmapi टूल API सारख्याच चॅट मार्गावरून कार्य चालवते, राउटिंग आणि फॉलबॅकसह.

कोडिंग एजंटसाठी FreeLLMAPI कडे सेटअप कमांड्स आहेत, ज्या क्लाएंट कॉन्फिगरेशन तुमच्यासाठी लिहितात. उदाहरणे: npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw आणि setup-hermes. प्रत्येक कमांड --dry-run ला समर्थन देते आणि आधी बॅकअप तयार करते.

समस्या निवारण

समस्याकारणउपाय
मॉडेल मजकुरात उत्तर देते आणि कोणताही टूल कॉल करत नाहीमॉडेलचे टूल कॉलिंग कमकुवत आहेफक्त टूल-कॉलिंग मॉडेल्ससह auto:<profile> वापरा
एजंट कार्य मध्येच पुन्हा सुरू करतोएका मर्यादेमुळे मॉडेल बदलावे लागलेX-Session-Id पाठवा आणि संदर्भ हस्तांतरण चालू करा
अनेक पायऱ्यांनंतर 429 त्रुटीसाखळीतील सर्व की त्यांच्या मर्यादेवर आहेतप्रदाते जोडा, लहान पायऱ्यांसाठी auto:fast वापरा आणि Retry-After ची वाट पहा
auto:name सह 400 त्रुटीप्रोफाइल अस्तित्वात नाहीडॅशबोर्डवर प्रोफाइल नाव तपासा
/mcp 403 परत करतेMCP सुविधा बंद आहेKeys पेजवर Agent compatibility अंतर्गत ती चालू करा
कार्याच्या शेवटी संदर्भ लांबीच्या त्रुटीइतिहास मॉडेलच्या विंडोपेक्षा मोठा आहेजुने टूल निकाल सारांशित करा किंवा दीर्घ-संदर्भ प्रोफाइल वापरा
या सर्व मॉडेलचा वापर एकाच कीद्वारे करा. FreeLLMAPI हा एक ओपन-सोर्स, स्वतः होस्ट केलेला राउटर आहे. तो हे सर्व मोफत टियर एका OpenAI-सुसंगत एंडपॉइंटमागे ठेवतो आणि एखादे मॉडेल मर्यादेत असताना दुसऱ्याकडे वळवतो. कॅटलॉग ब्राउझ करा किंवा थेट पहा.

वारंवार विचारले जाणारे प्रश्न

AI एजंटसाठी मोफत LLM API आहे का?

होय. अनेक प्रदात्यांकडे टूल कॉलिंगसह मोफत टियर आहेत. FreeLLMAPI ते एका OpenAI-सुसंगत कीमागे एकत्र करते आणि एखाद्या मर्यादेमुळे विनंती थांबल्यास पुढच्या प्रदात्याकडे जाते.

टूल कॉलिंगसाठी कोणता मोफत LLM सर्वोत्तम आहे?

टूल कॉलिंग आणि 128K टोकन किंवा अधिक संदर्भ विंडो असलेले मॉडेल वापरा. या पृष्ठावरील तक्त्यात आज दोन्ही नियम पाळणारी सर्वात बलवान मोफत मॉडेल्स दाखवली आहेत.

मी FreeLLMAPI ला MCP सर्व्हर म्हणून वापरू शकतो का?

होय. Keys पेजवर Agent compatibility अंतर्गत MCP सुविधा चालू करा. मग तुमचा MCP क्लाएंट एकत्रित कीसह Bearer टोकन म्हणून /mcp शी जोडा.

रेट मर्यादांमुळे एजंट अयशस्वी होऊ नये यासाठी काय करू?

अधिक प्रदात्यांच्या की जोडा, लहान पायऱ्या auto:fast कडे पाठवा, 429 वर Retry-After हेडरसह पुन्हा प्रयत्न करा आणि पायऱ्यांची कमाल संख्या ठरवा.

एजंट कार्याच्या मध्येच मॉडेल बदलले तर काय होते?

नवीन मॉडेलला संपूर्ण संदेश इतिहास मिळतो. संदर्भ हस्तांतरण चालू असल्यास, कार्य पुढे चालू ठेवण्यास सांगणारी एक लहान नोंदही मिळते.

संबंधित मार्गदर्शक

स्रोत

सर्व मार्गदर्शक · सर्व मोफत मॉडेल पहा