AI एजंटसाठी मोफत LLM API
AI एजंट एका कार्यासाठी अनेक मॉडेल विनंत्या पाठवतो. प्रत्येक पायरीला टूल कॉलिंग आणि मोठा संदर्भ लागतो. एक मोफत टियर एजंटला लवकर थांबवतो. FreeLLMAPI 45 मोफत प्रदाता टियर एका OpenAI-सुसंगत कीमागे एकत्र ठेवते. एखाद्या मर्यादेमुळे विनंती थांबल्यास ते पुढच्या प्रदात्याकडे जाते, म्हणून एजंट चालू राहू शकतो. हे मार्गदर्शक टूल कॉलिंग, प्रत्येक पायरीसाठी राउटिंग, दीर्घ सत्रे आणि राउटरचा MCP सर्व्हर यांची माहिती देते.
कोड, मॉडेलची नावे आणि थेट कॅटलॉग लेबल इंग्रजीत दाखवले जातात.
मोफत API कडून एजंटला काय हवे
| गरज | का | FreeLLMAPI काय करते |
|---|---|---|
| टूल कॉलिंग | एजंट टूल निवडतो आणि चालवतो | प्रत्येक प्रदात्याला OpenAI-शैलीतील tools पाठवते. साध्या मजकुरातील टूल कॉल्सचे रूपांतर खऱ्या tool_calls मध्ये करते. |
| अनेक विनंत्या | एका कार्याला 20 ते 100 पायऱ्या लागू शकतात | प्रत्येक कीचा कोटा मोजते आणि 429 आल्यावर पुढच्या कीकडे किंवा प्रदात्याकडे जाते |
| मोठा संदर्भ | टूल निकाल आणि इतिहास प्रत्येक पायरीत वाढतो | तुमच्या साखळीतील मॉडेल्सकडे पाठवते. तुम्ही दीर्घ-संदर्भ प्रोफाइल तयार करू शकता. |
| स्थिर वर्तन | कार्याच्या मध्येच मॉडेल बदलल्यास एजंट गोंधळू शकतो | 30 मिनिटे सत्र एकाच मॉडेलवर ठेवते. बदल झाल्यास पर्यायी संदर्भ हस्तांतरण. |
| दृश्यमानता | कोणते मॉडेल अयशस्वी झाले हे तुम्हाला कळले पाहिजे | प्रत्येक उत्तरावर X-Routed-Via आणि X-Fallback-Trail हेडर |
मोफत टियरला मर्यादा असतात. फेलओव्हरमुळे भार तुमच्या कीवर विभागला जातो, पण एकूण मर्यादा अजूनही मोफत मर्यादांची बेरीज असते. एजंट कामासाठी चार किंवा अधिक प्रदात्यांच्या की जोडा.
| मॉडेल | मोफत उपलब्ध | संदर्भ | मोफत मर्यादा (सर्वोत्तम ऑफर) | साधने | व्हिजन |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 विनंत्या/मिनिट 1 req/min per model | होय | नाही |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 विनंत्या/मिनिट 40 RPM | होय | होय |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | होय | होय |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | होय | नाही |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | होय | होय |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 विनंत्या/मिनिट 20 विनंत्या/दिवस 250,000 टोकन/मिनिट ~3M | होय | होय |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | होय | होय |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 विनंत्या/मिनिट 50 विनंत्या/दिवस 50 req/day account-wide (1,000 after a $10 purchase) | होय | होय |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 विनंत्या/मिनिट 50 विनंत्या/दिवस Shared rate limit | होय | नाही |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 विनंत्या/मिनिट 250 विनंत्या/दिवस 70,000 टोकन/मिनिट ~6M | होय | होय |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 विनंत्या/मिनिट 20 विनंत्या/दिवस 250,000 टोकन/मिनिट ~3M | होय | होय |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | होय | होय |
जुळणाऱ्या 109 मोफत मॉडेलपैकी 12 दाखवले जात आहेत. सर्व मॉडेल पहा.
FreeLLMAPI कॅटलॉगमधील थेट डेटा (आवृत्ती 2026.11.19, तपासले 2026-11-19). मोफत मर्यादा वारंवार बदलतात. कॅटलॉग दररोज तपासले जाते.
Python मधील पूर्ण एजंट लूप
खालील लूप अधिकृत OpenAI SDK वापरतो. तो टूल्स पाठवतो, प्रत्येक टूल कॉल चालवतो, निकाल परत पाठवतो आणि मॉडेल अंतिम उत्तर देते तेव्हा थांबतो. तो जास्तीत जास्त पायऱ्यांनंतरही थांबतो.
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: मॉडेलकडे कोटा असेपर्यंत एका कार्याच्या सर्व पायऱ्या एकाच मॉडेलवर ठेवते.
- Retry-After: प्रत्येक की मर्यादेवर असल्यास गेटवे हे हेडर देऊन 429 परत करतो. लूप थांबतो आणि पुन्हा प्रयत्न करतो.
- टूल त्रुटी: लूप त्रुटी टूल निकाल म्हणून मॉडेलला परत पाठवतो. मग मॉडेल आपला कॉल दुरुस्त करू शकते.
प्रत्येक पायरी योग्य मॉडेलकडे पाठवा
एजंटच्या सर्व पायऱ्या सारख्या नसतात. नियोजन पायरीला बलवान मॉडेल लागते. एक फील्ड काढणाऱ्या पायरीला जलद मॉडेल लागते. प्रत्येक पायरी प्रकारासाठी वेगळी मॉडेल स्ट्रिंग वापरा. डॅशबोर्ड बदलण्याची गरज नाही.
| मॉडेल स्ट्रिंग | मॉडेल्सचा क्रम लावते | एजंट वापर |
|---|---|---|
auto:smart | बुद्धिमत्ता | नियोजन, टूल निवड, अंतिम उत्तरे |
auto:fast | मोजलेला वेग आणि पहिल्या बाइटपर्यंतचा वेळ | काढणे, वर्गीकरण, टूल आउटपुटचे लहान सारांश |
auto:reliable | अलीकडील यशाचा दर | ज्या शेड्युल्ड एजंटने पूर्ण झालेच पाहिजे |
auto:balanced | प्रथम विश्वासार्हता, मग वेग आणि बुद्धिमत्ता | सामान्य डीफॉल्ट |
auto:<profile> | तुमची नावाची फॉलबॅक साखळी | फक्त टूल-कॉलिंग मॉडेल असलेली साखळी |
auto:* धोरणे सर्व सक्षम मॉडेल्सचा क्रम लावतात आणि तुमच्या साखळीचा क्रम दुर्लक्षित करतात. टूल्स असलेल्या विनंतीला अजूनही टूल कॉलिंग असलेले मॉडेल लागते. काही सक्षम मॉडेल्स टूल्स नीट हाताळत नसल्यास फक्त टूल-कॉलिंग मॉडेल्स असलेले प्रोफाइल तयार करा. मग टूल पायऱ्यांसाठी auto:<profile> वापरा. अज्ञात प्रोफाइल नाव त्रुटी 400 परत करते.
X-FreeLLM-Task-Type: code हेडर एका विनंतीसाठी राउटिंग वजन वेगातून बुद्धिमत्तेकडे हलवते. ही मृदू प्राधान्य आहे. ती क्षमता तपासणी किंवा फॉलबॅक साखळी बदलत नाही.
दीर्घ एजंट सत्रे आणि मॉडेल बदल
दीर्घ कामादरम्यान एखादे मॉडेल दैनिक मर्यादेपर्यंत पोहोचू शकते. मग राउटर दुसऱ्या मॉडेलकडे जातो. नवीन मॉडेलला संपूर्ण संदेश इतिहास मिळतो, पण आधीच्या पायऱ्या दुसऱ्या मॉडेलने केल्या होत्या हे त्याला माहीत नसते.
मॉडेल बदलल्यावर एक लहान सिस्टम संदेश जोडण्यासाठी संदर्भ हस्तांतरण चालू करा. तो संदेश नवीन मॉडेलला कार्य पुढे चालू ठेवण्यास आणि आधीचे टूल निकाल जपण्यास सांगतो.
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- सत्रासाठी निवडलेले मॉडेल बदलते तेव्हाच हस्तांतरण संदेश जोडला जातो.
- सत्रे 3 तास स्मृतीत ठेवली जातात. काहीही डिस्कवर लिहिले जात नाही.
- सत्र की म्हणजे
X-Session-Idहेडर. हेडर नसल्यास ती पहिल्या वापरकर्ता संदेशाचा हॅश असते.
राउटरचा MCP सर्व्हर म्हणून वापर करा
FreeLLMAPI /mcp वर MCP सर्व्हर म्हणूनही काम करते. MCP बोलणारा एजंट FreeLLMAPI मॉडेलला मजकूर कार्य पाठवू शकतो. तो सत्रादरम्यान गेटवेची स्थितीही वाचू शकतो: वापरता येणारी मॉडेल्स आणि त्यांचे पॅरामीटर्स, प्रदात्यांची स्थिती, वापर आणि कॅशे आकडेवारी, आणि राउटिंग धोरण.
नवीन इन्स्टॉलवर MCP सुविधा बंद असते. डॅशबोर्डमधील Keys पेजवर Agent compatibility अंतर्गत ती चालू करा. ती बंद असताना /mcp 403 परत करते.
Claude Code मध्ये MCP सर्व्हर जोडा
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Streamable HTTP वापरणारा कोणताही MCP क्लाएंट त्याच प्रकारे काम करतो. त्याला /mcp कडे निर्देश करा आणि एकत्रित की Bearer टोकन म्हणून पाठवा. उपयुक्त टूल्समध्ये healthcheck, list_models आणि ask_freellmapi यांचा समावेश होतो. ask_freellmapi टूल API सारख्याच चॅट मार्गावरून कार्य चालवते, राउटिंग आणि फॉलबॅकसह.
कोडिंग एजंटसाठी FreeLLMAPI कडे सेटअप कमांड्स आहेत, ज्या क्लाएंट कॉन्फिगरेशन तुमच्यासाठी लिहितात. उदाहरणे: npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw आणि setup-hermes. प्रत्येक कमांड --dry-run ला समर्थन देते आणि आधी बॅकअप तयार करते.
समस्या निवारण
| समस्या | कारण | उपाय |
|---|---|---|
| मॉडेल मजकुरात उत्तर देते आणि कोणताही टूल कॉल करत नाही | मॉडेलचे टूल कॉलिंग कमकुवत आहे | फक्त टूल-कॉलिंग मॉडेल्ससह auto:<profile> वापरा |
| एजंट कार्य मध्येच पुन्हा सुरू करतो | एका मर्यादेमुळे मॉडेल बदलावे लागले | X-Session-Id पाठवा आणि संदर्भ हस्तांतरण चालू करा |
| अनेक पायऱ्यांनंतर 429 त्रुटी | साखळीतील सर्व की त्यांच्या मर्यादेवर आहेत | प्रदाते जोडा, लहान पायऱ्यांसाठी auto:fast वापरा आणि Retry-After ची वाट पहा |
auto:name सह 400 त्रुटी | प्रोफाइल अस्तित्वात नाही | डॅशबोर्डवर प्रोफाइल नाव तपासा |
/mcp 403 परत करते | MCP सुविधा बंद आहे | Keys पेजवर Agent compatibility अंतर्गत ती चालू करा |
| कार्याच्या शेवटी संदर्भ लांबीच्या त्रुटी | इतिहास मॉडेलच्या विंडोपेक्षा मोठा आहे | जुने टूल निकाल सारांशित करा किंवा दीर्घ-संदर्भ प्रोफाइल वापरा |
वारंवार विचारले जाणारे प्रश्न
AI एजंटसाठी मोफत LLM API आहे का?
होय. अनेक प्रदात्यांकडे टूल कॉलिंगसह मोफत टियर आहेत. FreeLLMAPI ते एका OpenAI-सुसंगत कीमागे एकत्र करते आणि एखाद्या मर्यादेमुळे विनंती थांबल्यास पुढच्या प्रदात्याकडे जाते.
टूल कॉलिंगसाठी कोणता मोफत LLM सर्वोत्तम आहे?
टूल कॉलिंग आणि 128K टोकन किंवा अधिक संदर्भ विंडो असलेले मॉडेल वापरा. या पृष्ठावरील तक्त्यात आज दोन्ही नियम पाळणारी सर्वात बलवान मोफत मॉडेल्स दाखवली आहेत.
मी FreeLLMAPI ला MCP सर्व्हर म्हणून वापरू शकतो का?
होय. Keys पेजवर Agent compatibility अंतर्गत MCP सुविधा चालू करा. मग तुमचा MCP क्लाएंट एकत्रित कीसह Bearer टोकन म्हणून /mcp शी जोडा.
रेट मर्यादांमुळे एजंट अयशस्वी होऊ नये यासाठी काय करू?
अधिक प्रदात्यांच्या की जोडा, लहान पायऱ्या auto:fast कडे पाठवा, 429 वर Retry-After हेडरसह पुन्हा प्रयत्न करा आणि पायऱ्यांची कमाल संख्या ठरवा.
एजंट कार्याच्या मध्येच मॉडेल बदलले तर काय होते?
नवीन मॉडेलला संपूर्ण संदेश इतिहास मिळतो. संदर्भ हस्तांतरण चालू असल्यास, कार्य पुढे चालू ठेवण्यास सांगणारी एक लहान नोंदही मिळते.
संबंधित मार्गदर्शक
- फंक्शन कॉलिंग असलेला मोफत LLM API
- Python मध्ये मोफत LLM API
- LangChain साठी मोफत LLM API
- n8n साठी मोफत LLM API
- Claude Code मोफत कसे वापरावे
- मोफत LLM API रेट मर्यादा
स्रोत
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (तपासले 20 November 2026)
- FreeLLMAPI docs: clients, MCP server and context handoff (तपासले 20 November 2026)
- OpenAI Python SDK: errors and retries (तपासले 20 November 2026)
- Claude Code docs: MCP (तपासले 20 November 2026)