फंक्शन कॉलिंग असलेला मोफत LLM API
फंक्शन कॉलिंग, किंवा टूल कॉलिंग, LLM ला तुमच्या कोडने फंक्शन चालवण्यास सांगू देते. एजंट, लाइव्ह डेटा असलेले चॅट बॉट आणि संरचित एक्सट्रॅक्शन हे सर्व ते वापरतात. FreeLLMAPI कॅटलॉगमध्ये टूल कॉलिंग असलेल्या 190 मोफत मॉडेल ऑफर आहेत. तुम्ही OpenAI-शैलीतील tools पाठवता, आणि गेटवे प्रत्येक प्रोव्हायडरसाठी ती अनुवादित करतो.
कोड, मॉडेलची नावे आणि थेट कॅटलॉग लेबल इंग्रजीत दाखवले जातात.
FreeLLMAPI द्वारे टूल कॉलिंग कसे काम करते
- तुम्ही संदेश आणि
toolsची यादी पाठवता. प्रत्येक टूलला नाव, वर्णन आणि त्याच्या पॅरामीटरसाठी JSON Schema असते. - मॉडेल
tool_callsआणिfinish_reason: "tool_calls"सह उत्तर देते. ते स्वतः काहीही चालवत नाही. - तुमचा कोड फंक्शन चालवतो आणि निकाल
role: "tool"असलेला संदेश म्हणून जोडतो. - तुम्ही संभाषण पुन्हा पाठवता. मॉडेल अंतिम उत्तर लिहिण्यासाठी निकाल वापरते.
Groq, Cerebras, Mistral, OpenRouter आणि Cloudflare सारखे OpenAI-सुसंगत प्रोव्हायडर विनंती जशीच्या तशी घेतात. Gemini साठी, FreeLLMAPI टूल्स Google च्या functionDeclarations फॉरमॅटमध्ये अनुवादित करते आणि उत्तर परत अनुवादित करते. प्रत्येक प्रोव्हायडरसाठी तुमचा कोड सारखाच असतो.
काही मॉडेल्स टूल कॉल खऱ्या टूल कॉलऐवजी साध्या मजकुराच्या स्वरूपात लिहितात. FreeLLMAPI हे शोधते आणि त्यांना खऱ्या tool_calls मध्ये बदलते.
आज टूल कॉलिंग असलेली मोफत मॉडेल्स
तक्त्यात टूल कॉलिंग असलेली सर्वात मजबूत मोफत मॉडेल्स दाखवली आहेत. डेटा लाइव्ह कॅटलॉगमधून आला आहे. एजंटसाठी, कॉन्टेक्स्ट आकार देखील तपासा, कारण टूल व्याख्या आणि निकाल अनेक टोकन वापरतात.
| मॉडेल | मोफत उपलब्ध | संदर्भ | मोफत मर्यादा (सर्वोत्तम ऑफर) | साधने | व्हिजन |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 विनंत्या/मिनिट 1 req/min per model | होय | नाही |
| Qwen3.8 Max | ACLIDE | - | €20/month shared internal usage credits · no card | होय | नाही |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 विनंत्या/मिनिट 40 RPM | होय | होय |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | होय | होय |
| Gemini Flash (latest alias) | Google AI Studio | - | 10 विनंत्या/मिनिट 20 विनंत्या/दिवस 250,000 टोकन/मिनिट ~3M | होय | होय |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | होय | नाही |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | होय | होय |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 विनंत्या/मिनिट 20 विनंत्या/दिवस 250,000 टोकन/मिनिट ~3M | होय | होय |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | होय | होय |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 विनंत्या/मिनिट 50 विनंत्या/दिवस 50 req/day account-wide (1,000 after a $10 purchase) | होय | होय |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 विनंत्या/मिनिट 50 विनंत्या/दिवस Shared rate limit | होय | नाही |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 विनंत्या/मिनिट 250 विनंत्या/दिवस 70,000 टोकन/मिनिट ~6M | होय | होय |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 विनंत्या/मिनिट 20 विनंत्या/दिवस 250,000 टोकन/मिनिट ~3M | होय | होय |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | होय | होय |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 विनंत्या/मिनिट 20 विनंत्या/दिवस 250,000 टोकन/मिनिट ~3M | होय | होय |
जुळणाऱ्या 146 मोफत मॉडेलपैकी 15 दाखवले जात आहेत. सर्व मॉडेल पहा.
FreeLLMAPI कॅटलॉगमधील थेट डेटा (आवृत्ती 2026.11.19, तपासले 2026-11-19). मोफत मर्यादा वारंवार बदलतात. कॅटलॉग दररोज तपासले जाते.
पायरी 1: FreeLLMAPI इन्स्टॉल करा आणि की जोडा
FreeLLMAPI ओपन सोर्स आहे. ते तुमच्या संगणकावर Docker मध्ये चालते. तुमच्या प्रोव्हायडर की तुमच्या संगणकावरच राहतात.
इन्स्टॉल करा (macOS किंवा Linux)
curl -fsSL https://freellmapi.co/install.sh | bashhttp://localhost:3001 वर डॅशबोर्ड उघडा. Keys पृष्ठावर तीन किंवा अधिक प्रोव्हायडरच्या की जोडा. टूल लूप एका टास्कसाठी अनेक विनंत्या पाठवतो, त्यामुळे अधिक की म्हणजे अधिक जागा. त्याच पृष्ठावरून तुमची एकत्रित की कॉपी करा.
पायरी 2: पूर्ण टूल लूप चालवा
curl: पहिली विनंती
curl http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "What is the weather in Karachi?"}],
"tools": [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"]
}
}
}]
}'Python: मॉडेल अंतिम उत्तर देईपर्यंत लूप करा
import json
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 32, "condition": "sunny"} # call a real API here
FUNCS = {"get_weather": get_weather}
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "What is the weather in Karachi and Lahore?"}]
for _ in range(5): # stop after 5 rounds
msg = client.chat.completions.create(model="auto", messages=messages, tools=tools).choices[0].message
if not msg.tool_calls:
print(msg.content)
break
messages.append(msg)
for call in msg.tool_calls:
try:
args = json.loads(call.function.arguments or "{}")
result = FUNCS[call.function.name](**args)
except Exception as exc: # bad JSON, unknown tool or wrong arguments
result = {"error": str(exc)}
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})टूल कॉलिंग stream=True सह देखील काम करते. तुम्हाला delta.tool_calls चंक्स मिळतात, मग finish_reason: "tool_calls" असलेला अंतिम चंक. JSON पार्स करण्यापूर्वी आर्ग्युमेंट चंक जोडा.
संरचित डेटा मिळवण्यासाठी टूल वापरा
टूल कॉलिंग हा निश्चित आकारातील डेटा मिळवण्याचा चांगला मार्ग देखील आहे. एक टूल परिभाषित करा ज्याचे पॅरामीटर्स तुम्हाला हवे असलेली फील्ड आहेत. tool_choice "required" सेट करा, जेणेकरून मॉडेलला टूल कॉल करावाच लागेल. मग आर्ग्युमेंट वाचा. तुम्हाला कोणतेही फंक्शन चालवण्याची गरज नाही.
Python: आवश्यक टूल कॉलसह फील्ड काढा
import json
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
schema = {
"type": "function",
"function": {
"name": "save_contact",
"description": "Save one contact found in the text.",
"parameters": {
"type": "object",
"properties": {"name": {"type": "string"}, "email": {"type": "string"}},
"required": ["name", "email"],
},
},
}
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Reach Sara Khan at [email protected]."}],
tools=[schema],
tool_choice="required",
)
print(json.loads(resp.choices[0].message.tool_calls[0].function.arguments))तुमच्या स्वतःच्या कोडने आर्ग्युमेंट तपासा. मॉडेल आवश्यक फील्ड सोडू शकते किंवा चुकीचा प्रकार पाठवू शकते. तपासणी अयशस्वी झाल्यास, त्रुटी परत पाठवा आणि पुन्हा विचारा.
अडचणी
- आर्ग्युमेंट्स स्ट्रिंग आहेत:
function.argumentsएक JSON स्ट्रिंग आहे. ते पार्स करा, आणि त्रुटी पकडा. लहान मॉडेल्स कधीकधी वैध नसलेले JSON पाठवतात. - ids जुळवा: प्रत्येक टूल संदेशाला त्याच्या कॉलचा
tool_call_idहवा. टूल संदेशांआधीtool_callsअसलेला assistant संदेश जोडा. - एकाच वेळी अनेक कॉल: एका उत्तरात मॉडेल एकापेक्षा जास्त टूल कॉल परत करू शकते. ते सर्व चालवा, मग सर्व निकाल पाठवा.
- टोकन खर्च: प्रत्येक विनंतीसोबत प्रत्येक टूल व्याख्या पाठवली जाते. वीस मोठी टूल्स हजारो टोकन वापरू शकतात आणि कमी प्रति-मिनिट टोकन मर्यादा लवकर गाठू शकतात. टास्कला लागणारी टूल्सच पाठवा.
- स्पष्ट वर्णने: मॉडेल टूल त्याच्या नावावरून आणि वर्णनावरून निवडते. टूल काय करते आणि ते कधी वापरायचे हे सांगणारे एक छोटे वाक्य लिहा.
- लूप थांबवा: फेऱ्यांची कमाल संख्या सेट करा. कमकुवत मॉडेल एकच टूल पुन्हा पुन्हा कॉल करू शकते.
- टूल्सशिवाय मॉडेल्स: काही मोफत प्रोव्हायडर टूल्सना सपोर्ट करत नाहीत. उदाहरणार्थ, AI Horde टूल्स काढून टाकते आणि साध्या चॅटप्रमाणे उत्तर देते.
समस्यानिवारण
| समस्या | कारण | उपाय |
|---|---|---|
| मॉडेल मजकुरात उत्तर देते आणि कोणताही टूल कॉल करत नाही | मॉडेल टूल्समध्ये कमकुवत आहे, किंवा वर्णन स्पष्ट नाही | तक्त्यातून मजबूत मॉडेल पिन करा, किंवा टूल वर्णन सुधारा |
आर्ग्युमेंट्सवर json.JSONDecodeError | मॉडेलने अवैध JSON पाठवले | त्रुटी पकडा आणि टूल निकाल म्हणून परत पाठवा, म्हणजे मॉडेल पुन्हा प्रयत्न करू शकेल |
| टूल संदेशाबद्दल त्रुटी 400 | tool_call_id जुळत नाही, किंवा assistant संदेश गहाळ आहे | आधी assistant संदेश जोडा, मग प्रत्येक कॉलसाठी एक टूल संदेश |
| एजंट टास्कदरम्यान त्रुटी 429 | लूप अनेक मोठ्या विनंत्या पाठवतो | अधिक प्रोव्हायडर की जोडा, आणि कमी टूल्स पाठवा |
| लूप थांबत नाही | मॉडेल तोच टूल पुन्हा कॉल करते | फेऱ्यांची मर्यादा सेट करा, आणि स्पष्ट निकाल परत करा |
वारंवार विचारले जाणारे प्रश्न
कोणते मोफत LLM API फंक्शन कॉलिंगला सपोर्ट करतात?
Gemini, Groq, Cerebras, Mistral, OpenRouter, Cloudflare आणि इतर प्रोव्हायडरकडे टूल कॉलिंग असलेली मोफत मॉडेल्स आहेत. FreeLLMAPI कॅटलॉगमध्ये आज टूल्ससह 190 मोफत मॉडेल ऑफर आहेत.
टूल कॉलिंग म्हणजे फंक्शन कॉलिंगच आहे का?
हो. OpenAI ने प्रथम function calling हे नाव वापरले. सध्याचा API tools आणि tool_calls वापरतो. दोन्ही नावांचा अर्थ एकच आहे: मॉडेल तुमच्या कोडला फंक्शन चालवण्यास सांगते.
Gemini टूल कॉलिंग OpenAI फॉरमॅटसह काम करते का?
हो, FreeLLMAPI द्वारे. गेटवे OpenAI tools ना Gemini functionDeclarations मध्ये अनुवादित करते आणि उत्तर परत OpenAI tool_calls मध्ये अनुवादित करते.
टूल कॉल streaming करता येतात का?
हो. stream=True सह तुम्हाला delta.tool_calls चंक्स आणि शेवटी tool_calls चा finish_reason मिळतो. पार्स करण्यापूर्वी आर्ग्युमेंट चंक जोडा.
संबंधित मार्गदर्शक
- AI एजंटसाठी मोफत LLM API
- AI agents साठी मोफत वेब शोध API
- सर्वोत्तम मोफत कोडिंग मॉडेल API
- LangChain साठी मोफत LLM API
- Python मध्ये मोफत LLM API
स्रोत
- FreeLLMAPI docs: Tool calling (तपासले 20 November 2026)
- FreeLLMAPI README: features (तपासले 20 November 2026)
- OpenAI API reference: Chat Completions tools (तपासले 20 November 2026)