मुख्यपृष्ठ / मार्गदर्शक / फंक्शन कॉलिंग असलेला मोफत LLM API

फंक्शन कॉलिंग असलेला मोफत LLM API

फंक्शन कॉलिंग, किंवा टूल कॉलिंग, LLM ला तुमच्या कोडने फंक्शन चालवण्यास सांगू देते. एजंट, लाइव्ह डेटा असलेले चॅट बॉट आणि संरचित एक्सट्रॅक्शन हे सर्व ते वापरतात. FreeLLMAPI कॅटलॉगमध्ये टूल कॉलिंग असलेल्या 190 मोफत मॉडेल ऑफर आहेत. तुम्ही OpenAI-शैलीतील tools पाठवता, आणि गेटवे प्रत्येक प्रोव्हायडरसाठी ती अनुवादित करतो.

कोड, मॉडेलची नावे आणि थेट कॅटलॉग लेबल इंग्रजीत दाखवले जातात.

FreeLLMAPI द्वारे टूल कॉलिंग कसे काम करते

  1. तुम्ही संदेश आणि tools ची यादी पाठवता. प्रत्येक टूलला नाव, वर्णन आणि त्याच्या पॅरामीटरसाठी JSON Schema असते.
  2. मॉडेल tool_calls आणि finish_reason: "tool_calls" सह उत्तर देते. ते स्वतः काहीही चालवत नाही.
  3. तुमचा कोड फंक्शन चालवतो आणि निकाल role: "tool" असलेला संदेश म्हणून जोडतो.
  4. तुम्ही संभाषण पुन्हा पाठवता. मॉडेल अंतिम उत्तर लिहिण्यासाठी निकाल वापरते.

Groq, Cerebras, Mistral, OpenRouter आणि Cloudflare सारखे OpenAI-सुसंगत प्रोव्हायडर विनंती जशीच्या तशी घेतात. Gemini साठी, FreeLLMAPI टूल्स Google च्या functionDeclarations फॉरमॅटमध्ये अनुवादित करते आणि उत्तर परत अनुवादित करते. प्रत्येक प्रोव्हायडरसाठी तुमचा कोड सारखाच असतो.

काही मॉडेल्स टूल कॉल खऱ्या टूल कॉलऐवजी साध्या मजकुराच्या स्वरूपात लिहितात. FreeLLMAPI हे शोधते आणि त्यांना खऱ्या tool_calls मध्ये बदलते.

आज टूल कॉलिंग असलेली मोफत मॉडेल्स

तक्त्यात टूल कॉलिंग असलेली सर्वात मजबूत मोफत मॉडेल्स दाखवली आहेत. डेटा लाइव्ह कॅटलॉगमधून आला आहे. एजंटसाठी, कॉन्टेक्स्ट आकार देखील तपासा, कारण टूल व्याख्या आणि निकाल अनेक टोकन वापरतात.

टूल कॉलिंग असलेली मोफत मॉडेल्स, सर्वात मजबूत आधी
मॉडेलमोफत उपलब्धसंदर्भमोफत मर्यादा (सर्वोत्तम ऑफर)साधनेव्हिजन
GLM 5.3UnoRouter1M1 विनंत्या/मिनिट
1 req/min per model
होयनाही
Qwen3.8 MaxACLIDE-€20/month shared internal usage credits · no cardहोयनाही
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 विनंत्या/मिनिट
40 RPM
होयहोय
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaहोयहोय
Gemini Flash (latest alias)Google AI Studio-10 विनंत्या/मिनिट
20 विनंत्या/दिवस
250,000 टोकन/मिनिट
~3M
होयहोय
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceहोयनाही
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditहोयहोय
Gemini 3.7 FlashGoogle AI Studio1M10 विनंत्या/मिनिट
20 विनंत्या/दिवस
250,000 टोकन/मिनिट
~3M
होयहोय
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditहोयहोय
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 विनंत्या/मिनिट
50 विनंत्या/दिवस
50 req/day account-wide (1,000 after a $10 purchase)
होयहोय
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 विनंत्या/मिनिट
50 विनंत्या/दिवस
Shared rate limit
होयनाही
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 विनंत्या/मिनिट
250 विनंत्या/दिवस
70,000 टोकन/मिनिट
~6M
होयहोय
Gemini 3.6 FlashGoogle AI Studio1M10 विनंत्या/मिनिट
20 विनंत्या/दिवस
250,000 टोकन/मिनिट
~3M
होयहोय
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayहोयहोय
Gemini 3.5 FlashGoogle AI Studio1M10 विनंत्या/मिनिट
20 विनंत्या/दिवस
250,000 टोकन/मिनिट
~3M
होयहोय

जुळणाऱ्या 146 मोफत मॉडेलपैकी 15 दाखवले जात आहेत. सर्व मॉडेल पहा.

FreeLLMAPI कॅटलॉगमधील थेट डेटा (आवृत्ती 2026.11.19, तपासले 2026-11-19). मोफत मर्यादा वारंवार बदलतात. कॅटलॉग दररोज तपासले जाते.

पायरी 1: FreeLLMAPI इन्स्टॉल करा आणि की जोडा

FreeLLMAPI ओपन सोर्स आहे. ते तुमच्या संगणकावर Docker मध्ये चालते. तुमच्या प्रोव्हायडर की तुमच्या संगणकावरच राहतात.

इन्स्टॉल करा (macOS किंवा Linux)

curl -fsSL https://freellmapi.co/install.sh | bash

http://localhost:3001 वर डॅशबोर्ड उघडा. Keys पृष्ठावर तीन किंवा अधिक प्रोव्हायडरच्या की जोडा. टूल लूप एका टास्कसाठी अनेक विनंत्या पाठवतो, त्यामुळे अधिक की म्हणजे अधिक जागा. त्याच पृष्ठावरून तुमची एकत्रित की कॉपी करा.

पायरी 2: पूर्ण टूल लूप चालवा

curl: पहिली विनंती

curl http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "What is the weather in Karachi?"}],
    "tools": [{
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
          "type": "object",
          "properties": {"city": {"type": "string"}},
          "required": ["city"]
        }
      }
    }]
  }'

Python: मॉडेल अंतिम उत्तर देईपर्यंत लूप करा

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 32, "condition": "sunny"}  # call a real API here

FUNCS = {"get_weather": get_weather}
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
messages = [{"role": "user", "content": "What is the weather in Karachi and Lahore?"}]

for _ in range(5):  # stop after 5 rounds
    msg = client.chat.completions.create(model="auto", messages=messages, tools=tools).choices[0].message
    if not msg.tool_calls:
        print(msg.content)
        break
    messages.append(msg)
    for call in msg.tool_calls:
        try:
            args = json.loads(call.function.arguments or "{}")
            result = FUNCS[call.function.name](**args)
        except Exception as exc:  # bad JSON, unknown tool or wrong arguments
            result = {"error": str(exc)}
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})

टूल कॉलिंग stream=True सह देखील काम करते. तुम्हाला delta.tool_calls चंक्स मिळतात, मग finish_reason: "tool_calls" असलेला अंतिम चंक. JSON पार्स करण्यापूर्वी आर्ग्युमेंट चंक जोडा.

संरचित डेटा मिळवण्यासाठी टूल वापरा

टूल कॉलिंग हा निश्चित आकारातील डेटा मिळवण्याचा चांगला मार्ग देखील आहे. एक टूल परिभाषित करा ज्याचे पॅरामीटर्स तुम्हाला हवे असलेली फील्ड आहेत. tool_choice "required" सेट करा, जेणेकरून मॉडेलला टूल कॉल करावाच लागेल. मग आर्ग्युमेंट वाचा. तुम्हाला कोणतेही फंक्शन चालवण्याची गरज नाही.

Python: आवश्यक टूल कॉलसह फील्ड काढा

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
schema = {
    "type": "function",
    "function": {
        "name": "save_contact",
        "description": "Save one contact found in the text.",
        "parameters": {
            "type": "object",
            "properties": {"name": {"type": "string"}, "email": {"type": "string"}},
            "required": ["name", "email"],
        },
    },
}
resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Reach Sara Khan at [email protected]."}],
    tools=[schema],
    tool_choice="required",
)
print(json.loads(resp.choices[0].message.tool_calls[0].function.arguments))

तुमच्या स्वतःच्या कोडने आर्ग्युमेंट तपासा. मॉडेल आवश्यक फील्ड सोडू शकते किंवा चुकीचा प्रकार पाठवू शकते. तपासणी अयशस्वी झाल्यास, त्रुटी परत पाठवा आणि पुन्हा विचारा.

सुरक्षितता: पेमेंट, ईमेल किंवा फाइल हटवणे यासारखे साइड इफेक्ट असलेले टूल कॉल तपासणीशिवाय चालवू नका. या कृतींची पुष्टी आधी वापरकर्त्याला विचारा.

अडचणी

  • आर्ग्युमेंट्स स्ट्रिंग आहेत: function.arguments एक JSON स्ट्रिंग आहे. ते पार्स करा, आणि त्रुटी पकडा. लहान मॉडेल्स कधीकधी वैध नसलेले JSON पाठवतात.
  • ids जुळवा: प्रत्येक टूल संदेशाला त्याच्या कॉलचा tool_call_id हवा. टूल संदेशांआधी tool_calls असलेला assistant संदेश जोडा.
  • एकाच वेळी अनेक कॉल: एका उत्तरात मॉडेल एकापेक्षा जास्त टूल कॉल परत करू शकते. ते सर्व चालवा, मग सर्व निकाल पाठवा.
  • टोकन खर्च: प्रत्येक विनंतीसोबत प्रत्येक टूल व्याख्या पाठवली जाते. वीस मोठी टूल्स हजारो टोकन वापरू शकतात आणि कमी प्रति-मिनिट टोकन मर्यादा लवकर गाठू शकतात. टास्कला लागणारी टूल्सच पाठवा.
  • स्पष्ट वर्णने: मॉडेल टूल त्याच्या नावावरून आणि वर्णनावरून निवडते. टूल काय करते आणि ते कधी वापरायचे हे सांगणारे एक छोटे वाक्य लिहा.
  • लूप थांबवा: फेऱ्यांची कमाल संख्या सेट करा. कमकुवत मॉडेल एकच टूल पुन्हा पुन्हा कॉल करू शकते.
  • टूल्सशिवाय मॉडेल्स: काही मोफत प्रोव्हायडर टूल्सना सपोर्ट करत नाहीत. उदाहरणार्थ, AI Horde टूल्स काढून टाकते आणि साध्या चॅटप्रमाणे उत्तर देते.
टास्कदरम्यान एकच मॉडेल: FreeLLMAPI संभाषण 30 मिनिटांसाठी एकाच मॉडेलवर ठेवते. टूल लूप सहसा एकाच मॉडेलवर राहतो. मर्यादेमुळे बदल भाग पडल्यास, पुढच्या मॉडेलला टूल निकालांसह संपूर्ण संदेश इतिहास मिळतो.

समस्यानिवारण

समस्याकारणउपाय
मॉडेल मजकुरात उत्तर देते आणि कोणताही टूल कॉल करत नाहीमॉडेल टूल्समध्ये कमकुवत आहे, किंवा वर्णन स्पष्ट नाहीतक्त्यातून मजबूत मॉडेल पिन करा, किंवा टूल वर्णन सुधारा
आर्ग्युमेंट्सवर json.JSONDecodeErrorमॉडेलने अवैध JSON पाठवलेत्रुटी पकडा आणि टूल निकाल म्हणून परत पाठवा, म्हणजे मॉडेल पुन्हा प्रयत्न करू शकेल
टूल संदेशाबद्दल त्रुटी 400tool_call_id जुळत नाही, किंवा assistant संदेश गहाळ आहेआधी assistant संदेश जोडा, मग प्रत्येक कॉलसाठी एक टूल संदेश
एजंट टास्कदरम्यान त्रुटी 429लूप अनेक मोठ्या विनंत्या पाठवतोअधिक प्रोव्हायडर की जोडा, आणि कमी टूल्स पाठवा
लूप थांबत नाहीमॉडेल तोच टूल पुन्हा कॉल करतेफेऱ्यांची मर्यादा सेट करा, आणि स्पष्ट निकाल परत करा
या सर्व मॉडेलचा वापर एकाच कीद्वारे करा. FreeLLMAPI हा एक ओपन-सोर्स, स्वतः होस्ट केलेला राउटर आहे. तो हे सर्व मोफत टियर एका OpenAI-सुसंगत एंडपॉइंटमागे ठेवतो आणि एखादे मॉडेल मर्यादेत असताना दुसऱ्याकडे वळवतो. कॅटलॉग ब्राउझ करा किंवा थेट पहा.

वारंवार विचारले जाणारे प्रश्न

कोणते मोफत LLM API फंक्शन कॉलिंगला सपोर्ट करतात?

Gemini, Groq, Cerebras, Mistral, OpenRouter, Cloudflare आणि इतर प्रोव्हायडरकडे टूल कॉलिंग असलेली मोफत मॉडेल्स आहेत. FreeLLMAPI कॅटलॉगमध्ये आज टूल्ससह 190 मोफत मॉडेल ऑफर आहेत.

टूल कॉलिंग म्हणजे फंक्शन कॉलिंगच आहे का?

हो. OpenAI ने प्रथम function calling हे नाव वापरले. सध्याचा API tools आणि tool_calls वापरतो. दोन्ही नावांचा अर्थ एकच आहे: मॉडेल तुमच्या कोडला फंक्शन चालवण्यास सांगते.

Gemini टूल कॉलिंग OpenAI फॉरमॅटसह काम करते का?

हो, FreeLLMAPI द्वारे. गेटवे OpenAI tools ना Gemini functionDeclarations मध्ये अनुवादित करते आणि उत्तर परत OpenAI tool_calls मध्ये अनुवादित करते.

टूल कॉल streaming करता येतात का?

हो. stream=True सह तुम्हाला delta.tool_calls चंक्स आणि शेवटी tool_calls चा finish_reason मिळतो. पार्स करण्यापूर्वी आर्ग्युमेंट चंक जोडा.

संबंधित मार्गदर्शक

स्रोत

सर्व मार्गदर्शक · सर्व मोफत मॉडेल पहा