Startseite / Anleitungen / Kostenlose LLM API mit Function Calling

Kostenlose LLM API mit Function Calling

Function Calling, auch Tool-Calling genannt, lässt ein LLM Ihren Code bitten, eine Funktion auszuführen. Agenten, Chatbots mit Live-Daten und strukturierte Extraktion nutzen alle diese Funktion. Der Katalog von FreeLLMAPI enthält 190 kostenlose Modellangebote mit Tool-Calling. Sie senden tools im Format von OpenAI, und das Gateway übersetzt sie für jeden Anbieter.

Code, Modellnamen und Bezeichnungen aus dem Live-Katalog werden auf Englisch angezeigt.

So funktioniert Tool-Calling über FreeLLMAPI

  1. Sie senden die Nachrichten und eine Liste von tools. Jedes Tool hat einen Namen, eine Beschreibung und ein JSON Schema für seine Parameter.
  2. Das Modell antwortet mit tool_calls und finish_reason: "tool_calls". Es führt selbst nichts aus.
  3. Ihr Code führt die Funktion aus und fügt das Ergebnis als Nachricht mit role: "tool" hinzu.
  4. Sie senden die Unterhaltung erneut. Das Modell nutzt das Ergebnis, um die endgültige Antwort zu schreiben.

OpenAI-kompatible Anbieter, wie Groq, Cerebras, Mistral, OpenRouter und Cloudflare, erhalten die Anfrage unverändert. Für Gemini übersetzt FreeLLMAPI die Tools in das Format functionDeclarations von Google und die Antwort zurück. Ihr Code ist für jeden Anbieter gleich.

Manche Modelle schreiben einen Tool-Aufruf als einfachen Text statt als echten Tool-Aufruf. FreeLLMAPI erkennt das und wandelt es in echte tool_calls um.

Kostenlose Modelle mit Tool-Calling heute

Die Tabelle zeigt die stärksten kostenlosen Modelle mit Tool-Calling. Die Daten stammen aus dem aktuellen Katalog. Prüfen Sie bei Agenten auch die Kontextgröße, weil Tool-Definitionen und Ergebnisse viele Tokens verbrauchen.

Kostenlose Modelle mit Tool-Calling, die stärksten zuerst
ModellKostenlos beiKontextKostenlose Limits (bestes Angebot)ToolsBildverarbeitung
GLM 5.3UnoRouter1M1 Anfragen/Min.
1 req/min per model
JaNein
Qwen3.8 MaxACLIDE-€20/month shared internal usage credits · no cardJaNein
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 Anfragen/Min.
40 RPM
JaJa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaJaJa
Gemini Flash (latest alias)Google AI Studio-10 Anfragen/Min.
20 Anfragen/Tag
250,000 Token/Min.
~3M
JaJa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceJaNein
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditJaJa
Gemini 3.7 FlashGoogle AI Studio1M10 Anfragen/Min.
20 Anfragen/Tag
250,000 Token/Min.
~3M
JaJa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditJaJa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 Anfragen/Min.
50 Anfragen/Tag
50 req/day account-wide (1,000 after a $10 purchase)
JaJa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 Anfragen/Min.
50 Anfragen/Tag
Shared rate limit
JaNein
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 Anfragen/Min.
250 Anfragen/Tag
70,000 Token/Min.
~6M
JaJa
Gemini 3.6 FlashGoogle AI Studio1M10 Anfragen/Min.
20 Anfragen/Tag
250,000 Token/Min.
~3M
JaJa
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayJaJa
Gemini 3.5 FlashGoogle AI Studio1M10 Anfragen/Min.
20 Anfragen/Tag
250,000 Token/Min.
~3M
JaJa

Es werden 15 von 146 passenden kostenlosen Modellen angezeigt. Alle Modelle ansehen.

Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.

Schritt 1: FreeLLMAPI installieren und Schlüssel hinzufügen

FreeLLMAPI ist Open Source. Es läuft in Docker auf Ihrem Computer. Ihre Anbieterschlüssel bleiben auf Ihrem Computer.

Installation (macOS oder Linux)

curl -fsSL https://freellmapi.co/install.sh | bash

Öffnen Sie das Dashboard unter http://localhost:3001. Fügen Sie auf der Seite Keys Schlüssel von drei oder mehr Anbietern hinzu. Eine Tool-Schleife sendet mehrere Anfragen für eine Aufgabe. Mehr Schlüssel bieten daher mehr Spielraum. Kopieren Sie Ihren einheitlichen Schlüssel von derselben Seite.

Schritt 2: Eine vollständige Tool-Schleife ausführen

curl: die erste Anfrage

curl http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "What is the weather in Karachi?"}],
    "tools": [{
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
          "type": "object",
          "properties": {"city": {"type": "string"}},
          "required": ["city"]
        }
      }
    }]
  }'

Python: Schleife, bis das Modell eine endgültige Antwort gibt

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 32, "condition": "sunny"}  # call a real API here

FUNCS = {"get_weather": get_weather}
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
messages = [{"role": "user", "content": "What is the weather in Karachi and Lahore?"}]

for _ in range(5):  # stop after 5 rounds
    msg = client.chat.completions.create(model="auto", messages=messages, tools=tools).choices[0].message
    if not msg.tool_calls:
        print(msg.content)
        break
    messages.append(msg)
    for call in msg.tool_calls:
        try:
            args = json.loads(call.function.arguments or "{}")
            result = FUNCS[call.function.name](**args)
        except Exception as exc:  # bad JSON, unknown tool or wrong arguments
            result = {"error": str(exc)}
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})

Tool-Calling funktioniert auch mit stream=True. Sie erhalten Chunks mit delta.tool_calls und danach einen letzten Chunk mit finish_reason: "tool_calls". Fügen Sie die Argument-Chunks zusammen, bevor Sie das JSON parsen.

Ein Tool für strukturierte Daten nutzen

Tool-Calling ist auch ein guter Weg, Daten in einer festen Form zu erhalten. Definieren Sie ein Tool, dessen Parameter die gewünschten Felder sind. Setzen Sie tool_choice auf "required", damit das Modell ein Tool aufrufen muss. Lesen Sie dann die Argumente. Sie müssen keine Funktion ausführen.

Python: Felder mit einem erforderlichen Tool-Aufruf extrahieren

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
schema = {
    "type": "function",
    "function": {
        "name": "save_contact",
        "description": "Save one contact found in the text.",
        "parameters": {
            "type": "object",
            "properties": {"name": {"type": "string"}, "email": {"type": "string"}},
            "required": ["name", "email"],
        },
    },
}
resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Reach Sara Khan at [email protected]."}],
    tools=[schema],
    tool_choice="required",
)
print(json.loads(resp.choices[0].message.tool_calls[0].function.arguments))

Prüfen Sie die Argumente mit Ihrem eigenen Code. Ein Modell kann ein Pflichtfeld auslassen oder einen falschen Typ senden. Schlägt die Prüfung fehl, senden Sie den Fehler zurück und fragen Sie erneut.

Sicherheit: Führen Sie Tool-Aufrufe mit Nebenwirkungen, wie Zahlungen, E-Mails oder das Löschen von Dateien, nicht ohne Prüfung aus. Bitten Sie die Nutzerin oder den Nutzer, diese Aktionen zuerst zu bestätigen.

Fallstricke

  • Argumente sind ein String: function.arguments ist ein JSON-String. Parsen Sie ihn und fangen Sie Fehler ab. Kleine Modelle senden manchmal JSON, das nicht gültig ist.
  • IDs zuordnen: Jede Tool-Nachricht braucht die tool_call_id ihres Aufrufs. Fügen Sie die Assistant-Nachricht mit den tool_calls vor den Tool-Nachrichten ein.
  • Mehrere Aufrufe gleichzeitig: Ein Modell kann in einer Antwort mehr als einen Tool-Aufruf zurückgeben. Führen Sie alle aus und senden Sie dann alle Ergebnisse.
  • Token-Kosten: Jede Tool-Definition wird mit jeder Anfrage gesendet. Zwanzig große Tools können Tausende Tokens verbrauchen und schnell das Limit für Tokens pro Minute erreichen. Senden Sie nur die Tools, die die Aufgabe braucht.
  • Klare Beschreibungen: Das Modell wählt ein Tool anhand von Name und Beschreibung. Schreiben Sie einen kurzen Satz, der sagt, was das Tool tut und wann man es verwendet.
  • Schleife beenden: Legen Sie eine maximale Anzahl von Runden fest. Ein schwaches Modell kann dasselbe Tool immer wieder aufrufen.
  • Modelle ohne Tools: Manche kostenlosen Anbieter unterstützen keine Tools. AI Horde zum Beispiel verwirft die Tools und antwortet als einfacher Chat.
Gleiches Modell während einer Aufgabe: FreeLLMAPI hält eine Unterhaltung 30 Minuten lang auf einem Modell. Eine Tool-Schleife bleibt meist bei einem Modell. Erzwingt ein Limit einen Wechsel, erhält das nächste Modell den vollständigen Nachrichtenverlauf einschließlich der Tool-Ergebnisse.

Fehlerbehebung

ProblemUrsacheLösung
Das Modell antwortet mit Text und ruft kein Tool aufDas Modell kann Tools schwach nutzen, oder die Beschreibung ist unklarLegen Sie ein stärkeres Modell aus der Tabelle fest oder verbessern Sie die Tool-Beschreibung
json.JSONDecodeError bei den ArgumentenDas Modell hat ungültiges JSON gesendetFangen Sie den Fehler ab und senden Sie ihn als Tool-Ergebnis zurück, damit das Modell es erneut versuchen kann
Fehler 400 bei einer Tool-NachrichtDie tool_call_id passt nicht, oder die Assistant-Nachricht fehltFügen Sie zuerst die Assistant-Nachricht ein, dann für jeden Aufruf eine Tool-Nachricht
Fehler 429 während einer AgentenaufgabeDie Schleife sendet viele große AnfragenFügen Sie weitere Anbieterschlüssel hinzu und senden Sie weniger Tools
Die Schleife stoppt nichtDas Modell ruft dasselbe Tool erneut aufLegen Sie ein Rundenlimit fest und geben Sie klare Ergebnisse zurück
Nutzen Sie alle diese Modelle über einen einzigen Schlüssel. FreeLLMAPI ist ein Open-Source-Router, den Sie selbst hosten. Er stellt alle diese kostenlosen Angebote hinter einem einzigen OpenAI-kompatiblen Endpunkt bereit und wechselt zum nächsten Anbieter, wenn ein Anbieter das Limit erreicht. Katalog ansehen oder Jetzt starten.

Häufig gestellte Fragen

Welche kostenlosen LLM APIs unterstützen Function Calling?

Gemini, Groq, Cerebras, Mistral, OpenRouter, Cloudflare und andere Anbieter haben kostenlose Modelle mit Tool-Calling. Der Katalog von FreeLLMAPI enthält heute 190 kostenlose Modellangebote mit Tools.

Ist Tool-Calling dasselbe wie Function Calling?

Ja. OpenAI hat zuerst den Namen Function Calling verwendet. Die aktuelle API verwendet tools und tool_calls. Beide Namen bedeuten, dass das Modell Ihren Code bittet, eine Funktion auszuführen.

Funktioniert Tool-Calling von Gemini mit dem Format von OpenAI?

Ja, über FreeLLMAPI. Das Gateway übersetzt OpenAI-Tools in Gemini-functionDeclarations und die Antwort zurück in OpenAI-tool_calls.

Kann ich Tool-Aufrufe streamen?

Ja. Mit stream=True erhalten Sie Chunks mit delta.tool_calls und am Ende finish_reason tool_calls. Fügen Sie die Argument-Chunks zusammen, bevor Sie sie parsen.

Verwandte Anleitungen

Quellen

Alle Anleitungen · Alle kostenlosen Modelle ansehen