Kostenlose LLM API mit Function Calling
Function Calling, auch Tool-Calling genannt, lässt ein LLM Ihren Code bitten, eine Funktion auszuführen. Agenten, Chatbots mit Live-Daten und strukturierte Extraktion nutzen alle diese Funktion. Der Katalog von FreeLLMAPI enthält 190 kostenlose Modellangebote mit Tool-Calling. Sie senden tools im Format von OpenAI, und das Gateway übersetzt sie für jeden Anbieter.
Code, Modellnamen und Bezeichnungen aus dem Live-Katalog werden auf Englisch angezeigt.
So funktioniert Tool-Calling über FreeLLMAPI
- Sie senden die Nachrichten und eine Liste von
tools. Jedes Tool hat einen Namen, eine Beschreibung und ein JSON Schema für seine Parameter. - Das Modell antwortet mit
tool_callsundfinish_reason: "tool_calls". Es führt selbst nichts aus. - Ihr Code führt die Funktion aus und fügt das Ergebnis als Nachricht mit
role: "tool"hinzu. - Sie senden die Unterhaltung erneut. Das Modell nutzt das Ergebnis, um die endgültige Antwort zu schreiben.
OpenAI-kompatible Anbieter, wie Groq, Cerebras, Mistral, OpenRouter und Cloudflare, erhalten die Anfrage unverändert. Für Gemini übersetzt FreeLLMAPI die Tools in das Format functionDeclarations von Google und die Antwort zurück. Ihr Code ist für jeden Anbieter gleich.
Manche Modelle schreiben einen Tool-Aufruf als einfachen Text statt als echten Tool-Aufruf. FreeLLMAPI erkennt das und wandelt es in echte tool_calls um.
Kostenlose Modelle mit Tool-Calling heute
Die Tabelle zeigt die stärksten kostenlosen Modelle mit Tool-Calling. Die Daten stammen aus dem aktuellen Katalog. Prüfen Sie bei Agenten auch die Kontextgröße, weil Tool-Definitionen und Ergebnisse viele Tokens verbrauchen.
| Modell | Kostenlos bei | Kontext | Kostenlose Limits (bestes Angebot) | Tools | Bildverarbeitung |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 Anfragen/Min. 1 req/min per model | Ja | Nein |
| Qwen3.8 Max | ACLIDE | - | €20/month shared internal usage credits · no card | Ja | Nein |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 Anfragen/Min. 40 RPM | Ja | Ja |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ja | Ja |
| Gemini Flash (latest alias) | Google AI Studio | - | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ja | Nein |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ja | Ja |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ja | Ja |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 Anfragen/Min. 50 Anfragen/Tag 50 req/day account-wide (1,000 after a $10 purchase) | Ja | Ja |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 Anfragen/Min. 50 Anfragen/Tag Shared rate limit | Ja | Nein |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 Anfragen/Min. 250 Anfragen/Tag 70,000 Token/Min. ~6M | Ja | Ja |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | Ja | Ja |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
Es werden 15 von 146 passenden kostenlosen Modellen angezeigt. Alle Modelle ansehen.
Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.
Schritt 1: FreeLLMAPI installieren und Schlüssel hinzufügen
FreeLLMAPI ist Open Source. Es läuft in Docker auf Ihrem Computer. Ihre Anbieterschlüssel bleiben auf Ihrem Computer.
Installation (macOS oder Linux)
curl -fsSL https://freellmapi.co/install.sh | bashÖffnen Sie das Dashboard unter http://localhost:3001. Fügen Sie auf der Seite Keys Schlüssel von drei oder mehr Anbietern hinzu. Eine Tool-Schleife sendet mehrere Anfragen für eine Aufgabe. Mehr Schlüssel bieten daher mehr Spielraum. Kopieren Sie Ihren einheitlichen Schlüssel von derselben Seite.
Schritt 2: Eine vollständige Tool-Schleife ausführen
curl: die erste Anfrage
curl http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "What is the weather in Karachi?"}],
"tools": [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"]
}
}
}]
}'Python: Schleife, bis das Modell eine endgültige Antwort gibt
import json
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 32, "condition": "sunny"} # call a real API here
FUNCS = {"get_weather": get_weather}
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "What is the weather in Karachi and Lahore?"}]
for _ in range(5): # stop after 5 rounds
msg = client.chat.completions.create(model="auto", messages=messages, tools=tools).choices[0].message
if not msg.tool_calls:
print(msg.content)
break
messages.append(msg)
for call in msg.tool_calls:
try:
args = json.loads(call.function.arguments or "{}")
result = FUNCS[call.function.name](**args)
except Exception as exc: # bad JSON, unknown tool or wrong arguments
result = {"error": str(exc)}
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})Tool-Calling funktioniert auch mit stream=True. Sie erhalten Chunks mit delta.tool_calls und danach einen letzten Chunk mit finish_reason: "tool_calls". Fügen Sie die Argument-Chunks zusammen, bevor Sie das JSON parsen.
Ein Tool für strukturierte Daten nutzen
Tool-Calling ist auch ein guter Weg, Daten in einer festen Form zu erhalten. Definieren Sie ein Tool, dessen Parameter die gewünschten Felder sind. Setzen Sie tool_choice auf "required", damit das Modell ein Tool aufrufen muss. Lesen Sie dann die Argumente. Sie müssen keine Funktion ausführen.
Python: Felder mit einem erforderlichen Tool-Aufruf extrahieren
import json
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
schema = {
"type": "function",
"function": {
"name": "save_contact",
"description": "Save one contact found in the text.",
"parameters": {
"type": "object",
"properties": {"name": {"type": "string"}, "email": {"type": "string"}},
"required": ["name", "email"],
},
},
}
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Reach Sara Khan at [email protected]."}],
tools=[schema],
tool_choice="required",
)
print(json.loads(resp.choices[0].message.tool_calls[0].function.arguments))Prüfen Sie die Argumente mit Ihrem eigenen Code. Ein Modell kann ein Pflichtfeld auslassen oder einen falschen Typ senden. Schlägt die Prüfung fehl, senden Sie den Fehler zurück und fragen Sie erneut.
Fallstricke
- Argumente sind ein String:
function.argumentsist ein JSON-String. Parsen Sie ihn und fangen Sie Fehler ab. Kleine Modelle senden manchmal JSON, das nicht gültig ist. - IDs zuordnen: Jede Tool-Nachricht braucht die
tool_call_idihres Aufrufs. Fügen Sie die Assistant-Nachricht mit dentool_callsvor den Tool-Nachrichten ein. - Mehrere Aufrufe gleichzeitig: Ein Modell kann in einer Antwort mehr als einen Tool-Aufruf zurückgeben. Führen Sie alle aus und senden Sie dann alle Ergebnisse.
- Token-Kosten: Jede Tool-Definition wird mit jeder Anfrage gesendet. Zwanzig große Tools können Tausende Tokens verbrauchen und schnell das Limit für Tokens pro Minute erreichen. Senden Sie nur die Tools, die die Aufgabe braucht.
- Klare Beschreibungen: Das Modell wählt ein Tool anhand von Name und Beschreibung. Schreiben Sie einen kurzen Satz, der sagt, was das Tool tut und wann man es verwendet.
- Schleife beenden: Legen Sie eine maximale Anzahl von Runden fest. Ein schwaches Modell kann dasselbe Tool immer wieder aufrufen.
- Modelle ohne Tools: Manche kostenlosen Anbieter unterstützen keine Tools. AI Horde zum Beispiel verwirft die Tools und antwortet als einfacher Chat.
Fehlerbehebung
| Problem | Ursache | Lösung |
|---|---|---|
| Das Modell antwortet mit Text und ruft kein Tool auf | Das Modell kann Tools schwach nutzen, oder die Beschreibung ist unklar | Legen Sie ein stärkeres Modell aus der Tabelle fest oder verbessern Sie die Tool-Beschreibung |
json.JSONDecodeError bei den Argumenten | Das Modell hat ungültiges JSON gesendet | Fangen Sie den Fehler ab und senden Sie ihn als Tool-Ergebnis zurück, damit das Modell es erneut versuchen kann |
| Fehler 400 bei einer Tool-Nachricht | Die tool_call_id passt nicht, oder die Assistant-Nachricht fehlt | Fügen Sie zuerst die Assistant-Nachricht ein, dann für jeden Aufruf eine Tool-Nachricht |
| Fehler 429 während einer Agentenaufgabe | Die Schleife sendet viele große Anfragen | Fügen Sie weitere Anbieterschlüssel hinzu und senden Sie weniger Tools |
| Die Schleife stoppt nicht | Das Modell ruft dasselbe Tool erneut auf | Legen Sie ein Rundenlimit fest und geben Sie klare Ergebnisse zurück |
Häufig gestellte Fragen
Welche kostenlosen LLM APIs unterstützen Function Calling?
Gemini, Groq, Cerebras, Mistral, OpenRouter, Cloudflare und andere Anbieter haben kostenlose Modelle mit Tool-Calling. Der Katalog von FreeLLMAPI enthält heute 190 kostenlose Modellangebote mit Tools.
Ist Tool-Calling dasselbe wie Function Calling?
Ja. OpenAI hat zuerst den Namen Function Calling verwendet. Die aktuelle API verwendet tools und tool_calls. Beide Namen bedeuten, dass das Modell Ihren Code bittet, eine Funktion auszuführen.
Funktioniert Tool-Calling von Gemini mit dem Format von OpenAI?
Ja, über FreeLLMAPI. Das Gateway übersetzt OpenAI-Tools in Gemini-functionDeclarations und die Antwort zurück in OpenAI-tool_calls.
Kann ich Tool-Aufrufe streamen?
Ja. Mit stream=True erhalten Sie Chunks mit delta.tool_calls und am Ende finish_reason tool_calls. Fügen Sie die Argument-Chunks zusammen, bevor Sie sie parsen.
Verwandte Anleitungen
- Kostenlose LLM-API für KI-Agenten
- Kostenlose Websuche-API für KI-Agenten
- Beste kostenlose Coding-Modell-APIs
- Kostenlose LLM-API für LangChain
- Kostenlose LLM-API in Python
Quellen
- FreeLLMAPI docs: Tool calling (geprüft 20 November 2026)
- FreeLLMAPI README: features (geprüft 20 November 2026)
- OpenAI API reference: Chat Completions tools (geprüft 20 November 2026)