Kostenlose LLM-API für KI-Agenten
Ein KI-Agent sendet für eine Aufgabe viele Modellanfragen. Jeder Schritt braucht Tool-Aufrufe und einen großen Kontext. Ein einzelner kostenloser Tarif bringt einen Agenten schnell an sein Limit. FreeLLMAPI bündelt 45 kostenlose Anbieter-Tarife hinter einem OpenAI-kompatiblen Schlüssel. Wenn ein Limit eine Anfrage stoppt, wechselt das System zum nächsten Anbieter, sodass der Agent weiterarbeiten kann. Dieser Leitfaden behandelt Tool-Aufrufe, Routing pro Schritt, lange Sitzungen und den MCP-Server des Routers.
Code, Modellnamen und Bezeichnungen aus dem Live-Katalog werden auf Englisch angezeigt.
Was ein Agent von einer kostenlosen API braucht
| Bedarf | Warum | Was FreeLLMAPI leistet |
|---|---|---|
| Tool-Aufrufe | Der Agent wählt Tools aus und führt sie aus | Übergibt tools im OpenAI-Format an jeden Anbieter. Wandelt Tool-Aufrufe aus reinem Text in echte tool_calls um. |
| Viele Anfragen | Eine Aufgabe kann 20 bis 100 Schritte umfassen | Zählt das Kontingent jedes Schlüssels und wechselt bei 429 zum nächsten Schlüssel oder Anbieter |
| Großer Kontext | Tool-Ergebnisse und Verlauf wachsen mit jedem Schritt | Leitet an Modelle aus Ihrer Kette weiter. Sie können ein Profil für langen Kontext anlegen. |
| Stabiles Verhalten | Ein Modellwechsel mitten in einer Aufgabe kann den Agenten verwirren | Hält eine Sitzung 30 Minuten lang auf einem Modell. Optionale Kontextübergabe bei einem Wechsel. |
| Transparenz | Sie müssen wissen, welches Modell einen Fehler verursacht hat | Die Header X-Routed-Via und X-Fallback-Trail in jeder Antwort |
Kostenlose Tarife haben Grenzen. Das Failover verteilt die Last auf Ihre Schlüssel, doch die Gesamtmenge bleibt die Summe der kostenlosen Limits. Für Agenten-Arbeit sollten Sie Schlüssel von vier oder mehr Anbietern hinzufügen.
| Modell | Kostenlos bei | Kontext | Kostenlose Limits (bestes Angebot) | Tools | Bildverarbeitung |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 Anfragen/Min. 1 req/min per model | Ja | Nein |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 Anfragen/Min. 40 RPM | Ja | Ja |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ja | Ja |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ja | Nein |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ja | Ja |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ja | Ja |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 Anfragen/Min. 50 Anfragen/Tag 50 req/day account-wide (1,000 after a $10 purchase) | Ja | Ja |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 Anfragen/Min. 50 Anfragen/Tag Shared rate limit | Ja | Nein |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 Anfragen/Min. 250 Anfragen/Tag 70,000 Token/Min. ~6M | Ja | Ja |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | Ja | Ja |
Es werden 12 von 109 passenden kostenlosen Modellen angezeigt. Alle Modelle ansehen.
Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.
Eine vollständige Agenten-Schleife in Python
Die folgende Schleife verwendet das offizielle OpenAI-SDK. Sie sendet die Tools, führt jeden Tool-Aufruf aus, sendet das Ergebnis zurück und stoppt, wenn das Modell eine endgültige Antwort gibt. Außerdem stoppt sie nach einer maximalen Anzahl von Schritten.
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: hält alle Schritte einer Aufgabe auf demselben Modell, solange dieses Modell Kontingent hat.
- Retry-After: Wenn jeder Schlüssel an seinem Limit ist, gibt das Gateway 429 mit diesem Header zurück. Die Schleife wartet und versucht es erneut.
- Tool-Fehler: Die Schleife sendet Fehler als Tool-Ergebnisse an das Modell zurück. Das Modell kann seinen Aufruf dann korrigieren.
Jeden Schritt an das richtige Modell leiten
Agenten-Schritte sind nicht gleich. Ein Planungsschritt braucht ein starkes Modell. Ein Schritt, der nur ein Feld extrahiert, braucht ein schnelles Modell. Verwenden Sie für jeden Schritttyp eine andere Modellangabe. Das Dashboard müssen Sie dafür nicht ändern.
| Modellangabe | Sortiert Modelle nach | Einsatz im Agenten |
|---|---|---|
auto:smart | Intelligenz | Planung, Tool-Auswahl, endgültige Antworten |
auto:fast | Gemessene Geschwindigkeit und Zeit bis zum ersten Byte | Extraktion, Klassifizierung, kurze Zusammenfassungen von Tool-Ausgaben |
auto:reliable | Aktuelle Erfolgsquote | Geplante Agenten, die abgeschlossen werden müssen |
auto:balanced | Zuerst Zuverlässigkeit, dann Geschwindigkeit und Intelligenz | Allgemeiner Standard |
auto:<profile> | Ihre benannte Fallback-Kette | Eine Kette mit nur Tool-Modellen |
Die Strategien auto:* bewerten jedes aktivierte Modell und ignorieren die Reihenfolge Ihrer Kette. Eine Anfrage mit Tools braucht trotzdem ein Modell mit Tool-Aufrufen. Unterstützen einige aktivierte Modelle Tools nicht gut, legen Sie ein Profil nur mit Tool-Modellen an. Verwenden Sie dann auto:<profile> für Tool-Schritte. Ein unbekannter Profilname gibt Fehler 400 zurück.
Der Header X-FreeLLM-Task-Type: code verschiebt für eine Anfrage das Gewicht des Routings von Geschwindigkeit zu Intelligenz. Das ist eine weiche Präferenz. Sie ändert weder die Fähigkeitsprüfungen noch die Fallback-Kette.
Lange Agenten-Sitzungen und Modellwechsel
Bei einer langen Aufgabe kann ein Modell sein Tageslimit erreichen. Der Router wechselt dann zu einem anderen Modell. Das neue Modell erhält den vollständigen Nachrichtenverlauf, weiß aber nicht, dass ein anderes Modell die früheren Schritte ausgeführt hat.
Aktivieren Sie die Kontextübergabe, damit bei einem Modellwechsel eine kurze Systemnachricht hinzugefügt wird. Die Nachricht weist das neue Modell an, die Aufgabe fortzusetzen und die früheren Tool-Ergebnisse zu behalten.
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- Die Übergabe-Nachricht wird nur hinzugefügt, wenn sich das gewählte Modell für eine Sitzung ändert.
- Sitzungen werden 3 Stunden im Speicher gehalten. Es wird nichts auf die Festplatte geschrieben.
- Der Sitzungsschlüssel ist der Header
X-Session-Id. Ohne diesen Header ist er ein Hash der ersten Nutzernachricht.
Den Router als MCP-Server verwenden
FreeLLMAPI ist außerdem ein MCP-Server unter /mcp. Ein Agent, der MCP spricht, kann eine Textaufgabe an ein FreeLLMAPI-Modell senden. Er kann während einer Sitzung auch den Status des Gateways lesen: verfügbare Modelle und ihre Parameter, den Zustand der Anbieter, Nutzungs- und Cache-Statistiken sowie die Routing-Strategie.
Die MCP-Schnittstelle ist bei Neuinstallationen ausgeschaltet. Aktivieren Sie sie im Dashboard auf der Seite Keys unter Agent-Kompatibilität. Solange sie aus ist, gibt /mcp den Fehler 403 zurück.
MCP-Server zu Claude Code hinzufügen
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Jeder MCP-Client mit Streamable HTTP funktioniert auf die gleiche Weise. Richten Sie ihn auf /mcp und senden Sie den einheitlichen Schlüssel als Bearer-Token. Nützliche Tools sind healthcheck, list_models und ask_freellmapi. Das Tool ask_freellmapi führt eine Aufgabe über dieselbe Chat-Route wie die API aus, mit Routing und Fallback.
Für Coding-Agenten bietet FreeLLMAPI Setup-Befehle, die die Client-Konfiguration für Sie schreiben. Beispiele sind npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw und setup-hermes. Jeder Befehl unterstützt --dry-run und legt zuerst eine Sicherung an.
Fehlerbehebung
| Problem | Ursache | Lösung |
|---|---|---|
| Das Modell antwortet mit Text und ruft kein Tool auf | Das Modell unterstützt Tool-Aufrufe nur schwach | Verwenden Sie auto:<profile> nur mit Tool-Modellen |
| Der Agent startet die Aufgabe mitten im Lauf neu | Ein Limit hat einen Modellwechsel erzwungen | Senden Sie X-Session-Id und aktivieren Sie die Kontextübergabe |
| Fehler 429 nach vielen Schritten | Alle Schlüssel in der Kette sind an ihrem Limit | Fügen Sie Anbieter hinzu, verwenden Sie auto:fast für kleine Schritte und warten Sie auf Retry-After |
Fehler 400 mit auto:name | Das Profil existiert nicht | Prüfen Sie den Profilnamen im Dashboard |
/mcp gibt 403 zurück | Die MCP-Schnittstelle ist aus | Aktivieren Sie sie auf der Seite Keys unter Agent-Kompatibilität |
| Fehler wegen der Kontextlänge spät in einer Aufgabe | Der Verlauf ist größer als das Kontextfenster des Modells | Fassen Sie alte Tool-Ergebnisse zusammen oder verwenden Sie ein Profil für langen Kontext |
Häufig gestellte Fragen
Gibt es eine kostenlose LLM-API für KI-Agenten?
Ja. Mehrere Anbieter haben kostenlose Tarife mit Tool-Aufrufen. FreeLLMAPI kombiniert sie hinter einem OpenAI-kompatiblen Schlüssel und wechselt zum nächsten Anbieter, wenn ein Limit eine Anfrage stoppt.
Welches kostenlose LLM eignet sich am besten für Tool-Aufrufe?
Verwenden Sie ein Modell mit Tool-Aufrufen und einem Kontextfenster von 128K Tokens oder mehr. Die Tabelle auf dieser Seite zeigt die stärksten kostenlosen Modelle, die heute beide Regeln erfüllen.
Kann ich FreeLLMAPI als MCP-Server verwenden?
Ja. Aktivieren Sie die MCP-Schnittstelle auf der Seite Keys unter Agent-Kompatibilität. Verbinden Sie dann Ihren MCP-Client mit /mcp und senden Sie den einheitlichen Schlüssel als Bearer-Token.
Wie verhindere ich, dass ein Agent bei Rate-Limits ausfällt?
Fügen Sie Schlüssel von mehr Anbietern hinzu, senden Sie kleine Schritte an auto:fast, wiederholen Sie Anfragen bei 429 mit dem Header Retry-After und legen Sie eine maximale Anzahl von Schritten fest.
Was passiert, wenn das Modell mitten in einer Agenten-Aufgabe wechselt?
Das neue Modell erhält den vollständigen Nachrichtenverlauf. Ist die Kontextübergabe aktiv, erhält es außerdem einen kurzen Hinweis, der es anweist, die Aufgabe fortzusetzen.
Verwandte Anleitungen
- Kostenlose LLM API mit Function Calling
- Kostenlose LLM-API in Python
- Kostenlose LLM-API für LangChain
- Kostenlose LLM API für n8n
- So nutzen Sie Claude Code kostenlos
- Rate-Limits kostenloser LLM-APIs
Quellen
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (geprüft 20 November 2026)
- FreeLLMAPI docs: clients, MCP server and context handoff (geprüft 20 November 2026)
- OpenAI Python SDK: errors and retries (geprüft 20 November 2026)
- Claude Code docs: MCP (geprüft 20 November 2026)