Startseite / Anleitungen / Kostenlose LLM-API für KI-Agenten

Kostenlose LLM-API für KI-Agenten

Ein KI-Agent sendet für eine Aufgabe viele Modellanfragen. Jeder Schritt braucht Tool-Aufrufe und einen großen Kontext. Ein einzelner kostenloser Tarif bringt einen Agenten schnell an sein Limit. FreeLLMAPI bündelt 45 kostenlose Anbieter-Tarife hinter einem OpenAI-kompatiblen Schlüssel. Wenn ein Limit eine Anfrage stoppt, wechselt das System zum nächsten Anbieter, sodass der Agent weiterarbeiten kann. Dieser Leitfaden behandelt Tool-Aufrufe, Routing pro Schritt, lange Sitzungen und den MCP-Server des Routers.

Code, Modellnamen und Bezeichnungen aus dem Live-Katalog werden auf Englisch angezeigt.

Was ein Agent von einer kostenlosen API braucht

BedarfWarumWas FreeLLMAPI leistet
Tool-AufrufeDer Agent wählt Tools aus und führt sie ausÜbergibt tools im OpenAI-Format an jeden Anbieter. Wandelt Tool-Aufrufe aus reinem Text in echte tool_calls um.
Viele AnfragenEine Aufgabe kann 20 bis 100 Schritte umfassenZählt das Kontingent jedes Schlüssels und wechselt bei 429 zum nächsten Schlüssel oder Anbieter
Großer KontextTool-Ergebnisse und Verlauf wachsen mit jedem SchrittLeitet an Modelle aus Ihrer Kette weiter. Sie können ein Profil für langen Kontext anlegen.
Stabiles VerhaltenEin Modellwechsel mitten in einer Aufgabe kann den Agenten verwirrenHält eine Sitzung 30 Minuten lang auf einem Modell. Optionale Kontextübergabe bei einem Wechsel.
TransparenzSie müssen wissen, welches Modell einen Fehler verursacht hatDie Header X-Routed-Via und X-Fallback-Trail in jeder Antwort

Kostenlose Tarife haben Grenzen. Das Failover verteilt die Last auf Ihre Schlüssel, doch die Gesamtmenge bleibt die Summe der kostenlosen Limits. Für Agenten-Arbeit sollten Sie Schlüssel von vier oder mehr Anbietern hinzufügen.

Kostenlose Modelle mit Tool-Aufrufen und mehr als 128K Kontext
ModellKostenlos beiKontextKostenlose Limits (bestes Angebot)ToolsBildverarbeitung
GLM 5.3UnoRouter1M1 Anfragen/Min.
1 req/min per model
JaNein
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 Anfragen/Min.
40 RPM
JaJa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaJaJa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceJaNein
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditJaJa
Gemini 3.7 FlashGoogle AI Studio1M10 Anfragen/Min.
20 Anfragen/Tag
250,000 Token/Min.
~3M
JaJa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditJaJa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 Anfragen/Min.
50 Anfragen/Tag
50 req/day account-wide (1,000 after a $10 purchase)
JaJa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 Anfragen/Min.
50 Anfragen/Tag
Shared rate limit
JaNein
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 Anfragen/Min.
250 Anfragen/Tag
70,000 Token/Min.
~6M
JaJa
Gemini 3.6 FlashGoogle AI Studio1M10 Anfragen/Min.
20 Anfragen/Tag
250,000 Token/Min.
~3M
JaJa
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayJaJa

Es werden 12 von 109 passenden kostenlosen Modellen angezeigt. Alle Modelle ansehen.

Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.

Eine vollständige Agenten-Schleife in Python

Die folgende Schleife verwendet das offizielle OpenAI-SDK. Sie sendet die Tools, führt jeden Tool-Aufruf aus, sendet das Ergebnis zurück und stoppt, wenn das Modell eine endgültige Antwort gibt. Außerdem stoppt sie nach einer maximalen Anzahl von Schritten.

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: hält alle Schritte einer Aufgabe auf demselben Modell, solange dieses Modell Kontingent hat.
  • Retry-After: Wenn jeder Schlüssel an seinem Limit ist, gibt das Gateway 429 mit diesem Header zurück. Die Schleife wartet und versucht es erneut.
  • Tool-Fehler: Die Schleife sendet Fehler als Tool-Ergebnisse an das Modell zurück. Das Modell kann seinen Aufruf dann korrigieren.

Jeden Schritt an das richtige Modell leiten

Agenten-Schritte sind nicht gleich. Ein Planungsschritt braucht ein starkes Modell. Ein Schritt, der nur ein Feld extrahiert, braucht ein schnelles Modell. Verwenden Sie für jeden Schritttyp eine andere Modellangabe. Das Dashboard müssen Sie dafür nicht ändern.

ModellangabeSortiert Modelle nachEinsatz im Agenten
auto:smartIntelligenzPlanung, Tool-Auswahl, endgültige Antworten
auto:fastGemessene Geschwindigkeit und Zeit bis zum ersten ByteExtraktion, Klassifizierung, kurze Zusammenfassungen von Tool-Ausgaben
auto:reliableAktuelle ErfolgsquoteGeplante Agenten, die abgeschlossen werden müssen
auto:balancedZuerst Zuverlässigkeit, dann Geschwindigkeit und IntelligenzAllgemeiner Standard
auto:<profile>Ihre benannte Fallback-KetteEine Kette mit nur Tool-Modellen

Die Strategien auto:* bewerten jedes aktivierte Modell und ignorieren die Reihenfolge Ihrer Kette. Eine Anfrage mit Tools braucht trotzdem ein Modell mit Tool-Aufrufen. Unterstützen einige aktivierte Modelle Tools nicht gut, legen Sie ein Profil nur mit Tool-Modellen an. Verwenden Sie dann auto:<profile> für Tool-Schritte. Ein unbekannter Profilname gibt Fehler 400 zurück.

Der Header X-FreeLLM-Task-Type: code verschiebt für eine Anfrage das Gewicht des Routings von Geschwindigkeit zu Intelligenz. Das ist eine weiche Präferenz. Sie ändert weder die Fähigkeitsprüfungen noch die Fallback-Kette.

Lange Agenten-Sitzungen und Modellwechsel

Bei einer langen Aufgabe kann ein Modell sein Tageslimit erreichen. Der Router wechselt dann zu einem anderen Modell. Das neue Modell erhält den vollständigen Nachrichtenverlauf, weiß aber nicht, dass ein anderes Modell die früheren Schritte ausgeführt hat.

Aktivieren Sie die Kontextübergabe, damit bei einem Modellwechsel eine kurze Systemnachricht hinzugefügt wird. Die Nachricht weist das neue Modell an, die Aufgabe fortzusetzen und die früheren Tool-Ergebnisse zu behalten.

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • Die Übergabe-Nachricht wird nur hinzugefügt, wenn sich das gewählte Modell für eine Sitzung ändert.
  • Sitzungen werden 3 Stunden im Speicher gehalten. Es wird nichts auf die Festplatte geschrieben.
  • Der Sitzungsschlüssel ist der Header X-Session-Id. Ohne diesen Header ist er ein Hash der ersten Nutzernachricht.

Den Router als MCP-Server verwenden

FreeLLMAPI ist außerdem ein MCP-Server unter /mcp. Ein Agent, der MCP spricht, kann eine Textaufgabe an ein FreeLLMAPI-Modell senden. Er kann während einer Sitzung auch den Status des Gateways lesen: verfügbare Modelle und ihre Parameter, den Zustand der Anbieter, Nutzungs- und Cache-Statistiken sowie die Routing-Strategie.

Die MCP-Schnittstelle ist bei Neuinstallationen ausgeschaltet. Aktivieren Sie sie im Dashboard auf der Seite Keys unter Agent-Kompatibilität. Solange sie aus ist, gibt /mcp den Fehler 403 zurück.

MCP-Server zu Claude Code hinzufügen

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Jeder MCP-Client mit Streamable HTTP funktioniert auf die gleiche Weise. Richten Sie ihn auf /mcp und senden Sie den einheitlichen Schlüssel als Bearer-Token. Nützliche Tools sind healthcheck, list_models und ask_freellmapi. Das Tool ask_freellmapi führt eine Aufgabe über dieselbe Chat-Route wie die API aus, mit Routing und Fallback.

Für Coding-Agenten bietet FreeLLMAPI Setup-Befehle, die die Client-Konfiguration für Sie schreiben. Beispiele sind npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw und setup-hermes. Jeder Befehl unterstützt --dry-run und legt zuerst eine Sicherung an.

Fehlerbehebung

ProblemUrsacheLösung
Das Modell antwortet mit Text und ruft kein Tool aufDas Modell unterstützt Tool-Aufrufe nur schwachVerwenden Sie auto:<profile> nur mit Tool-Modellen
Der Agent startet die Aufgabe mitten im Lauf neuEin Limit hat einen Modellwechsel erzwungenSenden Sie X-Session-Id und aktivieren Sie die Kontextübergabe
Fehler 429 nach vielen SchrittenAlle Schlüssel in der Kette sind an ihrem LimitFügen Sie Anbieter hinzu, verwenden Sie auto:fast für kleine Schritte und warten Sie auf Retry-After
Fehler 400 mit auto:nameDas Profil existiert nichtPrüfen Sie den Profilnamen im Dashboard
/mcp gibt 403 zurückDie MCP-Schnittstelle ist ausAktivieren Sie sie auf der Seite Keys unter Agent-Kompatibilität
Fehler wegen der Kontextlänge spät in einer AufgabeDer Verlauf ist größer als das Kontextfenster des ModellsFassen Sie alte Tool-Ergebnisse zusammen oder verwenden Sie ein Profil für langen Kontext
Nutzen Sie alle diese Modelle über einen einzigen Schlüssel. FreeLLMAPI ist ein Open-Source-Router, den Sie selbst hosten. Er stellt alle diese kostenlosen Angebote hinter einem einzigen OpenAI-kompatiblen Endpunkt bereit und wechselt zum nächsten Anbieter, wenn ein Anbieter das Limit erreicht. Katalog ansehen oder Jetzt starten.

Häufig gestellte Fragen

Gibt es eine kostenlose LLM-API für KI-Agenten?

Ja. Mehrere Anbieter haben kostenlose Tarife mit Tool-Aufrufen. FreeLLMAPI kombiniert sie hinter einem OpenAI-kompatiblen Schlüssel und wechselt zum nächsten Anbieter, wenn ein Limit eine Anfrage stoppt.

Welches kostenlose LLM eignet sich am besten für Tool-Aufrufe?

Verwenden Sie ein Modell mit Tool-Aufrufen und einem Kontextfenster von 128K Tokens oder mehr. Die Tabelle auf dieser Seite zeigt die stärksten kostenlosen Modelle, die heute beide Regeln erfüllen.

Kann ich FreeLLMAPI als MCP-Server verwenden?

Ja. Aktivieren Sie die MCP-Schnittstelle auf der Seite Keys unter Agent-Kompatibilität. Verbinden Sie dann Ihren MCP-Client mit /mcp und senden Sie den einheitlichen Schlüssel als Bearer-Token.

Wie verhindere ich, dass ein Agent bei Rate-Limits ausfällt?

Fügen Sie Schlüssel von mehr Anbietern hinzu, senden Sie kleine Schritte an auto:fast, wiederholen Sie Anfragen bei 429 mit dem Header Retry-After und legen Sie eine maximale Anzahl von Schritten fest.

Was passiert, wenn das Modell mitten in einer Agenten-Aufgabe wechselt?

Das neue Modell erhält den vollständigen Nachrichtenverlauf. Ist die Kontextübergabe aktiv, erhält es außerdem einen kurzen Hinweis, der es anweist, die Aufgabe fortzusetzen.

Verwandte Anleitungen

Quellen

Alle Anleitungen · Alle kostenlosen Modelle ansehen