Strona główna / Poradniki / Darmowe API LLM dla agentów AI

Darmowe API LLM dla agentów AI

Agent AI wysyła wiele żądań do modelu w ramach jednego zadania. Każdy krok wymaga wywoływania narzędzi i dużego kontekstu. Jeden darmowy plan szybko zatrzymuje agenta. FreeLLMAPI łączy 45 darmowych planów dostawców za jednym kluczem zgodnym z OpenAI. Gdy limit zablokuje żądanie, przechodzi do następnego dostawcy, dzięki czemu agent może dalej pracować. Ten poradnik opisuje wywoływanie narzędzi, routing dla każdego kroku, długie sesje i serwer MCP routera.

Kod, nazwy modeli i etykiety z katalogu na żywo są podane po angielsku.

Czego agent potrzebuje od darmowego API

PotrzebaDlaczegoCo robi FreeLLMAPI
Wywoływanie narzędziAgent wybiera i uruchamia narzędziaPrzekazuje każdemu dostawcy tools w stylu OpenAI. Zamienia tekstowe wywołania narzędzi na prawdziwe tool_calls.
Wiele żądańJedno zadanie może mieć od 20 do 100 krokówLiczy limit każdego klucza i po błędzie 429 przechodzi do następnego klucza lub dostawcy
Duży kontekstWyniki narzędzi i historia rosną w każdym krokuKieruje do modeli z Twojego łańcucha. Możesz utworzyć profil z długim kontekstem.
Stabilne zachowanieZmiana modelu w środku zadania może zmylić agentaUtrzymuje sesję na jednym modelu przez 30 minut. Opcjonalne przekazanie kontekstu przy zmianie.
WidocznośćMusisz wiedzieć, który model zawiódłNagłówki X-Routed-Via i X-Fallback-Trail w każdej odpowiedzi

Darmowe plany mają limity. Przełączanie awaryjne rozkłada obciążenie na Twoje klucze, ale łączny limit nadal jest sumą darmowych limitów. Do pracy z agentami dodaj klucze od czterech lub więcej dostawców.

Darmowe modele z wywoływaniem narzędzi i kontekstem 128K+
ModelZa darmo wKontekstDarmowe limity (najlepsza oferta)NarzędziaWizja
GLM 5.3UnoRouter1M1 żądań/min
1 req/min per model
TakNie
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 żądań/min
40 RPM
TakTak
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaTakTak
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceTakNie
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditTakTak
Gemini 3.7 FlashGoogle AI Studio1M10 żądań/min
20 żądań/dzień
250,000 tokenów/min
~3M
TakTak
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditTakTak
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 żądań/min
50 żądań/dzień
50 req/day account-wide (1,000 after a $10 purchase)
TakTak
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 żądań/min
50 żądań/dzień
Shared rate limit
TakNie
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 żądań/min
250 żądań/dzień
70,000 tokenów/min
~6M
TakTak
Gemini 3.6 FlashGoogle AI Studio1M10 żądań/min
20 żądań/dzień
250,000 tokenów/min
~3M
TakTak
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayTakTak

Pokazano 12 z 109 pasujących darmowych modeli. Zobacz wszystkie modele.

Dane na żywo z katalogu FreeLLMAPI (wersja 2026.11.19, sprawdzono 2026-11-19). Darmowe limity często się zmieniają. Katalog jest sprawdzany codziennie.

Kompletna pętla agenta w Pythonie

Poniższa pętla używa oficjalnego SDK OpenAI. Wysyła narzędzia, uruchamia każde wywołanie narzędzia, odsyła wynik i kończy działanie, gdy model poda ostateczną odpowiedź. Kończy się też po maksymalnej liczbie kroków.

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: utrzymuje wszystkie kroki jednego zadania na tym samym modelu, dopóki ten model ma dostępny limit.
  • Retry-After: gdy wszystkie klucze mają wyczerpany limit, brama zwraca 429 z tym nagłówkiem. Pętla czeka i próbuje ponownie.
  • Błędy narzędzi: pętla odsyła błędy do modelu jako wyniki narzędzi. Model może wtedy poprawić swoje wywołanie.

Kieruj każdy krok do właściwego modelu

Kroki agenta nie są sobie równe. Krok planowania wymaga mocnego modelu. Krok, który wyciąga jedno pole, wymaga szybkiego modelu. Użyj innego ciągu modelu dla każdego typu kroku. Panelu nie musisz zmieniać.

Ciąg modeluRanguje modele wedługZastosowanie w agencie
auto:smartInteligencjiPlanowania, wyboru narzędzi i ostatecznych odpowiedzi
auto:fastZmierzonej szybkości i czasu do pierwszego bajtuWyciągania danych, klasyfikacji i krótkich podsumowań wyników narzędzi
auto:reliableOstatniej skutecznościZaplanowanych agentów, które muszą się zakończyć
auto:balancedNajpierw niezawodność, potem szybkość i inteligencjaOgólny wybór domyślny
auto:<profile>Nazwany łańcuch awaryjnyŁańcuch tylko z modelami obsługującymi wywoływanie narzędzi

Strategie auto:* oceniają każdy włączony model i ignorują kolejność w Twoim łańcuchu. Żądanie z narzędziami nadal wymaga modelu z wywoływaniem narzędzi. Jeśli niektóre włączone modele słabo obsługują narzędzia, utwórz profil tylko z modelami wywołującymi narzędzia. Następnie użyj auto:<profile> w krokach z narzędziami. Nieznana nazwa profilu zwraca błąd 400.

Nagłówek X-FreeLLM-Task-Type: code przenosi wagę routingu z szybkości na inteligencję dla jednego żądania. To miękka preferencja. Nie zmienia sprawdzania możliwości ani łańcucha awaryjnego.

Długie sesje agenta i zmiany modelu

Podczas długiego zadania model może osiągnąć dzienny limit. Router przechodzi wtedy do innego modelu. Nowy model dostaje pełną historię wiadomości, ale nie wie, że poprzednie kroki wykonał inny model.

Włącz przekazanie kontekstu, aby przy zmianie modelu dodać jedną krótką wiadomość systemową. Wiadomość mówi nowemu modelowi, aby kontynuował zadanie i zachował wcześniejsze wyniki narzędzi.

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • Wiadomość przekazania jest dodawana tylko wtedy, gdy dla sesji zmienia się wybrany model.
  • Sesje są przechowywane w pamięci przez 3 godziny. Nic nie jest zapisywane na dysku.
  • Kluczem sesji jest nagłówek X-Session-Id. Bez tego nagłówka jest to skrót pierwszej wiadomości użytkownika.

Użyj routera jako serwera MCP

FreeLLMAPI jest też serwerem MCP pod adresem /mcp. Agent obsługujący MCP może wysłać zadanie tekstowe do modelu FreeLLMAPI. Może też odczytać stan bramy podczas sesji: dostępne modele i ich parametry, stan dostawców, statystyki użycia i pamięci podręcznej oraz strategię routingu.

Powierzchnia MCP jest wyłączona w nowych instalacjach. Włącz ją w panelu na stronie Keys, w sekcji Agent compatibility. Gdy jest wyłączona, /mcp zwraca 403.

Dodaj serwer MCP do Claude Code

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Każdy klient MCP z Streamable HTTP działa tak samo. Wskaż /mcp i wyślij wspólny klucz jako token Bearer. Przydatne narzędzia to healthcheck, list_models i ask_freellmapi. Narzędzie ask_freellmapi uruchamia zadanie przez tę samą trasę czatu co API, z routingiem i przełączaniem awaryjnym.

Dla agentów kodujących FreeLLMAPI ma polecenia konfiguracji, które za Ciebie zapisują konfigurację klienta. Przykłady to npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw i setup-hermes. Każde z tych poleceń obsługuje --dry-run i najpierw tworzy kopię zapasową.

Rozwiązywanie problemów

ProblemPrzyczynaRozwiązanie
Model odpowiada tekstem i nie wywołuje narzędziaModel słabo obsługuje wywoływanie narzędziUżyj auto:<profile> tylko z modelami wywołującymi narzędzia
Agent zaczyna zadanie od nowa w połowieLimit wymusił zmianę modeluWyślij X-Session-Id i włącz przekazanie kontekstu
Błąd 429 po wielu krokachWszystkie klucze w łańcuchu mają wyczerpany limitDodaj dostawców, użyj auto:fast do małych kroków i czekaj na Retry-After
Błąd 400 przy auto:nameProfil nie istniejeSprawdź nazwę profilu w panelu
/mcp zwraca 403Powierzchnia MCP jest wyłączonaWłącz ją w sekcji Agent compatibility na stronie Keys
Błędy długości kontekstu pod koniec zadaniaHistoria jest większa niż okno kontekstu modeluPodsumuj stare wyniki narzędzi albo użyj profilu z długim kontekstem
Używaj wszystkich tych modeli przez jeden klucz. FreeLLMAPI to router o otwartym kodzie, uruchamiany na własnym serwerze. Łączy wszystkie te darmowe plany za jednym punktem końcowym zgodnym z OpenAI i przełącza się na inny dostawcę, gdy limit zostanie przekroczony. Przeglądaj katalog lub uruchom.

Najczęstsze pytania

Czy istnieje darmowe API LLM dla agentów AI?

Tak. Kilku dostawców ma darmowe plany z wywoływaniem narzędzi. FreeLLMAPI łączy je za jednym kluczem zgodnym z OpenAI i przechodzi do następnego dostawcy, gdy limit zablokuje żądanie.

Który darmowy LLM najlepiej wywołuje narzędzia?

Używaj modelu z wywoływaniem narzędzi i oknem kontekstu co najmniej 128K tokenów. Tabela na tej stronie pokazuje najmocniejsze darmowe modele, które dziś spełniają oba warunki.

Czy mogę użyć FreeLLMAPI jako serwera MCP?

Tak. Włącz powierzchnię MCP na stronie Keys w sekcji Agent compatibility. Następnie połącz klienta MCP z /mcp, używając wspólnego klucza jako tokenu Bearer.

Jak sprawić, by agent nie zawodził na limitach?

Dodaj klucze od większej liczby dostawców, wysyłaj małe kroki do auto:fast, ponawiaj żądanie po błędzie 429 zgodnie z nagłówkiem Retry-After i ustaw maksymalną liczbę kroków.

Co się dzieje, gdy model zmienia się w środku zadania agenta?

Nowy model dostaje pełną historię wiadomości. Przy włączonym przekazaniu kontekstu dostaje też krótką notatkę, która mówi mu, aby kontynuował zadanie.

Powiązane poradniki

Źródła

Wszystkie poradniki · Przeglądaj wszystkie darmowe modele