Головна / Посібники / Безкоштовний LLM API з викликом функцій

Безкоштовний LLM API з викликом функцій

Виклик функцій, або виклик інструментів, дозволяє LLM попросити ваш код виконати функцію. Агенти, чат-боти з живими даними і структуроване вилучення даних використовують це. Каталог FreeLLMAPI містить 190 безкоштовних пропозицій моделей з викликом інструментів. Ви надсилаєте tools у стилі OpenAI, а шлюз перетворює їх для кожного провайдера.

Код, назви моделей і мітки живого каталогу показано англійською.

Як працює виклик інструментів через FreeLLMAPI

  1. Ви надсилаєте повідомлення і список tools. Кожен інструмент має назву, опис і JSON Schema для своїх параметрів.
  2. Модель відповідає tool_calls і finish_reason: "tool_calls". Сама вона нічого не запускає.
  3. Ваш код запускає функцію і додає результат як повідомлення з role: "tool".
  4. Ви надсилаєте розмову ще раз. Модель використовує результат, щоб написати остаточну відповідь.

Провайдери, сумісні з OpenAI, такі як Groq, Cerebras, Mistral, OpenRouter і Cloudflare, отримують запит без змін. Для Gemini FreeLLMAPI перетворює інструменти у формат functionDeclarations від Google і перетворює відповідь назад. Ваш код однаковий для кожного провайдера.

Деякі моделі записують виклик інструмента як звичайний текст, а не як справжній виклик інструмента. FreeLLMAPI виявляє такі випадки і перетворює їх на справжні tool_calls.

Безкоштовні моделі з викликом інструментів на сьогодні

У таблиці наведено найсильніші безкоштовні моделі з викликом інструментів. Дані надходять з актуального каталогу. Для агентів також перевіряйте розмір контексту, оскільки описи інструментів і результати використовують багато токенів.

Безкоштовні моделі з викликом інструментів, найсильніші першими
МодельБезкоштовно наКонтекстБезкоштовні ліміти (найкращі)ІнструментиЗображення
GLM 5.3UnoRouter1M1 запитів/хв
1 req/min per model
ТакНі
Qwen3.8 MaxACLIDE-€20/month shared internal usage credits · no cardТакНі
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 запитів/хв
40 RPM
ТакТак
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaТакТак
Gemini Flash (latest alias)Google AI Studio-10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceТакНі
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditТакТак
Gemini 3.7 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditТакТак
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 запитів/хв
50 запитів/добу
50 req/day account-wide (1,000 after a $10 purchase)
ТакТак
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 запитів/хв
50 запитів/добу
Shared rate limit
ТакНі
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 запитів/хв
250 запитів/добу
70,000 токенів/хв
~6M
ТакТак
Gemini 3.6 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayТакТак
Gemini 3.5 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак

Показано 15 із 146 відповідних безкоштовних моделей. Переглянути всі моделі.

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

Крок 1: Встановіть FreeLLMAPI і додайте ключі

FreeLLMAPI має відкритий код. Він працює на вашому комп'ютері в Docker. Ваші ключі провайдерів залишаються на вашому комп'ютері.

Встановлення (macOS або Linux)

curl -fsSL https://freellmapi.co/install.sh | bash

Відкрийте панель керування за адресою http://localhost:3001. Додайте ключі від трьох або більше провайдерів на сторінці Keys. Цикл інструментів надсилає кілька запитів для одного завдання, тому більше ключів дає більше місця. Скопіюйте свій єдиний ключ з тієї самої сторінки.

Крок 2: Запустіть повний цикл інструментів

curl: перший запит

curl http://localhost:3001/v1/chat/completions \
  -H "Authorization: Bearer <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "What is the weather in Karachi?"}],
    "tools": [{
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
          "type": "object",
          "properties": {"city": {"type": "string"}},
          "required": ["city"]
        }
      }
    }]
  }'

Python: повторюйте цикл, доки модель не дасть остаточну відповідь

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 32, "condition": "sunny"}  # call a real API here

FUNCS = {"get_weather": get_weather}
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
messages = [{"role": "user", "content": "What is the weather in Karachi and Lahore?"}]

for _ in range(5):  # stop after 5 rounds
    msg = client.chat.completions.create(model="auto", messages=messages, tools=tools).choices[0].message
    if not msg.tool_calls:
        print(msg.content)
        break
    messages.append(msg)
    for call in msg.tool_calls:
        try:
            args = json.loads(call.function.arguments or "{}")
            result = FUNCS[call.function.name](**args)
        except Exception as exc:  # bad JSON, unknown tool or wrong arguments
            result = {"error": str(exc)}
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})

Виклик інструментів також працює з stream=True. Ви отримуєте фрагменти delta.tool_calls, а потім фінальний фрагмент з finish_reason: "tool_calls". Об'єднайте фрагменти аргументів перед тим, як розбирати JSON.

Використання інструмента для отримання структурованих даних

Виклик інструментів також є добрим способом отримати дані у фіксованій формі. Визначте один інструмент, параметри якого є полями, які вам потрібні. Встановіть tool_choice на "required", щоб модель обов'язково викликала інструмент. Потім прочитайте аргументи. Запускати жодну функцію не потрібно.

Python: вилучення полів з обов'язковим викликом інструмента

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
schema = {
    "type": "function",
    "function": {
        "name": "save_contact",
        "description": "Save one contact found in the text.",
        "parameters": {
            "type": "object",
            "properties": {"name": {"type": "string"}, "email": {"type": "string"}},
            "required": ["name", "email"],
        },
    },
}
resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Reach Sara Khan at [email protected]."}],
    tools=[schema],
    tool_choice="required",
)
print(json.loads(resp.choices[0].message.tool_calls[0].function.arguments))

Перевірте аргументи власним кодом. Модель може пропустити обов'язкове поле або надіслати неправильний тип. Якщо перевірка не пройдена, надішліть помилку назад і попросіть ще раз.

Безпека: не запускайте виклики інструментів з побічними ефектами, такими як платежі, листи або видалення файлів, без перевірки. Спочатку попросіть користувача підтвердити ці дії.

Типові помилки

  • Аргументи є рядком: function.arguments це рядок JSON. Розберіть його і обробляйте помилки. Малі моделі іноді надсилають JSON, який не є дійсним.
  • Збігайте ідентифікатори: кожне повідомлення інструмента потребує tool_call_id свого виклику. Додайте повідомлення асистента з tool_calls перед повідомленнями інструментів.
  • Кілька викликів одночасно: модель може повернути більше одного виклику інструмента в одній відповіді. Запустіть усі, а потім надішліть усі результати.
  • Вартість токенів: кожен опис інструмента надсилається з кожним запитом. Двадцять великих інструментів можуть використати тисячі токенів і швидко досягти низького ліміту токенів за хвилину. Надсилайте лише ті інструменти, які потрібні для завдання.
  • Чіткі описи: модель вибирає інструмент за його назвою і описом. Напишіть одне коротке речення, яке говорить, що робить інструмент і коли його використовувати.
  • Зупиняйте цикл: встановіть максимальну кількість раундів. Слабка модель може знову і знову викликати той самий інструмент.
  • Моделі без інструментів: деякі безкоштовні провайдери не підтримують інструменти. Наприклад, AI Horde прибирає інструменти і відповідає як звичайний чат.
Та сама модель під час завдання: FreeLLMAPI утримує розмову на одній моделі протягом 30 хвилин. Цикл інструментів зазвичай залишається на одній моделі. Якщо ліміт змушує змінити модель, наступна модель отримує повну історію повідомлень, включно з результатами інструментів.

Усунення несправностей

ПроблемаПричинаРішення
Модель відповідає текстом і не викликає інструментМодель слабко працює з інструментами або опис неяснийЗакріпіть сильнішу модель з таблиці або покращте опис інструмента
json.JSONDecodeError в аргументахМодель надіслала неправильний JSONПерехопіть помилку і надішліть її назад як результат інструмента, щоб модель могла спробувати ще раз
Помилка 400 через повідомлення інструментаtool_call_id не збігається або повідомлення асистента відсутнєСпочатку додайте повідомлення асистента, а потім по одному повідомленню інструмента для кожного виклику
Помилка 429 під час завдання агентаЦикл надсилає багато великих запитівДодайте більше ключів провайдерів і надсилайте менше інструментів
Цикл не зупиняєтьсяМодель знову викликає той самий інструментВстановіть ліміт раундів і повертайте зрозумілі результати
Використовуйте кожну з цих моделей через один ключ. FreeLLMAPI це маршрутизатор з відкритим кодом, який ви розгортаєте самі. Він об'єднує всі ці безкоштовні тарифи за однією кінцевою точкою, сумісною з OpenAI, і переходить до наступного, коли один з них досягає ліміту. Переглянути каталог або або почніть роботу.

Часті запитання

Які безкоштовні LLM API підтримують виклик функцій?

Gemini, Groq, Cerebras, Mistral, OpenRouter, Cloudflare та інші провайдери мають безкоштовні моделі з викликом інструментів. Каталог FreeLLMAPI містить 190 безкоштовних пропозицій моделей з інструментами на сьогодні.

Чи те саме виклик інструментів і виклик функцій?

Так. OpenAI спочатку використала назву виклик функцій. Поточний API використовує tools і tool_calls. Обидві назви означають, що модель просить ваш код виконати функцію.

Чи працює виклик інструментів Gemini у форматі OpenAI?

Так, через FreeLLMAPI. Шлюз перетворює інструменти OpenAI на functionDeclarations Gemini і перетворює відповідь назад на tool_calls OpenAI.

Чи можна передавати виклики інструментів потоком?

Так. З stream=True ви отримуєте фрагменти delta.tool_calls і фінальний finish_reason зі значенням tool_calls. Об'єднайте фрагменти аргументів перед їх розбором.

Схожі посібники

Джерела

Усі посібники · Переглянути всі безкоштовні моделі