홈 / 가이드 / AI 에이전트용 무료 LLM API

AI 에이전트용 무료 LLM API

AI 에이전트는 한 작업에 모델 요청을 많이 보냅니다. 각 단계에는 도구 호출과 큰 컨텍스트가 필요합니다. 무료 요금제 하나로는 에이전트가 금방 멈춥니다. FreeLLMAPI는 45개의 무료 제공업체 요금제를 하나의 OpenAI 호환 키 뒤에 묶습니다. 한도 때문에 요청이 막히면 다음 제공업체로 넘어가므로 에이전트는 계속 작업할 수 있습니다. 이 가이드는 도구 호출, 단계별 라우팅, 긴 세션, 라우터의 MCP 서버를 다룹니다.

코드, 모델 이름, 실시간 카탈로그 레이블은 영어로 표시합니다.

에이전트가 무료 API에 요구하는 것

요구 사항이유FreeLLMAPI의 동작
도구 호출에이전트가 도구를 선택하고 실행합니다각 제공업체에 OpenAI 스타일 tools를 전달합니다. 일반 텍스트 도구 호출을 실제 tool_calls로 변환합니다.
많은 요청한 작업에 20~100단계가 걸릴 수 있습니다키마다 할당량을 계산하고, 429가 나오면 다음 키나 제공업체로 넘어갑니다
큰 컨텍스트도구 결과와 기록이 단계마다 늘어납니다사용자의 체인에 있는 모델로 라우팅합니다. 긴 컨텍스트 프로필을 만들 수 있습니다.
안정적인 동작작업 중간에 모델이 바뀌면 에이전트가 혼란스러워질 수 있습니다세션을 30분 동안 한 모델에 유지합니다. 모델이 바뀔 때 선택적으로 컨텍스트를 넘겨줄 수 있습니다.
가시성어떤 모델이 실패했는지 알아야 합니다각 응답의 X-Routed-Via 및 X-Fallback-Trail 헤더

무료 요금제에는 한도가 있습니다. 실패 전환은 부하를 여러 키에 나누지만, 전체 용량은 여전히 무료 한도의 합입니다. 에이전트 작업에는 제공업체 네 곳 이상의 키를 추가하세요.

도구 호출과 128K 이상 컨텍스트를 지원하는 무료 모델
모델무료 제공컨텍스트무료 한도 (가장 좋은 조건)도구비전
GLM 5.3UnoRouter1M1 요청/분
1 req/min per model
예아니요
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 요청/분
40 RPM
예예
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quota예예
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowance예아니요
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring credit예예
Gemini 3.7 FlashGoogle AI Studio1M10 요청/분
20 요청/일
250,000 토큰/분
~3M
예예
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring credit예예
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 요청/분
50 요청/일
50 req/day account-wide (1,000 after a $10 purchase)
예예
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 요청/분
50 요청/일
Shared rate limit
예아니요
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 요청/분
250 요청/일
70,000 토큰/분
~6M
예예
Gemini 3.6 FlashGoogle AI Studio1M10 요청/분
20 요청/일
250,000 토큰/분
~3M
예예
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/day예예

일치하는 무료 모델 109개 중 12개를 표시합니다. 모든 모델 보기.

FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.

Python으로 만드는 완전한 에이전트 루프

아래 루프는 공식 OpenAI SDK를 사용합니다. 도구를 보내고, 각 도구 호출을 실행하고, 결과를 다시 보내고, 모델이 최종 답변을 주면 멈춥니다. 최대 단계 수에 도달해도 멈춥니다.

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: 해당 모델에 할당량이 남아 있는 동안 한 작업의 모든 단계를 같은 모델에 유지합니다.
  • Retry-After: 모든 키가 한도에 도달하면 게이트웨이가 이 헤더와 함께 429를 반환합니다. 루프는 기다렸다가 다시 시도합니다.
  • 도구 오류: 루프는 오류를 도구 결과로 모델에 다시 보냅니다. 그러면 모델이 호출을 고칠 수 있습니다.

각 단계를 올바른 모델로 라우팅하기

에이전트의 단계는 모두 같지 않습니다. 계획 단계에는 강한 모델이 필요합니다. 필드 하나를 추출하는 단계에는 빠른 모델이 필요합니다. 단계 유형마다 다른 모델 문자열을 사용하세요. 대시보드를 바꿀 필요는 없습니다.

모델 문자열순위 기준에이전트 용도
auto:smart지능계획, 도구 선택, 최종 답변
auto:fast측정된 속도와 첫 바이트 응답 시간추출, 분류, 도구 출력의 짧은 요약
auto:reliable최근 성공률반드시 완료되어야 하는 예약 에이전트
auto:balanced안정성 우선, 그다음 속도와 지능일반 기본값
auto:<profile>이름이 지정된 사용자의 실패 전환 체인도구 호출 모델만 있는 체인

auto:* 전략은 활성화된 모든 모델의 순위를 매기며, 사용자의 체인 순서는 무시합니다. 도구가 포함된 요청에는 여전히 도구 호출을 지원하는 모델이 필요합니다. 활성화된 모델 중 일부가 도구를 잘 지원하지 않는다면, 도구 호출 모델만 담은 프로필을 만드세요. 그다음 도구 단계에 auto:<profile>을 사용하세요. 없는 프로필 이름은 오류 400을 반환합니다.

헤더 X-FreeLLM-Task-Type: code는 요청 하나에 대해 라우팅 가중치를 속도에서 지능으로 옮깁니다. 이는 약한 선호 설정입니다. 기능 검사나 실패 전환 체인은 바꾸지 않습니다.

긴 에이전트 세션과 모델 변경

긴 작업 중에 모델이 일일 한도에 도달할 수 있습니다. 그러면 라우터가 다른 모델로 넘어갑니다. 새 모델은 전체 메시지 기록을 받지만, 앞선 단계를 다른 모델이 수행했다는 사실은 알지 못합니다.

컨텍스트 핸드오프를 켜면 모델이 바뀔 때 짧은 시스템 메시지가 하나 추가됩니다. 이 메시지는 새 모델에게 작업을 이어 가고 앞선 도구 결과를 유지하라고 알려 줍니다.

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • 핸드오프 메시지는 세션에서 선택된 모델이 바뀔 때만 추가됩니다.
  • 세션은 3시간 동안 메모리에 보관됩니다. 디스크에는 아무것도 기록되지 않습니다.
  • 세션 키는 X-Session-Id 헤더입니다. 헤더가 없으면 첫 번째 사용자 메시지의 해시가 사용됩니다.

라우터를 MCP 서버로 사용하기

FreeLLMAPI는 /mcp에서 MCP 서버이기도 합니다. MCP를 사용하는 에이전트는 FreeLLMAPI 모델에 텍스트 작업을 보낼 수 있습니다. 세션 중에 게이트웨이 상태도 읽을 수 있습니다. 사용 가능한 모델과 파라미터, 제공업체 상태, 사용량과 캐시 통계, 라우팅 전략이 여기에 포함됩니다.

MCP 기능은 새로 설치하면 꺼져 있습니다. 대시보드의 Keys 페이지에서 Agent compatibility 아래의 옵션을 켜세요. 꺼져 있는 동안 /mcp는 403을 반환합니다.

Claude Code에 MCP 서버 추가

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Streamable HTTP를 지원하는 MCP 클라이언트는 모두 같은 방식으로 동작합니다. /mcp를 가리키고, 통합 키를 Bearer 토큰으로 보내세요. 유용한 도구는 healthcheck, list_models, ask_freellmapi입니다. ask_freellmapi 도구는 API와 같은 채팅 경로로 작업을 실행하며, 라우팅과 실패 전환도 함께 적용됩니다.

코딩 에이전트에는 FreeLLMAPI가 클라이언트 설정을 대신 써 주는 설정 명령이 있습니다. 예를 들면 npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw, setup-hermes입니다. 각 명령은 --dry-run을 지원하며, 먼저 백업을 만듭니다.

문제 해결

문제원인해결 방법
모델이 텍스트로 답하고 도구를 호출하지 않습니다모델의 도구 호출 지원이 약합니다도구 호출 모델만 사용해 auto:<profile>을 쓰세요
에이전트가 작업 도중 처음부터 다시 시작합니다한도 때문에 모델이 바뀌어야 했습니다X-Session-Id를 보내고 컨텍스트 핸드오프를 켜세요
많은 단계 후 오류 429체인의 모든 키가 한도에 도달했습니다제공업체를 추가하고, 작은 단계에는 auto:fast를 쓰고, Retry-After까지 기다리세요
auto:name에서 오류 400프로필이 없습니다대시보드에서 프로필 이름을 확인하세요
/mcp가 403을 반환합니다MCP 기능이 꺼져 있습니다Keys 페이지의 Agent compatibility에서 켜세요
작업 후반에 컨텍스트 길이 오류기록이 모델의 윈도우보다 큽니다오래된 도구 결과를 요약하거나 긴 컨텍스트 프로필을 쓰세요
하나의 키로 이 모델을 모두 사용하십시오. FreeLLMAPI는 오픈 소스이며 직접 호스팅하는 라우터입니다. 이 모든 무료 제공 서비스를 하나의 OpenAI 호환 엔드포인트로 묶고, 요청 한도에 걸리면 다른 모델로 자동 전환합니다. 카탈로그 보기 또는 바로 시작.

자주 묻는 질문

AI 에이전트를 위한 무료 LLM API가 있나요?

네. 여러 제공업체가 도구 호출을 지원하는 무료 요금제를 제공합니다. FreeLLMAPI는 이들을 하나의 OpenAI 호환 키 뒤에 묶고, 한도 때문에 요청이 막히면 다음 제공업체로 넘어갑니다.

도구 호출에 가장 좋은 무료 LLM은 무엇인가요?

도구 호출을 지원하고 컨텍스트 윈도우가 128K 토큰 이상인 모델을 사용하세요. 이 페이지의 표는 현재 두 조건을 모두 충족하는 가장 강력한 무료 모델을 보여 줍니다.

FreeLLMAPI를 MCP 서버로 사용할 수 있나요?

네. Keys 페이지의 Agent compatibility에서 MCP 기능을 켜세요. 그다음 MCP 클라이언트를 통합 키를 Bearer 토큰으로 사용해 /mcp에 연결하세요.

에이전트가 속도 제한 때문에 실패하지 않게 하려면 어떻게 하나요?

더 많은 제공업체의 키를 추가하고, 작은 단계는 auto:fast로 보내고, 429가 나오면 Retry-After 헤더를 보고 다시 시도하고, 최대 단계 수를 설정하세요.

AI 에이전트 작업 중간에 모델이 바뀌면 어떻게 되나요?

새 모델은 전체 메시지 기록을 받습니다. 컨텍스트 핸드오프가 켜져 있으면 작업을 이어 가라는 짧은 메모도 함께 받습니다.

관련 가이드

출처

전체 가이드 · 무료 모델 전체 보기