함수 호출을 지원하는 무료 LLM API
함수 호출, 즉 도구 호출을 쓰면 LLM이 사용자의 코드에 함수 실행을 요청할 수 있습니다. 에이전트, 실시간 데이터를 다루는 챗봇, 구조화된 데이터 추출이 모두 이 기능을 씁니다. FreeLLMAPI 카탈로그에는 도구 호출을 지원하는 무료 모델 옵션이 190개 있습니다. OpenAI 스타일 tools를 보내면, 게이트웨이가 각 제공업체에 맞게 번역합니다.
코드, 모델 이름, 실시간 카탈로그 레이블은 영어로 표시합니다.
FreeLLMAPI를 통한 도구 호출 작동 방식
- 메시지와
tools목록을 보냅니다. 각 도구에는 이름, 설명, 매개변수용 JSON Schema가 있습니다. - 모델은
tool_calls와finish_reason: "tool_calls"로 답변합니다. 모델이 직접 무언가를 실행하지는 않습니다. - 사용자의 코드가 함수를 실행하고, 결과를
role: "tool"메시지로 추가합니다. - 대화를 다시 보냅니다. 모델은 결과를 사용해 최종 답변을 작성합니다.
Groq, Cerebras, Mistral, OpenRouter, Cloudflare 같은 OpenAI 호환 제공업체는 요청을 그대로 받습니다. Gemini의 경우 FreeLLMAPI는 도구를 Google의 functionDeclarations 형식으로 번역하고, 답변을 다시 번역합니다. 사용자의 코드는 모든 제공업체에서 같습니다.
일부 모델은 실제 도구 호출 대신 도구 호출을 일반 텍스트로 씁니다. FreeLLMAPI는 이를 감지하고 실제 tool_calls로 바꿉니다.
오늘 도구 호출을 지원하는 무료 모델
표는 도구 호출을 지원하는 가장 성능 좋은 무료 모델을 보여 줍니다. 데이터는 실시간 카탈로그에서 가져옵니다. 에이전트에는 도구 정의와 결과가 많은 토큰을 쓰므로, 컨텍스트 크기도 함께 확인하세요.
| 모델 | 무료 제공 | 컨텍스트 | 무료 한도 (가장 좋은 조건) | 도구 | 비전 |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 요청/분 1 req/min per model | 예 | 아니요 |
| Qwen3.8 Max | ACLIDE | - | €20/month shared internal usage credits · no card | 예 | 아니요 |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 요청/분 40 RPM | 예 | 예 |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | 예 | 예 |
| Gemini Flash (latest alias) | Google AI Studio | - | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | 예 | 아니요 |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | 예 | 예 |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | 예 | 예 |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 요청/분 50 요청/일 50 req/day account-wide (1,000 after a $10 purchase) | 예 | 예 |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 요청/분 50 요청/일 Shared rate limit | 예 | 아니요 |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 요청/분 250 요청/일 70,000 토큰/분 ~6M | 예 | 예 |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | 예 | 예 |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
일치하는 무료 모델 146개 중 15개를 표시합니다. 모든 모델 보기.
FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.
1단계: FreeLLMAPI 설치 및 키 추가
FreeLLMAPI는 오픈 소스입니다. Docker로 사용자 컴퓨터에서 실행됩니다. 제공업체 키는 사용자 컴퓨터에 남아 있습니다.
설치 (macOS 또는 Linux)
curl -fsSL https://freellmapi.co/install.sh | bashhttp://localhost:3001에서 대시보드를 여세요. Keys 페이지에서 제공업체 세 곳 이상의 키를 추가하세요. 도구 루프는 작업 하나에 여러 요청을 보내므로, 키가 많을수록 여유가 생깁니다. 같은 페이지에서 통합 키를 복사하세요.
2단계: 완전한 도구 루프 실행
curl: 첫 번째 요청
curl http://localhost:3001/v1/chat/completions \
-H "Authorization: Bearer <unified-key>" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "What is the weather in Karachi?"}],
"tools": [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"]
}
}
}]
}'Python: 모델이 최종 답변을 줄 때까지 반복
import json
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 32, "condition": "sunny"} # call a real API here
FUNCS = {"get_weather": get_weather}
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "What is the weather in Karachi and Lahore?"}]
for _ in range(5): # stop after 5 rounds
msg = client.chat.completions.create(model="auto", messages=messages, tools=tools).choices[0].message
if not msg.tool_calls:
print(msg.content)
break
messages.append(msg)
for call in msg.tool_calls:
try:
args = json.loads(call.function.arguments or "{}")
result = FUNCS[call.function.name](**args)
except Exception as exc: # bad JSON, unknown tool or wrong arguments
result = {"error": str(exc)}
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})도구 호출은 stream=True로도 동작합니다. delta.tool_calls 청크를 받고, 이어서 finish_reason: "tool_calls"가 있는 마지막 청크를 받습니다. JSON을 파싱하기 전에 인자 청크를 이어 붙이세요.
도구로 구조화된 데이터 얻기
도구 호출은 고정된 형태의 데이터를 얻는 좋은 방법이기도 합니다. 원하는 필드를 매개변수로 가진 도구 하나를 정의하세요. tool_choice를 "required"로 설정하면, 모델은 반드시 도구를 호출해야 합니다. 그런 다음 인자를 읽으세요. 함수를 실행할 필요는 없습니다.
Python: 필수 도구 호출로 필드 추출
import json
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>")
schema = {
"type": "function",
"function": {
"name": "save_contact",
"description": "Save one contact found in the text.",
"parameters": {
"type": "object",
"properties": {"name": {"type": "string"}, "email": {"type": "string"}},
"required": ["name", "email"],
},
},
}
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Reach Sara Khan at [email protected]."}],
tools=[schema],
tool_choice="required",
)
print(json.loads(resp.choices[0].message.tool_calls[0].function.arguments))인자는 직접 작성한 코드로 검증하세요. 모델은 필수 필드를 빠뜨리거나 잘못된 타입을 보낼 수 있습니다. 검사에 실패하면 오류를 다시 보내고 다시 요청하세요.
주의 사항
- 인자는 문자열입니다:
function.arguments는 JSON 문자열입니다. 파싱하고, 오류를 잡으세요. 작은 모델은 때때로 올바르지 않은 JSON을 보냅니다. - ID를 맞추세요: 각 도구 메시지에는 해당 호출의
tool_call_id가 필요합니다. 도구 메시지 앞에tool_calls가 있는 어시스턴트 메시지를 추가하세요. - 여러 호출을 동시에: 모델은 한 답변에서 도구 호출을 둘 이상 반환할 수 있습니다. 모두 실행한 다음, 결과를 모두 보내세요.
- 토큰 비용: 각 도구 정의는 모든 요청에 함께 보내집니다. 큰 도구 스무 개는 수천 토큰을 쓸 수 있으며, 분당 토큰 한도에 빨리 도달합니다. 작업에 필요한 도구만 보내세요.
- 명확한 설명: 모델은 이름과 설명으로 도구를 고릅니다. 도구가 무엇을 하는지, 언제 쓰는지 짧은 문장 하나로 쓰세요.
- 루프 멈추기: 최대 라운드 수를 설정하세요. 약한 모델은 같은 도구를 계속 호출할 수 있습니다.
- 도구를 지원하지 않는 모델: 일부 무료 제공업체는 도구를 지원하지 않습니다. 예를 들어 AI Horde는 도구를 버리고 일반 채팅으로 답변합니다.
문제 해결
| 문제 | 원인 | 해결 방법 |
|---|---|---|
| 모델이 텍스트로 답하고 도구를 호출하지 않음 | 모델의 도구 처리 능력이 약하거나, 설명이 명확하지 않음 | 표에서 더 강한 모델을 고정하거나, 도구 설명을 개선하세요 |
인자에서 json.JSONDecodeError | 모델이 올바르지 않은 JSON을 보냄 | 오류를 잡아 도구 결과로 다시 보내세요. 그러면 모델이 다시 시도할 수 있습니다 |
| 도구 메시지에 대한 오류 400 | tool_call_id가 맞지 않거나, 어시스턴트 메시지가 없음 | 어시스턴트 메시지를 먼저 추가한 다음, 호출마다 도구 메시지를 하나씩 추가하세요 |
| 에이전트 작업 중 오류 429 | 루프가 크고 많은 요청을 보냄 | 제공업체 키를 더 추가하고, 도구를 더 적게 보내세요 |
| 루프가 멈추지 않음 | 모델이 같은 도구를 다시 호출함 | 라운드 한도를 설정하고, 결과를 명확하게 반환하세요 |
자주 묻는 질문
함수 호출을 지원하는 무료 LLM API는 무엇인가요?
Gemini, Groq, Cerebras, Mistral, OpenRouter, Cloudflare 등 여러 제공업체에 도구 호출을 지원하는 무료 모델이 있습니다. FreeLLMAPI 카탈로그에는 오늘 도구를 지원하는 무료 모델 옵션이 190개 있습니다.
도구 호출과 함수 호출은 같은 것인가요?
예. OpenAI가 처음 함수 호출(function calling)이라는 이름을 썼습니다. 현재 API는 tools와 tool_calls를 씁니다. 두 이름 모두 모델이 사용자의 코드에 함수 실행을 요청한다는 뜻입니다.
Gemini의 도구 호출을 OpenAI 형식으로 쓸 수 있나요?
예. FreeLLMAPI를 통하면 가능합니다. 게이트웨이는 OpenAI tools를 Gemini functionDeclarations로 번역하고, 답변을 다시 OpenAI tool_calls로 번역합니다.
도구 호출을 스트리밍할 수 있나요?
예. stream=True를 쓰면 delta.tool_calls 청크를 받고, 마지막 finish_reason은 tool_calls입니다. 파싱하기 전에 인자 청크를 이어 붙이세요.
관련 가이드
출처
- FreeLLMAPI docs: Tool calling (20 November 2026 확인)
- FreeLLMAPI README: features (20 November 2026 확인)
- OpenAI API reference: Chat Completions tools (20 November 2026 확인)