Python에서 무료 LLM API
공식 openai Python 패키지는 모든 OpenAI 호환 API에서 작동합니다. Base URL과 키만 바꾸면 됩니다. 이 가이드는 FreeLLMAPI를 사용합니다. FreeLLMAPI는 45개의 무료 제공업체 티어를 키 하나 뒤에 묶고, 한도 때문에 요청이 중단되면 다음 제공업체로 넘어갑니다. 아래 각 예제는 완전하며 그대로 실행됩니다.
코드, 모델 이름, 실시간 카탈로그 레이블은 영어로 표시합니다.
설정
FreeLLMAPI를 설치하세요. Docker에서 실행됩니다. http://localhost:3001에서 대시보드를 열고, Keys 페이지에서 두 개 이상의 제공업체에 대한 무료 키를 추가한 다음 통합 키를 복사하세요. 그다음 Python 패키지를 설치하세요.
Python 코드는 통합 키만 사용합니다. 제공업체 키는 FreeLLMAPI 데이터베이스에 암호화되어 FreeLLMAPI에 남습니다. 제공업체 키를 바꾸거나 추가해도 코드는 바꿀 필요가 없습니다.
설치
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)모델 auto는 대시보드의 대체 체인을 따릅니다. auto:fast, auto:smart, auto:reliable, auto:coding 같은 프로필, 또는 고정 모델 ID도 사용할 수 있습니다.
스트리밍과 응답 헤더
답변 스트리밍
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()각 응답에는 응답한 제공업체와 모델이 담긴 X-Routed-Via 헤더가 있습니다. SDK로 헤더를 읽으려면 with_raw_response를 사용하고, 일반 객체를 얻기 위해 parse()를 호출하세요.
라우팅 헤더 읽기
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)도구 호출
OpenAI 스타일의 tools를 보내세요. 라우터는 이를 OpenAI 호환 제공업체에 전달하고, Gemini용으로 변환합니다. 답변은 모든 제공업체에서 같은 형식으로 돌아옵니다.
도구 호출 한 번과 최종 답변
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)일부 제공업체는 도구 호출을 일반 텍스트로 반환합니다. FreeLLMAPI는 이런 답변을 실제 tool_calls로 변환하므로, 코드는 한 가지 형식만 읽습니다. 모델은 도구 없이 답할 수도 있으므로, msg.tool_calls를 항상 먼저 확인한 뒤 msg.content를 읽으세요.
도구 호출을 지원하는 모델을 사용하세요. 다음 무료 모델은 도구를 지원하며 오늘 측정된 속도가 가장 빠릅니다:
| 모델 | 무료 제공 | 컨텍스트 | 무료 한도 (가장 좋은 조건) | 도구 | 비전 |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 요청/분 250 요청/일 70,000 토큰/분 ~6M | 예 | 예 |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 요청/분 50 요청/일 50 req/day account-wide (1,000 after a $10 purchase) | 예 | 아니요 |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq +1개 더 | 131K | 30 요청/분 1,000 요청/일 8,000 토큰/분 200,000 토큰/일 ~6M | 예 | 아니요 |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM +1개 더 | 131K | 30 요청/분 1,000 요청/일 8,000 토큰/분 200,000 토큰/일 ~6M | 예 | 아니요 |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 요청/분 1,000 요청/일 8,000 토큰/분 200,000 토큰/일 ~6M | 예 | 아니요 |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | 예 | 예 |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 요청/분 5,000 요청/일 500,000 토큰/일 500K tokens/day · 5,000 req/day | 예 | 예 |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 요청/일 200 rpd | 예 | 아니요 |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
일치하는 무료 모델 146개 중 10개를 표시합니다. 모든 모델 보기.
FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.
무료 한도 안에서 비동기 배치
AsyncOpenAI는 요청을 동시에 많이 보냅니다. 무료 티어는 분당 요청 수를 제한하므로, 세마포어로 동시 실행 수를 제한하세요. 이 예제는 모든 제공업체가 한도에 도달했을 때 재시도도 합니다.
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())라우터는 체인의 모든 키가 한도에 도달했을 때만 429를 반환합니다. 그러면 응답에 Retry-After 헤더가 포함됩니다. 세마포어 값을 작게 두고 제공업체 키를 더 많이 추가하면 큰 배치에서 가장 좋은 결과를 얻습니다.
작업마다 모델 문자열 선택
모델 문자열은 라우터에게 모델을 선택하는 방법을 알려 줍니다. 호출마다 다른 문자열을 사용할 수 있습니다. 대시보드를 바꿀 필요는 없습니다.
| 작업 | 모델 문자열 | 이유 |
|---|---|---|
| 사용자를 위한 채팅 답변 | auto | 대시보드에서 설정한 대체 체인을 따릅니다 |
| 분류, 추출, 짧은 요약 | auto:fast | 활성화된 모델을 측정된 속도 순으로 순위를 매깁니다 |
| 어려운 질문, 코드 리뷰, 계획 | auto:smart | 활성화된 모델을 지능 순으로 순위를 매깁니다 |
| 반드시 끝나야 하는 예약 작업 | auto:reliable | 활성화된 모델을 최근 성공률 순으로 순위를 매깁니다 |
| 한 앱을 위한 별도 체인 | auto:<profile> | 이름이 있는 대체 체인을 사용합니다 |
| 반복 가능해야 하는 테스트 | 고정 모델 ID | 매번 같은 모델을 쓰지만, 그 모델의 한도에 도달하면 멈춥니다 |
지금 키로 호출할 수 있는 모델을 보려면, 필터를 지정해 모델 목록을 요청하세요. 전체 목록에는 아직 키가 없는 모델도 포함됩니다.
지금 응답할 수 있는 모델 나열
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])상태가 exhausted인 모델은 키가 있지만 현재 모든 키가 한도에 도달한 상태입니다. 쿨다운이 끝나면 상태가 해제됩니다. 상태가 needsKey인 모델은 활성화된 키가 없습니다.
대화를 위해서는 X-Session-Id 헤더를 extra_headers와 함께 보내세요. 그러면 FreeLLMAPI는 그 대화를 30분 동안 한 모델에 유지합니다. 헤더가 없으면 첫 번째 사용자 메시지의 해시를 세션 키로 사용합니다.
임베딩
텍스트 임베딩
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")임베딩 대체는 모델을 절대 바꾸지 않습니다. 같은 계열을 제공하는 제공업체 사이에서만 이동하므로 벡터가 호환된 상태를 유지합니다. auto 값은 대시보드에서 설정한 기본 계열을 사용합니다.
input 목록 하나에 텍스트를 많이 담아 보내세요. 텍스트 32개를 담은 요청 하나는 무료 한도에서 요청 32개가 아니라 1개를 사용합니다. 각 텍스트는 계열의 최대 입력 이하로 유지하세요. 벡터와 함께 계열 이름을 저장하여, 나중에 쿼리도 같은 계열로 임베딩하세요.
오류와 해결 방법
| 예외 | 원인 | 해결 방법 |
|---|---|---|
openai.AuthenticationError | 잘못된 통합 키 | Keys 페이지에서 키를 다시 복사하세요 |
openai.APIConnectionError | FreeLLMAPI가 실행 중이 아니거나 포트가 잘못됨 | 브라우저에서 http://localhost:3001을 여세요 |
openai.NotFoundError | Base URL에 /v1이 없음 | http://localhost:3001/v1을 사용하세요 |
openai.RateLimitError | 체인의 모든 키가 한도에 도달함 | 제공업체를 추가하고, 동시 실행 수를 낮추고, Retry-After를 기다리세요 |
openai.BadRequestError가 auto:name과 함께 발생 | 프로필 이름이 없음 | 대시보드에서 프로필 이름을 확인하세요 |
이미지와 함께 openai.UnprocessableEntityError (422) | 체인에 비전 모델이 없음 | 대체 체인에서 비전 모델을 켜세요 |
무료 티어에는 SLA가 없습니다. 지연 시간은 하루 중 바뀝니다. 가장 강력한 모델이 일일 한도에 가장 먼저 도달하며, 많은 한도는 UTC 자정에 재설정됩니다. 정해진 시간 안에 응답해야 하는 서비스에는 무료 게이트웨이를 사용하지 마세요.
자주 묻는 질문
Python용 무료 LLM API가 있나요?
네. 많은 제공업체가 openai Python 패키지와 함께 작동하는 무료 티어를 제공합니다. FreeLLMAPI는 이들을 Base URL 하나와 키 하나 뒤에 묶고, 제공업체 사이에서 대체합니다.
다른 Base URL로 openai Python 라이브러리를 사용하려면 어떻게 하나요?
OpenAI() 또는 AsyncOpenAI()에 base_url을 전달하세요. 예를 들어 base_url="http://localhost:3001/v1"입니다. 게이트웨이 키는 api_key로 전달하세요.
Python에서 요청 한도 오류는 어떻게 처리하나요?
클라이언트에 max_retries를 설정하세요. openai.RateLimitError를 잡고, Retry-After 헤더를 읽은 다음 기다리세요. asyncio 세마포어로 동시 실행 수를 제한하세요.
Python에서 무료 LLM API로 스트리밍이 작동하나요?
네. stream=True를 전달하고 chunk.choices[0].delta.content를 읽으세요. FreeLLMAPI는 모든 제공업체에 대해 OpenAI 형식으로 스트리밍합니다.
무료 LLM API와 함께 Python 비동기를 사용할 수 있나요?
네. 같은 base_url과 키로 AsyncOpenAI를 사용하세요. 무료 티어는 분당 요청 수를 제한하므로, 병렬 요청 수를 작게 유지하세요.
관련 가이드
- 무료 OpenAI 호환 API Base URL
- LangChain용 무료 LLM API
- AI 에이전트용 무료 LLM API
- 함수 호출을 지원하는 무료 LLM API
- 무료 LLM API 속도 제한
출처
- OpenAI Python SDK README (async, retries, raw responses, errors) (20 November 2026 확인)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (20 November 2026 확인)
- FreeLLMAPI docs: degraded mode and failover (20 November 2026 확인)