RAG용 무료 LLM API
검색 증강 생성(RAG)에는 API가 두 개 필요합니다. 관련 텍스트를 찾는 임베딩 모델과 답변을 쓰는 채팅 모델입니다. 둘 다 무료 요금제에서 쓸 수 있습니다. FreeLLMAPI는 41개의 무료 임베딩 모델과 487개의 무료 채팅 모델을 하나의 OpenAI 호환 키로 제공하며, 제공업체 간 실패 전환을 지원합니다. 이 가이드는 각 단계의 무료 모델과 완전한 Python 파이프라인을 보여 줍니다.
코드, 모델 이름, 실시간 카탈로그 레이블은 영어로 표시합니다.
무료 요금제의 RAG 파이프라인
| 단계 | API | 무료 요금제 주의점 |
|---|---|---|
| 1. 문서를 청크로 나누기 | 없음 (로컬 코드) | 없음 |
| 2. 각 청크 임베딩하기 | /v1/embeddings | 시작할 때 요청이 많습니다. 일부 무료 임베딩 요금제는 분당 10개 요청을 허용합니다. |
| 3. 질문 임베딩하기 | /v1/embeddings | 질문마다 요청 하나 |
| 4. 상위 청크 찾기 | 없음 (로컬 벡터 검색) | 없음 |
| 5. 청크 재순위화 (선택 사항) | /v1/chat/completions | 질문마다 채팅 요청 하나 추가 |
| 6. 답변 작성하기 | /v1/chat/completions | 큰 프롬프트. 분당 토큰 한도가 적용됩니다. |
2단계는 비용이 가장 큰 단계입니다. 문서마다 한 번만 하세요. 벡터를 저장하고, 나중에는 새 문서나 바뀐 문서만 임베딩하세요.
FreeLLMAPI와 Python 패키지 설치하기
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>무료 임베딩 모델 선택하기
임베딩 계열 하나를 고르고 전체 인덱스에 계속 사용하세요. 두 모델의 벡터는 호환되지 않습니다. FreeLLMAPI는 섞인 벡터로부터 사용자를 보호합니다. 임베딩 실패 전환은 모델을 바꾸지 않습니다. 같은 계열을 제공하는 제공업체 사이에서만 이동합니다.
| 모델 | 제공업체 | 차원 | 최대 입력 | 무료 한도 |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.
- 한 계열에 여러 제공업체:
bge-m3같은 계열은 둘 이상의 제공업체에서 무료입니다. 그래야 실패 전환이 갈 곳을 갖습니다. - 최대 입력: 최대 입력보다 긴 청크는 잘리거나 거부됩니다. 청크를 이 값보다 작게 만드세요.
- 언어: 영어가 아닌 텍스트에는
bge-m3같은 다국어 계열을 쓰세요. 이름에-en-이 있는 계열은 영어용입니다. - 차원: 벡터가 클수록 저장 공간을 더 씁니다. 작은 인덱스에서는 문제가 되지 않습니다.
Python으로 만드는 완전한 RAG 코드
이 스크립트는 텍스트 파일을 청크로 나누고, 배치로 임베딩한 다음 벡터를 NumPy로 저장합니다. 그런 다음 상위 청크로 질문에 답하고 출처를 제공합니다. 한도 때문에 요청이 막히면 다시 시도합니다.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))수천 개 청크가 넘으면 NumPy 검색을 벡터 데이터베이스로 바꾸세요. 임베딩과 채팅 호출은 그대로 유지됩니다.
사용자는 같은 질문을 자주 다시 합니다. FreeLLMAPI에는 동일한 요청을 위한 선택형 응답 캐시가 있습니다. 캐시 적중은 제공업체 할당량을 쓰지 않습니다. 요청 하나에 대해 X-FreeLLM-Cache: on 또는 off 헤더로 캐시를 켜거나 끌 수 있습니다. 같은 질문이 같은 요청이 되도록 temperature=0을 사용하세요.
재순위화 단계 추가하기
벡터 검색은 비슷한 텍스트를 찾지만, 상위 청크가 항상 가장 좋은 답은 아닙니다. 재순위화 단계는 후보를 다시 정렬합니다. FreeLLMAPI 문서에는 전용 재순위화 엔드포인트가 나와 있지 않습니다. 빠른 채팅 모델을 재순위화 도구로 쓸 수 있습니다. 후보 15개를 가져와 최고의 5개를 남기세요.
auto:fast로 LLM 재순위화
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]재순위화 단계는 질문마다 채팅 요청을 하나 추가합니다. 무료 한도가 빠듯하면 이 단계를 건너뛰세요. 더 나은 청킹이 재순위화 단계보다 도움이 되는 경우가 많습니다.
긴 컨텍스트: 검색이 필요 없을 때
현재 56개의 무료 모델 옵션은 100만 토큰 이상의 컨텍스트 윈도우를 가집니다. 문서가 작다면 모든 문서를 프롬프트에 넣고 벡터 인덱스를 건너뛸 수 있습니다. 이 방법은 더 단순하지만, 질문마다 많은 토큰을 보냅니다.
| 모델 | 무료 제공 | 컨텍스트 | 무료 한도 (가장 좋은 조건) | 도구 | 비전 |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | 아니요 | 아니요 |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 요청/분 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | 예 | 예 |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 요청/분 50 요청/일 Shared rate limit | 예 | 아니요 |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | 아니요 | 아니요 |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | 아니요 | 아니요 |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 요청/분 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | 아니요 | 아니요 |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3개 더 | 1M | 200 요청/일 200 rpd | 예 | 아니요 |
일치하는 무료 모델 35개 중 10개를 표시합니다. 모든 모델 보기.
FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.
- 긴 컨텍스트를 쓰세요: 문서가 몇 개일 때, 전체 텍스트가 필요한 질문일 때, 또는 보고서 하나일 때 쓰세요.
- 검색을 쓰세요: 문서가 많을 때, 질문이 잦을 때, 또는 무료 분당 토큰 한도가 낮을 때 쓰세요.
- 둘을 결합하세요: 청크를 20개 이상 검색한 다음, 긴 컨텍스트 모델로 보내세요.
분당 토큰 한도가 낮은 제공업체에서는 큰 프롬프트가 실패할 수 있습니다. 그러면 FreeLLMAPI는 다음 제공업체를 시도합니다. 큰 프롬프트를 받을 모델을 제어하려면, 긴 컨텍스트 모델만 담은 실패 전환 체인 프로필을 만드세요. 그다음 auto:<profile>로 사용하세요.
한도와 문제 해결
| 문제 | 원인 | 해결 방법 |
|---|---|---|
| 수집이 429에서 멈춥니다 | 임베딩 계열이 모든 제공업체에서 한도에 도달했습니다 | 배치를 더 크게 하고, Retry-After를 기다리고, 여러 번에 나눠 수집하세요 |
| 변경 후 결과가 나빠졌습니다 | 인덱스에 두 계열의 벡터가 들어 있습니다 | 하나의 계열로 모든 청크를 다시 임베딩하세요 |
| 입력 길이에 관한 오류 | 청크 하나가 계열의 최대 입력보다 깁니다 | 더 작은 청크를 사용하세요 |
| 답변이 출처를 무시합니다 | 모델이 자신의 지식으로 답합니다 | temperature=0과 엄격한 시스템 프롬프트를 사용하세요 |
| 답변에서 컨텍스트 길이 오류 | 청크가 너무 많거나 너무 깁니다 | k를 낮추거나 긴 컨텍스트 프로필을 사용하세요 |
| 답변의 문체가 바뀝니다 | 라우터가 다른 모델을 선택했습니다 | X-Session-Id 헤더를 보내거나 모델을 고정하세요 |
무료 요금제에는 SLA가 없습니다. 가장 강력한 모델이 일일 한도에 가장 먼저 도달하며, 많은 한도는 UTC 자정에 초기화됩니다. 사용하는 체인이 실제로 쓸 모델로 파이프라인을 테스트하세요.
자주 묻는 질문
RAG를 위한 무료 API가 있나요?
네. 여러 제공업체가 무료 임베딩 및 채팅 요금제를 제공합니다. FreeLLMAPI는 둘 다 하나의 OpenAI 호환 키로 제공하며, 제공업체 간 실패 전환을 지원합니다.
RAG에 가장 좋은 무료 임베딩 모델은 무엇인가요?
여러 제공업체에서 무료이고 사용하는 언어에 맞는 계열을 고르세요. 다국어 텍스트에는 bge-m3가 흔한 선택입니다. 인덱스 전체에 하나의 계열을 유지하세요.
무료 재순위화 API가 있나요?
FreeLLMAPI 문서에는 재순위화 엔드포인트가 나와 있지 않습니다. 이 페이지에서 보여 준 것처럼 빠른 채팅 모델로 재순위화하거나, 재순위화 단계를 건너뛸 수 있습니다.
무료 모델의 컨텍스트가 100만 토큰이면 RAG가 필요한가요?
작은 문서 몇 개라면 필요하지 않습니다. 문서가 많거나 질문이 잦다면, 검색은 요청마다 토큰을 적게 보내고 무료 한도 안에 머뭅니다.
나중에 임베딩 모델을 바꿀 수 있나요?
네. 하지만 모든 청크를 다시 임베딩해야 합니다. 두 모델의 벡터는 호환되지 않으므로, 한 인덱스에 섞지 마세요.
관련 가이드
출처
- FreeLLMAPI docs: embeddings (families and failover rules) (20 November 2026 확인)
- FreeLLMAPI docs: routing strategies and response headers (20 November 2026 확인)
- OpenAI Python SDK: embeddings, errors and retries (20 November 2026 확인)