LlamaIndex용 무료 LLM
LlamaIndex에는 OpenAI 호환 API용 클래스가 두 개 있습니다. 채팅에는 OpenAILike, 임베딩에는 OpenAILikeEmbedding입니다. 이 가이드는 두 클래스를 모두 FreeLLMAPI로 향하게 합니다. FreeLLMAPI는 45개의 무료 제공업체 티어를 키 하나 뒤에 묶습니다. 검색 증강 생성(RAG) 인덱스를 만들고, 질의하고, 에이전트를 추가합니다. 코드는 요청 한도를 처리합니다.
코드, 모델 이름, 실시간 카탈로그 레이블은 영어로 표시합니다.
패키지 설치
FreeLLMAPI를 설치하고 대시보드의 Keys 페이지에서 두 개 이상의 제공업체에 대한 무료 키를 추가하세요. 통합 키를 복사하세요. 그다음 LlamaIndex 패키지를 설치하세요.
설치
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>기본 OpenAI 클래스(llama-index-llms-openai)를 OpenAI가 모르는 모델 이름과 함께 사용하지 마세요. 이 클래스는 모델 이름과 컨텍스트 크기를 OpenAI 모델 목록과 대조해 확인합니다. OpenAILike는 그렇게 하지 않으므로 이 값들을 직접 설정합니다.
LLM과 임베딩 모델 설정
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: 이 값이 없으면 LlamaIndex는 레거시 completions 엔드포인트로 요청을 보냅니다.
- context_window: LlamaIndex는 이 값을 사용하여 검색된 청크가 프롬프트에 몇 개 들어갈지 결정합니다.
auto를 사용하면 라우터가 다른 모델을 선택할 수 있습니다. 체인에서 가장 작은 컨텍스트 창을 사용하세요. - is_function_calling_model=True: 체인에 도구 호출 모델이 있을 때만 설정하세요.
- embed_batch_size: 배치 하나가 요청 하나입니다. 배치가 크면 분당 요청 수가 줄어듭니다.
RAG 프롬프트에는 검색된 청크가 여러 개 들어가므로, 채팅 모델에 그 청크를 담을 공간이 필요합니다. RAG용으로 긴 컨텍스트 모델을 넣은 대체 체인 프로필을 만드세요. 그다음 model="auto:<profile>"로 설정하고 context_window를 그 프로필에서 가장 작은 창 크기로 올리세요. 다음 무료 모델이 오늘 가장 큰 컨텍스트 창을 가지고 있습니다:
| 모델 | 무료 제공 | 컨텍스트 | 무료 한도 (가장 좋은 조건) | 도구 | 비전 |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | 아니요 | 아니요 |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 요청/분 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | 예 | 예 |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 요청/분 50 요청/일 Shared rate limit | 예 | 아니요 |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | 아니요 | 아니요 |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 요청/일 Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | 아니요 | 아니요 |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
일치하는 무료 모델 115개 중 8개를 표시합니다. 모든 모델 보기.
FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.
한 사용자를 한 모델에 유지하려면 X-Session-Id 헤더를 보내세요. OpenAILike는 default_headers를 받습니다. 예를 들어 default_headers={"X-Session-Id": "user-42"}입니다. FreeLLMAPI는 세션을 30분 동안 같은 모델에 유지합니다. 그러면 한 채팅 내내 같은 스타일로 답변합니다.
RAG 인덱스 만들기 및 질의
이 스크립트는 폴더에서 파일을 읽고, 임베딩을 만들고, 인덱스를 저장한 다음 질문에 답합니다. 인덱스를 만들려면 한 번 실행하세요. 이후 실행은 저장된 인덱스를 불러오며 파일을 다시 임베딩하지 않습니다.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage를 삭제하고 인덱스를 다시 만드세요.다음 임베딩 모델은 오늘 카탈로그에서 무료입니다. 차원 열은 각 계열의 벡터 크기를 보여 줍니다.
| 모델 | 제공업체 | 차원 | 최대 입력 | 무료 한도 |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.
FunctionAgent로 에이전트 추가
FunctionAgent는 도구 호출을 사용합니다. 질의 엔진을 도구로 제공하고 자체 Python 함수를 추가할 수 있습니다.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())에이전트 작업에는 도구 호출을 지원하는 모델을 선택하세요. 이 모델만 넣은 대체 체인 프로필을 만들고, 모델 이름으로 auto:<profile>을 사용하세요.
| 모델 | 무료 제공 | 컨텍스트 | 무료 한도 (가장 좋은 조건) | 도구 | 비전 |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 요청/분 1 req/min per model | 예 | 아니요 |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 요청/분 40 RPM | 예 | 예 |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | 예 | 예 |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | 예 | 아니요 |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | 예 | 예 |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | 예 | 예 |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 요청/분 50 요청/일 50 req/day account-wide (1,000 after a $10 purchase) | 예 | 예 |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 요청/분 50 요청/일 Shared rate limit | 예 | 아니요 |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 요청/분 250 요청/일 70,000 토큰/분 ~6M | 예 | 예 |
일치하는 무료 모델 109개 중 10개를 표시합니다. 모든 모델 보기.
FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.
수집을 무료 한도 안에서 유지하기
수집은 짧은 시간에 임베딩 요청을 많이 보냅니다. 무료 임베딩 티어는 한도가 낮습니다. 예를 들어 어떤 곳은 분당 10회 요청을 허용하고, 다른 곳은 월별 호출을 셉니다. 시작하기 전에 첫 수집을 계획하세요.
- 큰 청크를 사용하세요. 청크가 적으면 벡터와 요청도 적습니다. 약 1,024 토큰 청크 크기가 좋은 출발점입니다.
- 배치를 사용하세요.
embed_batch_size를 16 이상으로 설정하세요. 그러면 요청 하나가 많은 청크를 담습니다. - 인덱스를 저장하세요. 첫 실행 후 인덱스를 영구 저장하세요. 같은 파일을 다시 임베딩하지 마세요.
- 재시도를 켜 두세요.
OpenAILikeEmbedding은 기본적으로 최대 10회 재시도합니다. 긴 수집 작업에는 이 값을 유지하세요. - 나누어 수집하세요. 파일이 수천 개라면 한 번에 폴더 하나씩 수집하세요.
질의는 수집보다 비용이 적습니다. 질의 하나는 임베딩 요청 하나와 채팅 요청 하나를 사용합니다. 1,024 토큰 청크 네 개를 담은 채팅 요청은 약 5,000 토큰을 보냅니다. 분당 토큰 한도가 낮은 무료 티어는 이 요청을 거부할 수 있습니다. 그러면 FreeLLMAPI가 다음 제공업체를 시도합니다.
문제 해결
| 문제 | 원인 | 해결 방법 |
|---|---|---|
Unknown model 'auto' | OpenAI 클래스를 사용함 | OpenAILike를 사용하세요 |
요청이 /v1/completions로 감 | is_chat_model이 설정되지 않음 | is_chat_model=True를 설정하세요 |
| 에이전트가 도구를 호출하지 않음 | is_function_calling_model이 꺼져 있거나 모델이 도구 호출을 지원하지 않음 | True로 설정하고 도구 프로필을 사용하세요 |
| 수집 중 오류 429 | 임베딩 계열이 모든 제공업체에서 한도에 도달함 | 더 큰 배치를 사용하고, Retry-After를 기다린 다음 다시 실행하세요 |
| 임베딩 모델을 바꾼 뒤 답변이 나쁨 | 한 인덱스에 두 계열의 벡터가 있음 | 저장된 인덱스를 삭제하고 다시 만드세요 |
| 컨텍스트 길이 오류 | context_window가 응답한 모델보다 큼 | 더 작은 값을 설정하거나 긴 컨텍스트 프로필을 사용하세요 |
어느 제공업체가 요청에 응답했는지 보려면 FreeLLMAPI 대시보드를 사용하세요. Analytics 페이지는 제공업체와 모델별 요청, 지연 시간, 오류를 보여 줍니다. 각 응답에는 X-Routed-Via 헤더도 있습니다. 라우터가 제공업체를 바꾸었다면, X-Fallback-Trail 헤더가 실패한 각 시도와 이유를 나열합니다.
자주 묻는 질문
무료 LLM으로 LlamaIndex를 사용할 수 있나요?
네. api_base를 OpenAI 호환 URL로 설정하고 OpenAILike를 사용하세요. FreeLLMAPI는 여러 무료 제공업체 티어에 URL 하나를 제공합니다. 각 티어에는 고유한 한도가 있습니다.
LlamaIndex에서 OpenAI와 OpenAILike의 차이는 무엇인가요?
OpenAI 클래스는 모델 이름을 OpenAI 모델과 대조해 확인합니다. OpenAILike는 어떤 모델 이름이든 받습니다. 컨텍스트 창과 채팅 및 함수 호출 플래그는 직접 설정합니다.
LlamaIndex에 가장 좋은 무료 임베딩 모델은 무엇인가요?
수집에 충분한 무료 요청이 있는 계열을 선택하고, 인덱스 전체에 그대로 유지하세요. bge-m3 계열은 여러 제공업체에서 무료이므로, 대체가 그 사이에서 이동할 수 있습니다.
FunctionAgent는 무료 모델에서 작동하나요?
네. 모델이 도구 호출을 지원하고 is_function_calling_model=True를 설정했다면 작동합니다. 도구 호출 모델만 넣은 대체 체인 프로필을 사용하세요.
LlamaIndex 인덱스를 만들 때 요청 한도를 피하려면 어떻게 해야 하나요?
큰 청크를 사용하고, embed_batch_size를 16 이상으로 설정하고, 인덱스를 영구 저장하고, 큰 폴더는 나누어 수집하세요.
관련 가이드
출처
- LlamaIndex: llama-index-llms-openai-like README (20 November 2026 확인)
- LlamaIndex: llama-index-embeddings-openai-like source (20 November 2026 확인)
- LlamaIndex: FunctionAgent (agent workflow) source (20 November 2026 확인)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (20 November 2026 확인)