홈 / 가이드 / LlamaIndex용 무료 LLM

LlamaIndex용 무료 LLM

LlamaIndex에는 OpenAI 호환 API용 클래스가 두 개 있습니다. 채팅에는 OpenAILike, 임베딩에는 OpenAILikeEmbedding입니다. 이 가이드는 두 클래스를 모두 FreeLLMAPI로 향하게 합니다. FreeLLMAPI는 45개의 무료 제공업체 티어를 키 하나 뒤에 묶습니다. 검색 증강 생성(RAG) 인덱스를 만들고, 질의하고, 에이전트를 추가합니다. 코드는 요청 한도를 처리합니다.

코드, 모델 이름, 실시간 카탈로그 레이블은 영어로 표시합니다.

패키지 설치

FreeLLMAPI를 설치하고 대시보드의 Keys 페이지에서 두 개 이상의 제공업체에 대한 무료 키를 추가하세요. 통합 키를 복사하세요. 그다음 LlamaIndex 패키지를 설치하세요.

설치

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

기본 OpenAI 클래스(llama-index-llms-openai)를 OpenAI가 모르는 모델 이름과 함께 사용하지 마세요. 이 클래스는 모델 이름과 컨텍스트 크기를 OpenAI 모델 목록과 대조해 확인합니다. OpenAILike는 그렇게 하지 않으므로 이 값들을 직접 설정합니다.

LLM과 임베딩 모델 설정

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: 이 값이 없으면 LlamaIndex는 레거시 completions 엔드포인트로 요청을 보냅니다.
  • context_window: LlamaIndex는 이 값을 사용하여 검색된 청크가 프롬프트에 몇 개 들어갈지 결정합니다. auto를 사용하면 라우터가 다른 모델을 선택할 수 있습니다. 체인에서 가장 작은 컨텍스트 창을 사용하세요.
  • is_function_calling_model=True: 체인에 도구 호출 모델이 있을 때만 설정하세요.
  • embed_batch_size: 배치 하나가 요청 하나입니다. 배치가 크면 분당 요청 수가 줄어듭니다.

RAG 프롬프트에는 검색된 청크가 여러 개 들어가므로, 채팅 모델에 그 청크를 담을 공간이 필요합니다. RAG용으로 긴 컨텍스트 모델을 넣은 대체 체인 프로필을 만드세요. 그다음 model="auto:<profile>"로 설정하고 context_window를 그 프로필에서 가장 작은 창 크기로 올리세요. 다음 무료 모델이 오늘 가장 큰 컨텍스트 창을 가지고 있습니다:

컨텍스트 창이 가장 큰 무료 모델
모델무료 제공컨텍스트무료 한도 (가장 좋은 조건)도구비전
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free credits아니요아니요
Gemini 3.8 FlashAPINex, Google AI Studio1M5 요청/분
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
예예
Gemini 3.7 FlashGoogle AI Studio1M10 요청/분
20 요청/일
250,000 토큰/분
~3M
예예
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 요청/분
50 요청/일
Shared rate limit
예아니요
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary reset아니요아니요
Gemini 3.6 FlashGoogle AI Studio1M10 요청/분
20 요청/일
250,000 토큰/분
~3M
예예
GLM-5.2ModelScope, Router91M100 요청/일
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
아니요아니요
Gemini 3.5 FlashGoogle AI Studio1M10 요청/분
20 요청/일
250,000 토큰/분
~3M
예예

일치하는 무료 모델 115개 중 8개를 표시합니다. 모든 모델 보기.

FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.

한 사용자를 한 모델에 유지하려면 X-Session-Id 헤더를 보내세요. OpenAILike는 default_headers를 받습니다. 예를 들어 default_headers={"X-Session-Id": "user-42"}입니다. FreeLLMAPI는 세션을 30분 동안 같은 모델에 유지합니다. 그러면 한 채팅 내내 같은 스타일로 답변합니다.

RAG 인덱스 만들기 및 질의

이 스크립트는 폴더에서 파일을 읽고, 임베딩을 만들고, 인덱스를 저장한 다음 질문에 답합니다. 인덱스를 만들려면 한 번 실행하세요. 이후 실행은 저장된 인덱스를 불러오며 파일을 다시 임베딩하지 않습니다.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
중요: 전체 인덱스에 임베딩 계열 하나를 유지하세요. FreeLLMAPI는 대체 중에 임베딩 모델을 바꾸지 않습니다. 같은 계열을 제공하는 제공업체 사이에서만 이동합니다. 계열을 바꾸면 ./storage를 삭제하고 인덱스를 다시 만드세요.

다음 임베딩 모델은 오늘 카탈로그에서 무료입니다. 차원 열은 각 계열의 벡터 크기를 보여 줍니다.

모델제공업체차원최대 입력무료 한도
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.

FunctionAgent로 에이전트 추가

FunctionAgent는 도구 호출을 사용합니다. 질의 엔진을 도구로 제공하고 자체 Python 함수를 추가할 수 있습니다.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

에이전트 작업에는 도구 호출을 지원하는 모델을 선택하세요. 이 모델만 넣은 대체 체인 프로필을 만들고, 모델 이름으로 auto:<profile>을 사용하세요.

도구 호출 및 128K 이상 컨텍스트를 지원하는 무료 모델
모델무료 제공컨텍스트무료 한도 (가장 좋은 조건)도구비전
GLM 5.3UnoRouter1M1 요청/분
1 req/min per model
예아니요
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 요청/분
40 RPM
예예
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quota예예
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowance예아니요
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring credit예예
Gemini 3.7 FlashGoogle AI Studio1M10 요청/분
20 요청/일
250,000 토큰/분
~3M
예예
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring credit예예
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 요청/분
50 요청/일
50 req/day account-wide (1,000 after a $10 purchase)
예예
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 요청/분
50 요청/일
Shared rate limit
예아니요
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 요청/분
250 요청/일
70,000 토큰/분
~6M
예예

일치하는 무료 모델 109개 중 10개를 표시합니다. 모든 모델 보기.

FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.

수집을 무료 한도 안에서 유지하기

수집은 짧은 시간에 임베딩 요청을 많이 보냅니다. 무료 임베딩 티어는 한도가 낮습니다. 예를 들어 어떤 곳은 분당 10회 요청을 허용하고, 다른 곳은 월별 호출을 셉니다. 시작하기 전에 첫 수집을 계획하세요.

  • 큰 청크를 사용하세요. 청크가 적으면 벡터와 요청도 적습니다. 약 1,024 토큰 청크 크기가 좋은 출발점입니다.
  • 배치를 사용하세요. embed_batch_size를 16 이상으로 설정하세요. 그러면 요청 하나가 많은 청크를 담습니다.
  • 인덱스를 저장하세요. 첫 실행 후 인덱스를 영구 저장하세요. 같은 파일을 다시 임베딩하지 마세요.
  • 재시도를 켜 두세요. OpenAILikeEmbedding은 기본적으로 최대 10회 재시도합니다. 긴 수집 작업에는 이 값을 유지하세요.
  • 나누어 수집하세요. 파일이 수천 개라면 한 번에 폴더 하나씩 수집하세요.

질의는 수집보다 비용이 적습니다. 질의 하나는 임베딩 요청 하나와 채팅 요청 하나를 사용합니다. 1,024 토큰 청크 네 개를 담은 채팅 요청은 약 5,000 토큰을 보냅니다. 분당 토큰 한도가 낮은 무료 티어는 이 요청을 거부할 수 있습니다. 그러면 FreeLLMAPI가 다음 제공업체를 시도합니다.

문제 해결

문제원인해결 방법
Unknown model 'auto'OpenAI 클래스를 사용함OpenAILike를 사용하세요
요청이 /v1/completions로 감is_chat_model이 설정되지 않음is_chat_model=True를 설정하세요
에이전트가 도구를 호출하지 않음is_function_calling_model이 꺼져 있거나 모델이 도구 호출을 지원하지 않음True로 설정하고 도구 프로필을 사용하세요
수집 중 오류 429임베딩 계열이 모든 제공업체에서 한도에 도달함더 큰 배치를 사용하고, Retry-After를 기다린 다음 다시 실행하세요
임베딩 모델을 바꾼 뒤 답변이 나쁨한 인덱스에 두 계열의 벡터가 있음저장된 인덱스를 삭제하고 다시 만드세요
컨텍스트 길이 오류context_window가 응답한 모델보다 큼더 작은 값을 설정하거나 긴 컨텍스트 프로필을 사용하세요

어느 제공업체가 요청에 응답했는지 보려면 FreeLLMAPI 대시보드를 사용하세요. Analytics 페이지는 제공업체와 모델별 요청, 지연 시간, 오류를 보여 줍니다. 각 응답에는 X-Routed-Via 헤더도 있습니다. 라우터가 제공업체를 바꾸었다면, X-Fallback-Trail 헤더가 실패한 각 시도와 이유를 나열합니다.

하나의 키로 이 모델을 모두 사용하십시오. FreeLLMAPI는 오픈 소스이며 직접 호스팅하는 라우터입니다. 이 모든 무료 제공 서비스를 하나의 OpenAI 호환 엔드포인트로 묶고, 요청 한도에 걸리면 다른 모델로 자동 전환합니다. 카탈로그 보기 또는 바로 시작.

자주 묻는 질문

무료 LLM으로 LlamaIndex를 사용할 수 있나요?

네. api_base를 OpenAI 호환 URL로 설정하고 OpenAILike를 사용하세요. FreeLLMAPI는 여러 무료 제공업체 티어에 URL 하나를 제공합니다. 각 티어에는 고유한 한도가 있습니다.

LlamaIndex에서 OpenAI와 OpenAILike의 차이는 무엇인가요?

OpenAI 클래스는 모델 이름을 OpenAI 모델과 대조해 확인합니다. OpenAILike는 어떤 모델 이름이든 받습니다. 컨텍스트 창과 채팅 및 함수 호출 플래그는 직접 설정합니다.

LlamaIndex에 가장 좋은 무료 임베딩 모델은 무엇인가요?

수집에 충분한 무료 요청이 있는 계열을 선택하고, 인덱스 전체에 그대로 유지하세요. bge-m3 계열은 여러 제공업체에서 무료이므로, 대체가 그 사이에서 이동할 수 있습니다.

FunctionAgent는 무료 모델에서 작동하나요?

네. 모델이 도구 호출을 지원하고 is_function_calling_model=True를 설정했다면 작동합니다. 도구 호출 모델만 넣은 대체 체인 프로필을 사용하세요.

LlamaIndex 인덱스를 만들 때 요청 한도를 피하려면 어떻게 해야 하나요?

큰 청크를 사용하고, embed_batch_size를 16 이상으로 설정하고, 인덱스를 영구 저장하고, 큰 폴더는 나누어 수집하세요.

관련 가이드

출처

전체 가이드 · 무료 모델 전체 보기