Início / Guias / LLM gratuito para LlamaIndex

LLM gratuito para LlamaIndex

O LlamaIndex tem duas classes para APIs compatíveis com OpenAI: OpenAILike para chat e OpenAILikeEmbedding para embeddings. Este guia aponta as duas para o FreeLLMAPI, que reúne 45 camadas gratuitas de provedores atrás de uma única chave. Você cria um índice de geração aumentada por recuperação (RAG), faz consultas nele e adiciona um agente. O código trata os limites de taxa.

O código, os nomes dos modelos e os rótulos do catálogo ao vivo são exibidos em inglês.

Instale os pacotes

Instale o FreeLLMAPI e adicione chaves gratuitas de dois ou mais provedores na página Keys do painel. Copie a chave unificada. Depois, instale os pacotes do LlamaIndex.

Instalação

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Não use a classe OpenAI simples de llama-index-llms-openai com nomes de modelo que a OpenAI não conhece. Essa classe verifica os nomes dos modelos e os tamanhos de contexto contra uma lista de modelos da OpenAI. A OpenAILike não faz essa verificação, então você define esses valores por conta própria.

Configure o LLM e o modelo de embedding

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: sem essa opção, o LlamaIndex envia requisições para o endpoint legado de completação.
  • context_window: o LlamaIndex usa este valor para decidir quantos trechos recuperados cabem no prompt. Com auto, o roteador pode selecionar modelos diferentes. Use a menor janela de contexto da sua cadeia.
  • is_function_calling_model=True: defina apenas quando a sua cadeia tiver modelos com chamada de ferramentas.
  • embed_batch_size: cada lote é uma requisição. Lotes maiores usam menos requisições por minuto.

Um prompt de RAG leva vários trechos recuperados, então o modelo de chat precisa de espaço para eles. Crie um perfil de cadeia de fallback com modelos de contexto longo para RAG. Depois, defina model="auto:<profile>" e aumente context_window até a menor janela desse perfil. Estes modelos gratuitos têm as maiores janelas de contexto hoje:

Modelos gratuitos com as maiores janelas de contexto
ModeloGratuito emContextoLimites gratuitos (melhor oferta)FerramentasVisão
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsNãoNão
Gemini 3.8 FlashAPINex, Google AI Studio1M5 req/min
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
SimSim
Gemini 3.7 FlashGoogle AI Studio1M10 req/min
20 req/dia
250,000 tokens/min
~3M
SimSim
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 req/min
50 req/dia
Shared rate limit
SimNão
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetNãoNão
Gemini 3.6 FlashGoogle AI Studio1M10 req/min
20 req/dia
250,000 tokens/min
~3M
SimSim
GLM-5.2ModelScope, Router91M100 req/dia
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
NãoNão
Gemini 3.5 FlashGoogle AI Studio1M10 req/min
20 req/dia
250,000 tokens/min
~3M
SimSim

Mostrando 8 de 115 modelos gratuitos correspondentes. Ver todos os modelos.

Dados ao vivo do catálogo FreeLLMAPI (versão 2026.11.19, verificado em 2026-11-19). Os limites gratuitos mudam com frequência. O catálogo é verificado todos os dias.

Para manter um usuário no mesmo modelo, envie um cabeçalho X-Session-Id. A OpenAILike aceita default_headers, por exemplo default_headers={"X-Session-Id": "user-42"}. O FreeLLMAPI mantém uma sessão no mesmo modelo por 30 minutos. Assim, as respostas ficam no mesmo estilo durante um chat.

Crie e consulte um índice RAG

O script lê arquivos de uma pasta, gera os embeddings, salva o índice e responde a uma pergunta. Execute-o uma vez para criar o índice. Nas próximas execuções, ele carrega o índice salvo e não gera os embeddings dos arquivos de novo.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
Importante: mantenha uma só família de embedding para o índice inteiro. O FreeLLMAPI nunca troca o modelo de embedding durante o failover. Ele só passa entre provedores que atendem a mesma família. Se você trocar de família, apague ./storage e crie o índice de novo.

Estes modelos de embedding são gratuitos no catálogo atual. A coluna de dimensões mostra o tamanho do vetor de cada família.

ModeloProvedorDimensõesEntrada máx.Limite gratuito
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Dados ao vivo do catálogo FreeLLMAPI (versão 2026.11.19, verificado em 2026-11-19). Os limites gratuitos mudam com frequência. O catálogo é verificado todos os dias.

Adicione um agente com FunctionAgent

O FunctionAgent usa chamada de ferramentas. Você pode dar a ele o motor de consulta como uma ferramenta e adicionar as suas próprias funções em Python.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

Para trabalho com agente, selecione modelos com chamada de ferramentas. Crie um perfil de cadeia de fallback só com esses modelos e use auto:<profile> como nome do modelo.

Modelos gratuitos com chamada de ferramentas e contexto de 128K+
ModeloGratuito emContextoLimites gratuitos (melhor oferta)FerramentasVisão
GLM 5.3UnoRouter1M1 req/min
1 req/min per model
SimNão
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 req/min
40 RPM
SimSim
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaSimSim
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceSimNão
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditSimSim
Gemini 3.7 FlashGoogle AI Studio1M10 req/min
20 req/dia
250,000 tokens/min
~3M
SimSim
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditSimSim
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 req/min
50 req/dia
50 req/day account-wide (1,000 after a $10 purchase)
SimSim
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 req/min
50 req/dia
Shared rate limit
SimNão
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 req/min
250 req/dia
70,000 tokens/min
~6M
SimSim

Mostrando 10 de 109 modelos gratuitos correspondentes. Ver todos os modelos.

Dados ao vivo do catálogo FreeLLMAPI (versão 2026.11.19, verificado em 2026-11-19). Os limites gratuitos mudam com frequência. O catálogo é verificado todos os dias.

Mantenha a ingestão dentro dos limites gratuitos

A ingestão envia muitas requisições de embedding em pouco tempo. As camadas gratuitas de embedding têm limites baixos. Por exemplo, algumas permitem 10 requisições por minuto e outras contam chamadas por mês. Planeje a primeira ingestão antes de começar.

  • Use trechos grandes. Menos trechos significam menos vetores e menos requisições. Um tamanho de trecho perto de 1.024 tokens é um bom começo.
  • Use lotes. Defina embed_batch_size como 16 ou mais. Assim, uma requisição leva muitos trechos.
  • Salve o índice. Persista o índice após a primeira execução. Não gere os embeddings dos mesmos arquivos de novo.
  • Mantenha as novas tentativas ativas. A OpenAILikeEmbedding tenta até 10 vezes por padrão. Mantenha esse valor para tarefas longas de ingestão.
  • Ingira em partes. Para milhares de arquivos, ingira uma pasta por vez.

As consultas custam menos que a ingestão. Cada consulta usa uma requisição de embedding e uma requisição de chat. Uma requisição de chat com quatro trechos de 1.024 tokens envia cerca de 5.000 tokens. Camadas gratuitas com limites baixos de tokens por minuto podem recusar isso. Depois, o FreeLLMAPI tenta o próximo provedor.

Solução de problemas

ProblemaCausaSolução
Unknown model 'auto'Você usou a classe OpenAIUse OpenAILike
As requisições vão para /v1/completionsis_chat_model não está definidoDefina is_chat_model=True
O agente não chama ferramentasis_function_calling_model está desativado, ou o modelo não tem chamada de ferramentasDefina como True e use um perfil com ferramentas
Erro 429 durante a ingestãoA família de embedding atingiu o limite em todos os provedoresUse lotes maiores, aguarde o Retry-After e execute de novo
Respostas ruins depois de trocar o modelo de embeddingVetores de duas famílias em um mesmo índiceApague o índice salvo e crie-o de novo
Erro de tamanho de contextocontext_window é maior que o modelo que respondeuDefina um valor menor ou use um perfil de contexto longo

Para ver qual provedor respondeu a uma requisição, use o painel do FreeLLMAPI. A página Analytics mostra requisições, latência e erros de cada provedor e modelo. Cada resposta também tem um cabeçalho X-Routed-Via. Se o roteador trocou de provedor, o cabeçalho X-Fallback-Trail indica cada tentativa que falhou e o motivo.

Use todos estes modelos com uma única chave. FreeLLMAPI é um roteador de código aberto e de hospedagem própria. Ele coloca todas estas camadas gratuitas atrás de um único endpoint compatível com OpenAI e passa para o próximo provedor quando um deles está com limite de requisições. Ver o catálogo ou colocar em produção.

Perguntas frequentes

Posso usar o LlamaIndex com um LLM gratuito?

Sim. Use OpenAILike com api_base definido como uma URL compatível com OpenAI. O FreeLLMAPI oferece uma URL para muitas camadas gratuitas de provedores. Cada camada tem seus próprios limites.

Qual é a diferença entre OpenAI e OpenAILike no LlamaIndex?

A classe OpenAI verifica os nomes dos modelos contra os modelos da OpenAI. A OpenAILike aceita qualquer nome de modelo. Você define a janela de contexto e as flags de chat e de chamada de função por conta própria.

Qual modelo gratuito de embedding é o melhor para o LlamaIndex?

Escolha uma família com requisições gratuitas suficientes para a sua ingestão e mantenha-a no índice inteiro. A família bge-m3 é gratuita em vários provedores, então o failover pode passar entre eles.

O FunctionAgent funciona com modelos gratuitos?

Sim, se o modelo suportar chamada de ferramentas e você definir is_function_calling_model=True. Use um perfil de cadeia de fallback que tenha apenas modelos com chamada de ferramentas.

Como evito os limites de taxa ao criar um índice no LlamaIndex?

Use trechos grandes, defina embed_batch_size como 16 ou mais, persista o índice e ingira pastas grandes em partes.

Guias relacionados

Fontes

Todos os guias · Ver todos os modelos gratuitos