LLM gratuito para LlamaIndex
O LlamaIndex tem duas classes para APIs compatíveis com OpenAI: OpenAILike para chat e OpenAILikeEmbedding para embeddings. Este guia aponta as duas para o FreeLLMAPI, que reúne 45 camadas gratuitas de provedores atrás de uma única chave. Você cria um índice de geração aumentada por recuperação (RAG), faz consultas nele e adiciona um agente. O código trata os limites de taxa.
O código, os nomes dos modelos e os rótulos do catálogo ao vivo são exibidos em inglês.
Instale os pacotes
Instale o FreeLLMAPI e adicione chaves gratuitas de dois ou mais provedores na página Keys do painel. Copie a chave unificada. Depois, instale os pacotes do LlamaIndex.
Instalação
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Não use a classe OpenAI simples de llama-index-llms-openai com nomes de modelo que a OpenAI não conhece. Essa classe verifica os nomes dos modelos e os tamanhos de contexto contra uma lista de modelos da OpenAI. A OpenAILike não faz essa verificação, então você define esses valores por conta própria.
Configure o LLM e o modelo de embedding
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: sem essa opção, o LlamaIndex envia requisições para o endpoint legado de completação.
- context_window: o LlamaIndex usa este valor para decidir quantos trechos recuperados cabem no prompt. Com
auto, o roteador pode selecionar modelos diferentes. Use a menor janela de contexto da sua cadeia. - is_function_calling_model=True: defina apenas quando a sua cadeia tiver modelos com chamada de ferramentas.
- embed_batch_size: cada lote é uma requisição. Lotes maiores usam menos requisições por minuto.
Um prompt de RAG leva vários trechos recuperados, então o modelo de chat precisa de espaço para eles. Crie um perfil de cadeia de fallback com modelos de contexto longo para RAG. Depois, defina model="auto:<profile>" e aumente context_window até a menor janela desse perfil. Estes modelos gratuitos têm as maiores janelas de contexto hoje:
| Modelo | Gratuito em | Contexto | Limites gratuitos (melhor oferta) | Ferramentas | Visão |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Não | Não |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 req/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Sim | Sim |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 req/min 20 req/dia 250,000 tokens/min ~3M | Sim | Sim |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 req/min 50 req/dia Shared rate limit | Sim | Não |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Não | Não |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 req/min 20 req/dia 250,000 tokens/min ~3M | Sim | Sim |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 req/dia Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | Não | Não |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 req/min 20 req/dia 250,000 tokens/min ~3M | Sim | Sim |
Mostrando 8 de 115 modelos gratuitos correspondentes. Ver todos os modelos.
Dados ao vivo do catálogo FreeLLMAPI (versão 2026.11.19, verificado em 2026-11-19). Os limites gratuitos mudam com frequência. O catálogo é verificado todos os dias.
Para manter um usuário no mesmo modelo, envie um cabeçalho X-Session-Id. A OpenAILike aceita default_headers, por exemplo default_headers={"X-Session-Id": "user-42"}. O FreeLLMAPI mantém uma sessão no mesmo modelo por 30 minutos. Assim, as respostas ficam no mesmo estilo durante um chat.
Crie e consulte um índice RAG
O script lê arquivos de uma pasta, gera os embeddings, salva o índice e responde a uma pergunta. Execute-o uma vez para criar o índice. Nas próximas execuções, ele carrega o índice salvo e não gera os embeddings dos arquivos de novo.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage e crie o índice de novo.Estes modelos de embedding são gratuitos no catálogo atual. A coluna de dimensões mostra o tamanho do vetor de cada família.
| Modelo | Provedor | Dimensões | Entrada máx. | Limite gratuito |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Dados ao vivo do catálogo FreeLLMAPI (versão 2026.11.19, verificado em 2026-11-19). Os limites gratuitos mudam com frequência. O catálogo é verificado todos os dias.
Adicione um agente com FunctionAgent
O FunctionAgent usa chamada de ferramentas. Você pode dar a ele o motor de consulta como uma ferramenta e adicionar as suas próprias funções em Python.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())Para trabalho com agente, selecione modelos com chamada de ferramentas. Crie um perfil de cadeia de fallback só com esses modelos e use auto:<profile> como nome do modelo.
| Modelo | Gratuito em | Contexto | Limites gratuitos (melhor oferta) | Ferramentas | Visão |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 req/min 1 req/min per model | Sim | Não |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 req/min 40 RPM | Sim | Sim |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Sim | Sim |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Sim | Não |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Sim | Sim |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 req/min 20 req/dia 250,000 tokens/min ~3M | Sim | Sim |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Sim | Sim |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 req/min 50 req/dia 50 req/day account-wide (1,000 after a $10 purchase) | Sim | Sim |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 req/min 50 req/dia Shared rate limit | Sim | Não |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 req/min 250 req/dia 70,000 tokens/min ~6M | Sim | Sim |
Mostrando 10 de 109 modelos gratuitos correspondentes. Ver todos os modelos.
Dados ao vivo do catálogo FreeLLMAPI (versão 2026.11.19, verificado em 2026-11-19). Os limites gratuitos mudam com frequência. O catálogo é verificado todos os dias.
Mantenha a ingestão dentro dos limites gratuitos
A ingestão envia muitas requisições de embedding em pouco tempo. As camadas gratuitas de embedding têm limites baixos. Por exemplo, algumas permitem 10 requisições por minuto e outras contam chamadas por mês. Planeje a primeira ingestão antes de começar.
- Use trechos grandes. Menos trechos significam menos vetores e menos requisições. Um tamanho de trecho perto de 1.024 tokens é um bom começo.
- Use lotes. Defina
embed_batch_sizecomo 16 ou mais. Assim, uma requisição leva muitos trechos. - Salve o índice. Persista o índice após a primeira execução. Não gere os embeddings dos mesmos arquivos de novo.
- Mantenha as novas tentativas ativas. A
OpenAILikeEmbeddingtenta até 10 vezes por padrão. Mantenha esse valor para tarefas longas de ingestão. - Ingira em partes. Para milhares de arquivos, ingira uma pasta por vez.
As consultas custam menos que a ingestão. Cada consulta usa uma requisição de embedding e uma requisição de chat. Uma requisição de chat com quatro trechos de 1.024 tokens envia cerca de 5.000 tokens. Camadas gratuitas com limites baixos de tokens por minuto podem recusar isso. Depois, o FreeLLMAPI tenta o próximo provedor.
Solução de problemas
| Problema | Causa | Solução |
|---|---|---|
Unknown model 'auto' | Você usou a classe OpenAI | Use OpenAILike |
As requisições vão para /v1/completions | is_chat_model não está definido | Defina is_chat_model=True |
| O agente não chama ferramentas | is_function_calling_model está desativado, ou o modelo não tem chamada de ferramentas | Defina como True e use um perfil com ferramentas |
| Erro 429 durante a ingestão | A família de embedding atingiu o limite em todos os provedores | Use lotes maiores, aguarde o Retry-After e execute de novo |
| Respostas ruins depois de trocar o modelo de embedding | Vetores de duas famílias em um mesmo índice | Apague o índice salvo e crie-o de novo |
| Erro de tamanho de contexto | context_window é maior que o modelo que respondeu | Defina um valor menor ou use um perfil de contexto longo |
Para ver qual provedor respondeu a uma requisição, use o painel do FreeLLMAPI. A página Analytics mostra requisições, latência e erros de cada provedor e modelo. Cada resposta também tem um cabeçalho X-Routed-Via. Se o roteador trocou de provedor, o cabeçalho X-Fallback-Trail indica cada tentativa que falhou e o motivo.
Perguntas frequentes
Posso usar o LlamaIndex com um LLM gratuito?
Sim. Use OpenAILike com api_base definido como uma URL compatível com OpenAI. O FreeLLMAPI oferece uma URL para muitas camadas gratuitas de provedores. Cada camada tem seus próprios limites.
Qual é a diferença entre OpenAI e OpenAILike no LlamaIndex?
A classe OpenAI verifica os nomes dos modelos contra os modelos da OpenAI. A OpenAILike aceita qualquer nome de modelo. Você define a janela de contexto e as flags de chat e de chamada de função por conta própria.
Qual modelo gratuito de embedding é o melhor para o LlamaIndex?
Escolha uma família com requisições gratuitas suficientes para a sua ingestão e mantenha-a no índice inteiro. A família bge-m3 é gratuita em vários provedores, então o failover pode passar entre eles.
O FunctionAgent funciona com modelos gratuitos?
Sim, se o modelo suportar chamada de ferramentas e você definir is_function_calling_model=True. Use um perfil de cadeia de fallback que tenha apenas modelos com chamada de ferramentas.
Como evito os limites de taxa ao criar um índice no LlamaIndex?
Use trechos grandes, defina embed_batch_size como 16 ou mais, persista o índice e ingira pastas grandes em partes.
Guias relacionados
- API LLM gratuita para RAG
- API gratuita de embeddings
- API LLM gratuita para LangChain
- LLM gratuito em Python
- API LLM gratuita com contexto de 1 milhão de tokens
Fontes
- LlamaIndex: llama-index-llms-openai-like README (verificado em 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (verificado em 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (verificado em 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (verificado em 20 November 2026)