Inicio / Guías / LLM gratuito para LlamaIndex

LLM gratuito para LlamaIndex

LlamaIndex tiene dos clases para las API compatibles con OpenAI: OpenAILike para el chat y OpenAILikeEmbedding para los embeddings. Esta guía apunta ambas a FreeLLMAPI, que reúne 45 niveles gratuitos de proveedores detrás de una sola clave. Creará un índice de generación aumentada por recuperación (RAG), lo consultará y agregará un agente. El código gestiona los límites de uso.

El código, los nombres de los modelos y las etiquetas del catálogo en vivo se muestran en inglés.

Instale los paquetes

Instale FreeLLMAPI y agregue claves gratuitas de dos o más proveedores en la página Keys del panel. Copie la clave unificada. Después, instale los paquetes de LlamaIndex.

Instalar

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

No use la clase OpenAI simple de llama-index-llms-openai con nombres de modelo que OpenAI no conoce. Esa clase comprueba los nombres de modelo y los tamaños de contexto con una lista de modelos de OpenAI. OpenAILike no hace esa comprobación, así que usted configura estos valores.

Configure el LLM y el modelo de embeddings

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: sin este valor, LlamaIndex envía las solicitudes al endpoint de completados heredado.
  • context_window: LlamaIndex usa este valor para decidir cuántos fragmentos recuperados caben en el prompt. Con auto, el enrutador puede elegir modelos distintos. Use la ventana de contexto más pequeña de su cadena.
  • is_function_calling_model=True: actívelo solo cuando su cadena tenga modelos con llamadas a herramientas.
  • embed_batch_size: cada lote es una solicitud. Los lotes más grandes usan menos solicitudes por minuto.

Un prompt de RAG lleva varios fragmentos recuperados, así que el modelo de chat necesita espacio para ellos. Cree un perfil de cadena de respaldo con modelos de contexto largo para RAG. Después, configure model="auto:<profile>" y suba context_window a la ventana más pequeña de ese perfil. Estos modelos gratuitos tienen hoy las ventanas de contexto más grandes:

Modelos gratuitos con las ventanas de contexto más grandes
ModeloGratis enContextoLímites gratuitos (mejor oferta)HerramientasVisión
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsNoNo
Gemini 3.8 FlashAPINex, Google AI Studio1M5 solicitudes/min
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
SíSí
Gemini 3.7 FlashGoogle AI Studio1M10 solicitudes/min
20 solicitudes/día
250,000 tokens/min
~3M
SíSí
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 solicitudes/min
50 solicitudes/día
Shared rate limit
SíNo
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetNoNo
Gemini 3.6 FlashGoogle AI Studio1M10 solicitudes/min
20 solicitudes/día
250,000 tokens/min
~3M
SíSí
GLM-5.2ModelScope, Router91M100 solicitudes/día
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
NoNo
Gemini 3.5 FlashGoogle AI Studio1M10 solicitudes/min
20 solicitudes/día
250,000 tokens/min
~3M
SíSí

Se muestran 8 de 115 modelos gratuitos que coinciden. Ver todos los modelos.

Datos en vivo del catálogo de FreeLLMAPI (versión 2026.11.19, revisado 2026-11-19). Los límites gratuitos cambian con frecuencia. El catálogo se revisa todos los días.

Para que un usuario use siempre el mismo modelo, envíe un encabezado X-Session-Id. OpenAILike acepta default_headers, por ejemplo default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI mantiene una sesión en el mismo modelo durante 30 minutos. Así las respuestas tienen el mismo estilo en un mismo chat.

Cree y consulte un índice RAG

El script lee los archivos de una carpeta, genera los embeddings, guarda el índice y responde una pregunta. Ejecútelo una vez para crear el índice. Las ejecuciones siguientes cargan el índice guardado y no generan de nuevo los embeddings de los archivos.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
Importante: use una sola familia de embeddings para todo el índice. FreeLLMAPI nunca cambia el modelo de embeddings durante la conmutación. Solo cambia entre proveedores que sirven la misma familia. Si cambia de familia, elimine ./storage y cree el índice de nuevo.

Estos modelos de embeddings son gratuitos en el catálogo de hoy. La columna de dimensiones muestra el tamaño del vector de cada familia.

ModeloProveedorDimensionesEntrada máx.Límite gratuito
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Datos en vivo del catálogo de FreeLLMAPI (versión 2026.11.19, revisado 2026-11-19). Los límites gratuitos cambian con frecuencia. El catálogo se revisa todos los días.

Agregue un agente con FunctionAgent

FunctionAgent usa llamadas a herramientas. Puede darle el motor de consultas como herramienta y agregar sus propias funciones de Python.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

Para trabajo con agentes, seleccione modelos con llamadas a herramientas. Cree un perfil de cadena de respaldo solo con estos modelos, y use auto:<profile> como nombre de modelo.

Modelos gratuitos con llamadas a herramientas y contexto de 128K+
ModeloGratis enContextoLímites gratuitos (mejor oferta)HerramientasVisión
GLM 5.3UnoRouter1M1 solicitudes/min
1 req/min per model
SíNo
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 solicitudes/min
40 RPM
SíSí
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaSíSí
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceSíNo
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditSíSí
Gemini 3.7 FlashGoogle AI Studio1M10 solicitudes/min
20 solicitudes/día
250,000 tokens/min
~3M
SíSí
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditSíSí
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 solicitudes/min
50 solicitudes/día
50 req/day account-wide (1,000 after a $10 purchase)
SíSí
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 solicitudes/min
50 solicitudes/día
Shared rate limit
SíNo
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 solicitudes/min
250 solicitudes/día
70,000 tokens/min
~6M
SíSí

Se muestran 10 de 109 modelos gratuitos que coinciden. Ver todos los modelos.

Datos en vivo del catálogo de FreeLLMAPI (versión 2026.11.19, revisado 2026-11-19). Los límites gratuitos cambian con frecuencia. El catálogo se revisa todos los días.

Mantenga la ingesta dentro de los límites gratuitos

La ingesta envía muchas solicitudes de embeddings en poco tiempo. Los niveles gratuitos de embeddings tienen límites bajos. Por ejemplo, algunos permiten 10 solicitudes por minuto y otros cuentan las llamadas por mes. Planifique la primera ingesta antes de iniciarla.

  • Use fragmentos grandes. Menos fragmentos significan menos vectores y menos solicitudes. Un tamaño de fragmento cercano a 1,024 tokens es un buen comienzo.
  • Use lotes. Configure embed_batch_size en 16 o más. Así una sola solicitud lleva muchos fragmentos.
  • Guarde el índice. Conserve el índice después de la primera ejecución. No genere de nuevo los embeddings de los mismos archivos.
  • Mantenga los reintentos activados. OpenAILikeEmbedding reintenta hasta 10 veces por defecto. Conserve este valor para trabajos de ingesta largos.
  • Ingiera por partes. Para miles de archivos, ingiera una carpeta cada vez.

Las consultas cuestan menos que la ingesta. Cada consulta usa una solicitud de embeddings y una solicitud de chat. Una solicitud de chat con cuatro fragmentos de 1,024 tokens envía unos 5,000 tokens. Los niveles gratuitos con límites bajos de tokens por minuto pueden rechazarla. FreeLLMAPI entonces prueba el siguiente proveedor.

Solución de problemas

ProblemaCausaSolución
Unknown model 'auto'Usó la clase OpenAIUse OpenAILike
Las solicitudes van a /v1/completionsis_chat_model no está configuradoConfigure is_chat_model=True
El agente no llama a herramientasis_function_calling_model está desactivado, o el modelo no tiene llamadas a herramientasConfigure True y use un perfil con herramientas
Error 429 durante la ingestaLa familia de embeddings llegó a su límite en todos los proveedoresUse lotes más grandes, espere el valor de Retry-After y vuelva a ejecutar
Malas respuestas después de cambiar el modelo de embeddingsVectores de dos familias en un mismo índiceElimine el índice guardado y vuelva a crearlo
Error de longitud de contextocontext_window es mayor que el modelo que respondióConfigure un valor menor o use un perfil de contexto largo

Para ver qué proveedor respondió una solicitud, use el panel de FreeLLMAPI. La página Analytics muestra las solicitudes, la latencia y los errores de cada proveedor y modelo. Cada respuesta también tiene un encabezado X-Routed-Via. Si el enrutador cambió de proveedor, el encabezado X-Fallback-Trail indica cada intento fallido y su motivo.

Use cada uno de estos modelos con una sola clave. FreeLLMAPI es un enrutador de código abierto y autoalojado. Reúne todos estos niveles gratuitos detrás de un único endpoint compatible con OpenAI y cambia de proveedor cuando uno alcanza su límite. Explore el catálogo o ir en vivo.

Preguntas frecuentes

¿Puedo usar LlamaIndex con un LLM gratuito?

Sí. Use OpenAILike con api_base configurado en una URL compatible con OpenAI. FreeLLMAPI ofrece una sola URL para muchos niveles gratuitos de proveedores. Cada nivel tiene sus propios límites.

¿Cuál es la diferencia entre OpenAI y OpenAILike en LlamaIndex?

La clase OpenAI comprueba los nombres de modelo contra los modelos de OpenAI. OpenAILike acepta cualquier nombre de modelo. Usted configura la ventana de contexto y las marcas de chat y de llamadas a funciones.

¿Qué modelo de embeddings gratuito es el mejor para LlamaIndex?

Elija una familia con suficientes solicitudes gratuitas para su ingesta y manténgala en todo el índice. La familia bge-m3 es gratuita en varios proveedores, así que la conmutación puede pasar entre ellos.

¿FunctionAgent funciona con modelos gratuitos?

Sí, si el modelo admite llamadas a herramientas y configura is_function_calling_model=True. Use un perfil de cadena de respaldo que tenga solo modelos con llamadas a herramientas.

¿Cómo evito los límites de uso al crear un índice de LlamaIndex?

Use fragmentos grandes, configure embed_batch_size en 16 o más, guarde el índice y ingiera las carpetas grandes por partes.

Guías relacionadas

Fuentes

Todas las guías · Ver todos los modelos gratuitos