LLM gratuito para LlamaIndex
LlamaIndex tiene dos clases para las API compatibles con OpenAI: OpenAILike para el chat y OpenAILikeEmbedding para los embeddings. Esta guía apunta ambas a FreeLLMAPI, que reúne 45 niveles gratuitos de proveedores detrás de una sola clave. Creará un índice de generación aumentada por recuperación (RAG), lo consultará y agregará un agente. El código gestiona los límites de uso.
El código, los nombres de los modelos y las etiquetas del catálogo en vivo se muestran en inglés.
Instale los paquetes
Instale FreeLLMAPI y agregue claves gratuitas de dos o más proveedores en la página Keys del panel. Copie la clave unificada. Después, instale los paquetes de LlamaIndex.
Instalar
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>No use la clase OpenAI simple de llama-index-llms-openai con nombres de modelo que OpenAI no conoce. Esa clase comprueba los nombres de modelo y los tamaños de contexto con una lista de modelos de OpenAI. OpenAILike no hace esa comprobación, así que usted configura estos valores.
Configure el LLM y el modelo de embeddings
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: sin este valor, LlamaIndex envía las solicitudes al endpoint de completados heredado.
- context_window: LlamaIndex usa este valor para decidir cuántos fragmentos recuperados caben en el prompt. Con
auto, el enrutador puede elegir modelos distintos. Use la ventana de contexto más pequeña de su cadena. - is_function_calling_model=True: actívelo solo cuando su cadena tenga modelos con llamadas a herramientas.
- embed_batch_size: cada lote es una solicitud. Los lotes más grandes usan menos solicitudes por minuto.
Un prompt de RAG lleva varios fragmentos recuperados, así que el modelo de chat necesita espacio para ellos. Cree un perfil de cadena de respaldo con modelos de contexto largo para RAG. Después, configure model="auto:<profile>" y suba context_window a la ventana más pequeña de ese perfil. Estos modelos gratuitos tienen hoy las ventanas de contexto más grandes:
| Modelo | Gratis en | Contexto | Límites gratuitos (mejor oferta) | Herramientas | Visión |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | No | No |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 solicitudes/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Sí | Sí |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 solicitudes/min 20 solicitudes/día 250,000 tokens/min ~3M | Sí | Sí |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 solicitudes/min 50 solicitudes/día Shared rate limit | Sí | No |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | No | No |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 solicitudes/min 20 solicitudes/día 250,000 tokens/min ~3M | Sí | Sí |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 solicitudes/día Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | No | No |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 solicitudes/min 20 solicitudes/día 250,000 tokens/min ~3M | Sí | Sí |
Se muestran 8 de 115 modelos gratuitos que coinciden. Ver todos los modelos.
Datos en vivo del catálogo de FreeLLMAPI (versión 2026.11.19, revisado 2026-11-19). Los límites gratuitos cambian con frecuencia. El catálogo se revisa todos los días.
Para que un usuario use siempre el mismo modelo, envíe un encabezado X-Session-Id. OpenAILike acepta default_headers, por ejemplo default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI mantiene una sesión en el mismo modelo durante 30 minutos. Así las respuestas tienen el mismo estilo en un mismo chat.
Cree y consulte un índice RAG
El script lee los archivos de una carpeta, genera los embeddings, guarda el índice y responde una pregunta. Ejecútelo una vez para crear el índice. Las ejecuciones siguientes cargan el índice guardado y no generan de nuevo los embeddings de los archivos.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage y cree el índice de nuevo.Estos modelos de embeddings son gratuitos en el catálogo de hoy. La columna de dimensiones muestra el tamaño del vector de cada familia.
| Modelo | Proveedor | Dimensiones | Entrada máx. | Límite gratuito |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Datos en vivo del catálogo de FreeLLMAPI (versión 2026.11.19, revisado 2026-11-19). Los límites gratuitos cambian con frecuencia. El catálogo se revisa todos los días.
Agregue un agente con FunctionAgent
FunctionAgent usa llamadas a herramientas. Puede darle el motor de consultas como herramienta y agregar sus propias funciones de Python.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())Para trabajo con agentes, seleccione modelos con llamadas a herramientas. Cree un perfil de cadena de respaldo solo con estos modelos, y use auto:<profile> como nombre de modelo.
| Modelo | Gratis en | Contexto | Límites gratuitos (mejor oferta) | Herramientas | Visión |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 solicitudes/min 1 req/min per model | Sí | No |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 solicitudes/min 40 RPM | Sí | Sí |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Sí | Sí |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Sí | No |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Sí | Sí |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 solicitudes/min 20 solicitudes/día 250,000 tokens/min ~3M | Sí | Sí |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Sí | Sí |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 solicitudes/min 50 solicitudes/día 50 req/day account-wide (1,000 after a $10 purchase) | Sí | Sí |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 solicitudes/min 50 solicitudes/día Shared rate limit | Sí | No |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 solicitudes/min 250 solicitudes/día 70,000 tokens/min ~6M | Sí | Sí |
Se muestran 10 de 109 modelos gratuitos que coinciden. Ver todos los modelos.
Datos en vivo del catálogo de FreeLLMAPI (versión 2026.11.19, revisado 2026-11-19). Los límites gratuitos cambian con frecuencia. El catálogo se revisa todos los días.
Mantenga la ingesta dentro de los límites gratuitos
La ingesta envía muchas solicitudes de embeddings en poco tiempo. Los niveles gratuitos de embeddings tienen límites bajos. Por ejemplo, algunos permiten 10 solicitudes por minuto y otros cuentan las llamadas por mes. Planifique la primera ingesta antes de iniciarla.
- Use fragmentos grandes. Menos fragmentos significan menos vectores y menos solicitudes. Un tamaño de fragmento cercano a 1,024 tokens es un buen comienzo.
- Use lotes. Configure
embed_batch_sizeen 16 o más. Así una sola solicitud lleva muchos fragmentos. - Guarde el índice. Conserve el índice después de la primera ejecución. No genere de nuevo los embeddings de los mismos archivos.
- Mantenga los reintentos activados.
OpenAILikeEmbeddingreintenta hasta 10 veces por defecto. Conserve este valor para trabajos de ingesta largos. - Ingiera por partes. Para miles de archivos, ingiera una carpeta cada vez.
Las consultas cuestan menos que la ingesta. Cada consulta usa una solicitud de embeddings y una solicitud de chat. Una solicitud de chat con cuatro fragmentos de 1,024 tokens envía unos 5,000 tokens. Los niveles gratuitos con límites bajos de tokens por minuto pueden rechazarla. FreeLLMAPI entonces prueba el siguiente proveedor.
Solución de problemas
| Problema | Causa | Solución |
|---|---|---|
Unknown model 'auto' | Usó la clase OpenAI | Use OpenAILike |
Las solicitudes van a /v1/completions | is_chat_model no está configurado | Configure is_chat_model=True |
| El agente no llama a herramientas | is_function_calling_model está desactivado, o el modelo no tiene llamadas a herramientas | Configure True y use un perfil con herramientas |
| Error 429 durante la ingesta | La familia de embeddings llegó a su límite en todos los proveedores | Use lotes más grandes, espere el valor de Retry-After y vuelva a ejecutar |
| Malas respuestas después de cambiar el modelo de embeddings | Vectores de dos familias en un mismo índice | Elimine el índice guardado y vuelva a crearlo |
| Error de longitud de contexto | context_window es mayor que el modelo que respondió | Configure un valor menor o use un perfil de contexto largo |
Para ver qué proveedor respondió una solicitud, use el panel de FreeLLMAPI. La página Analytics muestra las solicitudes, la latencia y los errores de cada proveedor y modelo. Cada respuesta también tiene un encabezado X-Routed-Via. Si el enrutador cambió de proveedor, el encabezado X-Fallback-Trail indica cada intento fallido y su motivo.
Preguntas frecuentes
¿Puedo usar LlamaIndex con un LLM gratuito?
Sí. Use OpenAILike con api_base configurado en una URL compatible con OpenAI. FreeLLMAPI ofrece una sola URL para muchos niveles gratuitos de proveedores. Cada nivel tiene sus propios límites.
¿Cuál es la diferencia entre OpenAI y OpenAILike en LlamaIndex?
La clase OpenAI comprueba los nombres de modelo contra los modelos de OpenAI. OpenAILike acepta cualquier nombre de modelo. Usted configura la ventana de contexto y las marcas de chat y de llamadas a funciones.
¿Qué modelo de embeddings gratuito es el mejor para LlamaIndex?
Elija una familia con suficientes solicitudes gratuitas para su ingesta y manténgala en todo el índice. La familia bge-m3 es gratuita en varios proveedores, así que la conmutación puede pasar entre ellos.
¿FunctionAgent funciona con modelos gratuitos?
Sí, si el modelo admite llamadas a herramientas y configura is_function_calling_model=True. Use un perfil de cadena de respaldo que tenga solo modelos con llamadas a herramientas.
¿Cómo evito los límites de uso al crear un índice de LlamaIndex?
Use fragmentos grandes, configure embed_batch_size en 16 o más, guarde el índice y ingiera las carpetas grandes por partes.
Guías relacionadas
- API LLM gratuita para RAG
- API gratuita de embeddings
- API LLM gratuita para LangChain
- API de LLM gratuita en Python
- API LLM gratuita con contexto de 1 millón de tokens
Fuentes
- LlamaIndex: llama-index-llms-openai-like README (revisado 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (revisado 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (revisado 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (revisado 20 November 2026)