Gratis LLM voor LlamaIndex
LlamaIndex heeft twee klassen voor OpenAI-compatibele API's: OpenAILike voor chat en OpenAILikeEmbedding voor embeddings. Deze gids richt beide op FreeLLMAPI, dat 45 gratis providertiers achter één sleutel bundelt. Je bouwt een index voor retrieval-augmented generation (RAG), doorzoekt die index en voegt een agent toe. De code houdt rekening met ratelimieten.
Code, modelnamen en labels uit de live catalogus worden in het Engels getoond.
De pakketten installeren
Installeer FreeLLMAPI en voeg gratis sleutels van twee of meer providers toe op de pagina Keys van het dashboard. Kopieer de uniforme sleutel. Installeer daarna de LlamaIndex-pakketten.
Installeren
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Gebruik de gewone klasse OpenAI uit llama-index-llms-openai niet met modelnamen die OpenAI niet kent. Die klasse controleert modelnamen en contextgroottes aan de hand van een lijst met OpenAI-modellen. OpenAILike doet dat niet, dus stel je deze waarden zelf in.
Het LLM en het embeddingmodel configureren
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: zonder deze instelling stuurt LlamaIndex verzoeken naar het oude completions-endpoint.
- context_window: LlamaIndex gebruikt deze waarde om te bepalen hoeveel opgehaalde stukken in de prompt passen. Met
autokan de router verschillende modellen kiezen. Gebruik het kleinste contextvenster in je keten. - is_function_calling_model=True: stel dit alleen in als je keten modellen met toolaanroepen heeft.
- embed_batch_size: elke batch is één verzoek. Grotere batches gebruiken minder verzoeken per minuut.
Een RAG-prompt bevat meerdere opgehaalde stukken, dus het chatmodel heeft ruimte nodig voor die stukken. Maak een fallbackketenprofiel met modellen met een lange context voor RAG. Stel daarna model="auto:<profile>" in en verhoog context_window naar het kleinste venster in dat profiel. Deze gratis modellen hebben vandaag de grootste contextvensters:
| Model | Gratis op | Context | Gratis limieten (beste aanbod) | Tools | Vision |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Nee | Nee |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 aanvragen/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Ja | Ja |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 aanvragen/min 20 aanvragen/dag 250,000 tokens/min ~3M | Ja | Ja |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 aanvragen/min 50 aanvragen/dag Shared rate limit | Ja | Nee |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Nee | Nee |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 aanvragen/min 20 aanvragen/dag 250,000 tokens/min ~3M | Ja | Ja |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 aanvragen/dag Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | Nee | Nee |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 aanvragen/min 20 aanvragen/dag 250,000 tokens/min ~3M | Ja | Ja |
Toont 8 van 115 overeenkomende gratis modellen. Bekijk alle modellen.
Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.
Om één gebruiker op één model te houden, stuur je een header X-Session-Id. OpenAILike accepteert default_headers, bijvoorbeeld default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI houdt een sessie 30 minuten op hetzelfde model. Zo krijg je antwoorden in dezelfde stijl binnen één chat.
Een RAG-index bouwen en doorzoeken
Het script leest bestanden uit een map, maakt embeddings, slaat de index op en beantwoordt een vraag. Voer het één keer uit om de index te bouwen. Latere runs laden de opgeslagen index en embedden de bestanden niet opnieuw.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage en bouw je de index opnieuw.Deze embeddingmodellen zijn gratis in de catalogus van vandaag. De kolom dimensies toont de vectorgrootte van elke familie.
| Model | Aanbieder | Afmetingen | Max invoer | Gratis limiet |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.
Een agent toevoegen met FunctionAgent
FunctionAgent gebruikt toolaanroepen. Je kunt het de query-engine als tool geven en je eigen Python-functies toevoegen.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())Voor agentwerk selecteer je modellen met toolaanroepen. Maak een fallbackketenprofiel met alleen deze modellen en gebruik auto:<profile> als modelnaam.
| Model | Gratis op | Context | Gratis limieten (beste aanbod) | Tools | Vision |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 aanvragen/min 1 req/min per model | Ja | Nee |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 aanvragen/min 40 RPM | Ja | Ja |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ja | Ja |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ja | Nee |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ja | Ja |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 aanvragen/min 20 aanvragen/dag 250,000 tokens/min ~3M | Ja | Ja |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ja | Ja |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 aanvragen/min 50 aanvragen/dag 50 req/day account-wide (1,000 after a $10 purchase) | Ja | Ja |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 aanvragen/min 50 aanvragen/dag Shared rate limit | Ja | Nee |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 aanvragen/min 250 aanvragen/dag 70,000 tokens/min ~6M | Ja | Ja |
Toont 10 van 109 overeenkomende gratis modellen. Bekijk alle modellen.
Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.
Inname binnen de gratis limieten houden
Inname stuurt in korte tijd veel embeddingverzoeken. Gratis embeddingtiers hebben lage limieten. Sommige staan bijvoorbeeld 10 verzoeken per minuut toe, en andere tellen aanroepen per maand. Plan de eerste inname voordat je begint.
- Gebruik grote stukken. Minder stukken betekent minder vectoren en minder verzoeken. Een stukgrootte rond 1.024 tokens is een goed begin.
- Gebruik batches. Stel
embed_batch_sizein op 16 of meer. Eén verzoek bevat dan veel stukken. - Sla de index op. Bewaar de index na de eerste run. Embed dezelfde bestanden niet opnieuw.
- Houd nieuwe pogingen aan.
OpenAILikeEmbeddingprobeert standaard tot 10 keer opnieuw. Houd deze waarde aan voor lange inname-taken. - Neem in delen op. Voor duizenden bestanden neem je één map per keer op.
Query's kosten minder dan inname. Elke query gebruikt één embeddingverzoek en één chatverzoek. Een chatverzoek met vier stukken van 1.024 tokens stuurt ongeveer 5.000 tokens. Gratis tiers met lage limieten voor tokens per minuut kunnen dit weigeren. FreeLLMAPI probeert dan de volgende provider.
Problemen oplossen
| Probleem | Oorzaak | Oplossing |
|---|---|---|
Unknown model 'auto' | Je gebruikte de klasse OpenAI | Gebruik OpenAILike |
Verzoeken gaan naar /v1/completions | is_chat_model is niet ingesteld | Stel is_chat_model=True in |
| De agent roept geen tools aan | is_function_calling_model staat uit, of het model heeft geen toolaanroepen | Stel het in op True en gebruik een profiel met tools |
| Fout 429 tijdens inname | De embeddingfamilie heeft bij alle providers de limiet bereikt | Gebruik grotere batches, wacht op Retry-After en voer het opnieuw uit |
| Slechte antwoorden na een wijziging van het embeddingmodel | Vectoren van twee families in één index | Verwijder de opgeslagen index en bouw hem opnieuw |
| Fout bij contextlengte | context_window is groter dan het model dat heeft geantwoord | Stel een kleinere waarde in of gebruik een profiel met een lange context |
Om te zien welke provider een verzoek heeft beantwoord, gebruik je het FreeLLMAPI-dashboard. De pagina Analytics toont verzoeken, latentie en fouten per provider en model. Elk antwoord heeft ook een header X-Routed-Via. Als de router van provider is gewisseld, noemt de header X-Fallback-Trail elke mislukte poging en de reden.
Veelgestelde vragen
Kan ik LlamaIndex gebruiken met een gratis LLM?
Ja. Gebruik OpenAILike met api_base ingesteld op een OpenAI-compatibele URL. FreeLLMAPI geeft één URL voor veel gratis providertiers. Elke tier heeft zijn eigen limieten.
Wat is het verschil tussen OpenAI en OpenAILike in LlamaIndex?
De klasse OpenAI controleert modelnamen tegen OpenAI-modellen. OpenAILike accepteert elke modelnaam. Je stelt het contextvenster en de vlaggen voor chat en functieaanroepen zelf in.
Welk gratis embeddingmodel is het beste voor LlamaIndex?
Kies een familie met genoeg gratis verzoeken voor je inname en houd die voor de hele index. De bge-m3-familie is gratis bij verschillende providers, dus failover kan tussen hen schakelen.
Werkt FunctionAgent met gratis modellen?
Ja, als het model toolaanroepen ondersteunt en je is_function_calling_model=True instelt. Gebruik een fallbackketenprofiel dat alleen modellen met toolaanroepen bevat.
Hoe voorkom ik ratelimieten bij het bouwen van een LlamaIndex-index?
Gebruik grote stukken, stel embed_batch_size in op 16 of meer, bewaar de index en neem grote mappen in delen op.
Gerelateerde gidsen
- Gratis LLM API voor RAG
- Gratis embeddings-API
- Gratis LLM-API voor LangChain
- Gratis LLM-API in Python
- Gratis LLM API met context van 1 miljoen tokens
Bronnen
- LlamaIndex: llama-index-llms-openai-like README (gecontroleerd 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (gecontroleerd 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (gecontroleerd 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (gecontroleerd 20 November 2026)