Home / Gidsen / Gratis LLM voor LlamaIndex

Gratis LLM voor LlamaIndex

LlamaIndex heeft twee klassen voor OpenAI-compatibele API's: OpenAILike voor chat en OpenAILikeEmbedding voor embeddings. Deze gids richt beide op FreeLLMAPI, dat 45 gratis providertiers achter één sleutel bundelt. Je bouwt een index voor retrieval-augmented generation (RAG), doorzoekt die index en voegt een agent toe. De code houdt rekening met ratelimieten.

Code, modelnamen en labels uit de live catalogus worden in het Engels getoond.

De pakketten installeren

Installeer FreeLLMAPI en voeg gratis sleutels van twee of meer providers toe op de pagina Keys van het dashboard. Kopieer de uniforme sleutel. Installeer daarna de LlamaIndex-pakketten.

Installeren

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Gebruik de gewone klasse OpenAI uit llama-index-llms-openai niet met modelnamen die OpenAI niet kent. Die klasse controleert modelnamen en contextgroottes aan de hand van een lijst met OpenAI-modellen. OpenAILike doet dat niet, dus stel je deze waarden zelf in.

Het LLM en het embeddingmodel configureren

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: zonder deze instelling stuurt LlamaIndex verzoeken naar het oude completions-endpoint.
  • context_window: LlamaIndex gebruikt deze waarde om te bepalen hoeveel opgehaalde stukken in de prompt passen. Met auto kan de router verschillende modellen kiezen. Gebruik het kleinste contextvenster in je keten.
  • is_function_calling_model=True: stel dit alleen in als je keten modellen met toolaanroepen heeft.
  • embed_batch_size: elke batch is één verzoek. Grotere batches gebruiken minder verzoeken per minuut.

Een RAG-prompt bevat meerdere opgehaalde stukken, dus het chatmodel heeft ruimte nodig voor die stukken. Maak een fallbackketenprofiel met modellen met een lange context voor RAG. Stel daarna model="auto:<profile>" in en verhoog context_window naar het kleinste venster in dat profiel. Deze gratis modellen hebben vandaag de grootste contextvensters:

Gratis modellen met de grootste contextvensters
ModelGratis opContextGratis limieten (beste aanbod)ToolsVision
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsNeeNee
Gemini 3.8 FlashAPINex, Google AI Studio1M5 aanvragen/min
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
JaJa
Gemini 3.7 FlashGoogle AI Studio1M10 aanvragen/min
20 aanvragen/dag
250,000 tokens/min
~3M
JaJa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 aanvragen/min
50 aanvragen/dag
Shared rate limit
JaNee
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetNeeNee
Gemini 3.6 FlashGoogle AI Studio1M10 aanvragen/min
20 aanvragen/dag
250,000 tokens/min
~3M
JaJa
GLM-5.2ModelScope, Router91M100 aanvragen/dag
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
NeeNee
Gemini 3.5 FlashGoogle AI Studio1M10 aanvragen/min
20 aanvragen/dag
250,000 tokens/min
~3M
JaJa

Toont 8 van 115 overeenkomende gratis modellen. Bekijk alle modellen.

Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.

Om één gebruiker op één model te houden, stuur je een header X-Session-Id. OpenAILike accepteert default_headers, bijvoorbeeld default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI houdt een sessie 30 minuten op hetzelfde model. Zo krijg je antwoorden in dezelfde stijl binnen één chat.

Een RAG-index bouwen en doorzoeken

Het script leest bestanden uit een map, maakt embeddings, slaat de index op en beantwoordt een vraag. Voer het één keer uit om de index te bouwen. Latere runs laden de opgeslagen index en embedden de bestanden niet opnieuw.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
Belangrijk: gebruik één embeddingfamilie voor de hele index. FreeLLMAPI wijzigt het embeddingmodel nooit tijdens failover. Het schakelt alleen over tussen providers die dezelfde familie bedienen. Als je de familie wijzigt, verwijder je ./storage en bouw je de index opnieuw.

Deze embeddingmodellen zijn gratis in de catalogus van vandaag. De kolom dimensies toont de vectorgrootte van elke familie.

ModelAanbiederAfmetingenMax invoerGratis limiet
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.

Een agent toevoegen met FunctionAgent

FunctionAgent gebruikt toolaanroepen. Je kunt het de query-engine als tool geven en je eigen Python-functies toevoegen.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

Voor agentwerk selecteer je modellen met toolaanroepen. Maak een fallbackketenprofiel met alleen deze modellen en gebruik auto:<profile> als modelnaam.

Gratis modellen met toolaanroepen en 128K+ context
ModelGratis opContextGratis limieten (beste aanbod)ToolsVision
GLM 5.3UnoRouter1M1 aanvragen/min
1 req/min per model
JaNee
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 aanvragen/min
40 RPM
JaJa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaJaJa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceJaNee
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditJaJa
Gemini 3.7 FlashGoogle AI Studio1M10 aanvragen/min
20 aanvragen/dag
250,000 tokens/min
~3M
JaJa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditJaJa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 aanvragen/min
50 aanvragen/dag
50 req/day account-wide (1,000 after a $10 purchase)
JaJa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 aanvragen/min
50 aanvragen/dag
Shared rate limit
JaNee
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 aanvragen/min
250 aanvragen/dag
70,000 tokens/min
~6M
JaJa

Toont 10 van 109 overeenkomende gratis modellen. Bekijk alle modellen.

Actuele gegevens uit de FreeLLMAPI-catalogus (versie 2026.11.19, gecontroleerd 2026-11-19). Gratis limieten veranderen vaak. De catalogus wordt elke dag gecontroleerd.

Inname binnen de gratis limieten houden

Inname stuurt in korte tijd veel embeddingverzoeken. Gratis embeddingtiers hebben lage limieten. Sommige staan bijvoorbeeld 10 verzoeken per minuut toe, en andere tellen aanroepen per maand. Plan de eerste inname voordat je begint.

  • Gebruik grote stukken. Minder stukken betekent minder vectoren en minder verzoeken. Een stukgrootte rond 1.024 tokens is een goed begin.
  • Gebruik batches. Stel embed_batch_size in op 16 of meer. Eén verzoek bevat dan veel stukken.
  • Sla de index op. Bewaar de index na de eerste run. Embed dezelfde bestanden niet opnieuw.
  • Houd nieuwe pogingen aan. OpenAILikeEmbedding probeert standaard tot 10 keer opnieuw. Houd deze waarde aan voor lange inname-taken.
  • Neem in delen op. Voor duizenden bestanden neem je één map per keer op.

Query's kosten minder dan inname. Elke query gebruikt één embeddingverzoek en één chatverzoek. Een chatverzoek met vier stukken van 1.024 tokens stuurt ongeveer 5.000 tokens. Gratis tiers met lage limieten voor tokens per minuut kunnen dit weigeren. FreeLLMAPI probeert dan de volgende provider.

Problemen oplossen

ProbleemOorzaakOplossing
Unknown model 'auto'Je gebruikte de klasse OpenAIGebruik OpenAILike
Verzoeken gaan naar /v1/completionsis_chat_model is niet ingesteldStel is_chat_model=True in
De agent roept geen tools aanis_function_calling_model staat uit, of het model heeft geen toolaanroepenStel het in op True en gebruik een profiel met tools
Fout 429 tijdens innameDe embeddingfamilie heeft bij alle providers de limiet bereiktGebruik grotere batches, wacht op Retry-After en voer het opnieuw uit
Slechte antwoorden na een wijziging van het embeddingmodelVectoren van twee families in één indexVerwijder de opgeslagen index en bouw hem opnieuw
Fout bij contextlengtecontext_window is groter dan het model dat heeft geantwoordStel een kleinere waarde in of gebruik een profiel met een lange context

Om te zien welke provider een verzoek heeft beantwoord, gebruik je het FreeLLMAPI-dashboard. De pagina Analytics toont verzoeken, latentie en fouten per provider en model. Elk antwoord heeft ook een header X-Routed-Via. Als de router van provider is gewisseld, noemt de header X-Fallback-Trail elke mislukte poging en de reden.

Gebruik elk van deze met één sleutel. FreeLLMAPI is een open-source router die u zelf host. Die zet al deze gratis tarieven achter één eindpunt dat compatibel is met OpenAI. Bij een snelheidslimiet schakelt de router automatisch over. Bekijk de catalogus of live gaan.

Veelgestelde vragen

Kan ik LlamaIndex gebruiken met een gratis LLM?

Ja. Gebruik OpenAILike met api_base ingesteld op een OpenAI-compatibele URL. FreeLLMAPI geeft één URL voor veel gratis providertiers. Elke tier heeft zijn eigen limieten.

Wat is het verschil tussen OpenAI en OpenAILike in LlamaIndex?

De klasse OpenAI controleert modelnamen tegen OpenAI-modellen. OpenAILike accepteert elke modelnaam. Je stelt het contextvenster en de vlaggen voor chat en functieaanroepen zelf in.

Welk gratis embeddingmodel is het beste voor LlamaIndex?

Kies een familie met genoeg gratis verzoeken voor je inname en houd die voor de hele index. De bge-m3-familie is gratis bij verschillende providers, dus failover kan tussen hen schakelen.

Werkt FunctionAgent met gratis modellen?

Ja, als het model toolaanroepen ondersteunt en je is_function_calling_model=True instelt. Gebruik een fallbackketenprofiel dat alleen modellen met toolaanroepen bevat.

Hoe voorkom ik ratelimieten bij het bouwen van een LlamaIndex-index?

Gebruik grote stukken, stel embed_batch_size in op 16 of meer, bewaar de index en neem grote mappen in delen op.

Gerelateerde gidsen

Bronnen

Alle gidsen · Bekijk alle gratis modellen