Kostenloses LLM für LlamaIndex
LlamaIndex hat zwei Klassen für OpenAI-kompatible APIs: OpenAILike für Chat und OpenAILikeEmbedding für Embeddings. Diese Anleitung richtet beide auf FreeLLMAPI aus, das 45 kostenlose Anbieter-Stufen hinter einem Schlüssel bündelt. Sie bauen einen Index für Retrieval-Augmented Generation (RAG), fragen ihn ab und fügen einen Agenten hinzu. Der Code berücksichtigt Rate-Limits.
Code, Modellnamen und Bezeichnungen aus dem Live-Katalog werden auf Englisch angezeigt.
Die Pakete installieren
Installieren Sie FreeLLMAPI und fügen Sie auf der Dashboard-Seite Keys kostenlose Schlüssel von zwei oder mehr Anbietern hinzu. Kopieren Sie den einheitlichen Schlüssel. Installieren Sie danach die LlamaIndex-Pakete.
Installation
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Verwenden Sie nicht die einfache Klasse OpenAI aus llama-index-llms-openai mit Modellnamen, die OpenAI nicht kennt. Diese Klasse prüft Modellnamen und Kontextgrößen gegen eine Liste von OpenAI-Modellen. OpenAILike prüft nichts davon, daher setzen Sie diese Werte selbst.
LLM und Embedding-Modell konfigurieren
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: Ohne diese Einstellung sendet LlamaIndex Anfragen an den älteren Completions-Endpunkt.
- context_window: LlamaIndex verwendet diesen Wert, um zu entscheiden, wie viele abgerufene Abschnitte in den Prompt passen. Mit
autokann der Router unterschiedliche Modelle wählen. Verwenden Sie das kleinste Kontextfenster in Ihrer Kette. - is_function_calling_model=True: Setzen Sie diesen Wert nur, wenn Ihre Kette Modelle mit Tool-Aufrufen enthält.
- embed_batch_size: Jeder Stapel ist eine Anfrage. Größere Stapel brauchen weniger Anfragen pro Minute.
Ein RAG-Prompt enthält mehrere abgerufene Abschnitte, daher braucht das Chat-Modell Platz für sie. Legen Sie ein Fallback-Ketten-Profil mit Modellen mit langem Kontext für RAG an. Setzen Sie dann model="auto:<profile>" und erhöhen Sie context_window auf das kleinste Fenster in diesem Profil. Diese kostenlosen Modelle haben heute die größten Kontextfenster:
| Modell | Kostenlos bei | Kontext | Kostenlose Limits (bestes Angebot) | Tools | Bildverarbeitung |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Nein | Nein |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 Anfragen/Min. 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Ja | Ja |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 Anfragen/Min. 50 Anfragen/Tag Shared rate limit | Ja | Nein |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Nein | Nein |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 Anfragen/Tag Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | Nein | Nein |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
Es werden 8 von 115 passenden kostenlosen Modellen angezeigt. Alle Modelle ansehen.
Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.
Um einen Benutzer bei einem Modell zu halten, senden Sie einen Header X-Session-Id. OpenAILike akzeptiert default_headers, zum Beispiel default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI hält eine Sitzung 30 Minuten lang auf demselben Modell. So bleibt der Antwortstil in einem Chat gleich.
RAG-Index aufbauen und abfragen
Das Skript liest Dateien aus einem Ordner, erstellt Embeddings, speichert den Index und beantwortet eine Frage. Führen Sie es einmal aus, um den Index aufzubauen. Spätere Läufe laden den gespeicherten Index und betten die Dateien nicht erneut ein.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage und bauen Sie den Index neu auf.Diese Embedding-Modelle sind im heutigen Katalog kostenlos. Die Spalte Dimensions zeigt die Vektorgröße jeder Familie.
| Modell | Anbieter | Dimensionen | Max. Eingabe | Kostenloses Limit |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.
Einen Agenten mit FunctionAgent hinzufügen
FunctionAgent verwendet Tool-Aufrufe. Sie können ihm die Query-Engine als Tool geben und eigene Python-Funktionen hinzufügen.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())Für Agent-Arbeit wählen Sie Modelle mit Tool-Aufrufen. Legen Sie ein Fallback-Ketten-Profil nur mit diesen Modellen an und verwenden Sie auto:<profile> als Modellnamen.
| Modell | Kostenlos bei | Kontext | Kostenlose Limits (bestes Angebot) | Tools | Bildverarbeitung |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 Anfragen/Min. 1 req/min per model | Ja | Nein |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 Anfragen/Min. 40 RPM | Ja | Ja |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ja | Ja |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ja | Nein |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ja | Ja |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 Anfragen/Min. 20 Anfragen/Tag 250,000 Token/Min. ~3M | Ja | Ja |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ja | Ja |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 Anfragen/Min. 50 Anfragen/Tag 50 req/day account-wide (1,000 after a $10 purchase) | Ja | Ja |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 Anfragen/Min. 50 Anfragen/Tag Shared rate limit | Ja | Nein |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 Anfragen/Min. 250 Anfragen/Tag 70,000 Token/Min. ~6M | Ja | Ja |
Es werden 10 von 109 passenden kostenlosen Modellen angezeigt. Alle Modelle ansehen.
Live-Daten aus dem FreeLLMAPI-Katalog (Version 2026.11.19, geprüft 2026-11-19). Kostenlose Limits ändern sich oft. Der Katalog wird jeden Tag geprüft.
Die Indizierung innerhalb der kostenlosen Limits halten
Die Indizierung sendet in kurzer Zeit viele Embedding-Anfragen. Kostenlose Embedding-Stufen haben niedrige Limits. Manche erlauben zum Beispiel 10 Anfragen pro Minute, andere zählen Aufrufe pro Monat. Planen Sie die erste Indizierung, bevor Sie sie starten.
- Verwenden Sie große Abschnitte. Weniger Abschnitte bedeuten weniger Vektoren und weniger Anfragen. Eine Abschnittsgröße um 1,024 Tokens ist ein guter Start.
- Verwenden Sie Stapel. Setzen Sie
embed_batch_sizeauf 16 oder mehr. Eine Anfrage enthält dann viele Abschnitte. - Speichern Sie den Index. Persistieren Sie den Index nach dem ersten Lauf. Betten Sie dieselben Dateien nicht erneut ein.
- Behalten Sie Wiederholungen bei.
OpenAILikeEmbeddingwiederholt Anfragen standardmäßig bis zu 10 Mal. Behalten Sie diesen Wert für lange Indizierungsaufträge bei. - Indizieren Sie in Teilen. Bei Tausenden Dateien indizieren Sie jeweils einen Ordner.
Abfragen sind günstiger als die Indizierung. Jede Abfrage verwendet eine Embedding-Anfrage und eine Chat-Anfrage. Eine Chat-Anfrage mit vier Abschnitten zu je 1,024 Tokens sendet etwa 5,000 Tokens. Kostenlose Stufen mit niedrigen Limits für Tokens pro Minute können das ablehnen. FreeLLMAPI versucht dann den nächsten Anbieter.
Fehlerbehebung
| Problem | Ursache | Lösung |
|---|---|---|
Unknown model 'auto' | Sie haben die Klasse OpenAI verwendet | Verwenden Sie OpenAILike |
Anfragen gehen an /v1/completions | is_chat_model ist nicht gesetzt | Setzen Sie is_chat_model=True |
| Der Agent ruft keine Tools auf | is_function_calling_model ist aus, oder das Modell hat keine Tool-Aufrufe | Setzen Sie den Wert auf True und verwenden Sie ein Tools-Profil |
| Fehler 429 während der Indizierung | Die Embedding-Familie ist bei allen Anbietern am Limit | Verwenden Sie größere Stapel, warten Sie auf Retry-After und starten Sie erneut |
| Schlechte Antworten nach einem Wechsel des Embedding-Modells | Vektoren aus zwei Familien in einem Index | Löschen Sie den gespeicherten Index und bauen Sie ihn neu auf |
| Fehler zur Kontextlänge | context_window ist größer als das Modell, das geantwortet hat | Setzen Sie einen kleineren Wert oder verwenden Sie ein Profil mit langem Kontext |
Um zu sehen, welcher Anbieter eine Anfrage beantwortet hat, verwenden Sie das FreeLLMAPI-Dashboard. Die Seite Analytics zeigt Anfragen, Latenz und Fehler für jeden Anbieter und jedes Modell. Jede Antwort hat außerdem einen Header X-Routed-Via. Wenn der Router den Anbieter gewechselt hat, nennt der Header X-Fallback-Trail jeden fehlgeschlagenen Versuch und den Grund.
Häufig gestellte Fragen
Kann ich LlamaIndex mit einem kostenlosen LLM verwenden?
Ja. Verwenden Sie OpenAILike mit api_base auf eine OpenAI-kompatible URL. FreeLLMAPI bietet eine URL für viele kostenlose Anbieter-Stufen. Jede Stufe hat eigene Limits.
Was ist der Unterschied zwischen OpenAI und OpenAILike in LlamaIndex?
Die Klasse OpenAI prüft Modellnamen gegen OpenAI-Modelle. OpenAILike akzeptiert jeden Modellnamen. Das Kontextfenster sowie die Flags für Chat und Funktionsaufrufe setzen Sie selbst.
Welches kostenlose Embedding-Modell ist am besten für LlamaIndex?
Wählen Sie eine Familie mit genug kostenlosen Anfragen für Ihre Indizierung und behalten Sie sie für den gesamten Index. Die Familie bge-m3 ist bei mehreren Anbietern kostenlos, daher kann das Failover zwischen ihnen wechseln.
Funktioniert FunctionAgent mit kostenlosen Modellen?
Ja, wenn das Modell Tool-Aufrufe unterstützt und Sie is_function_calling_model=True setzen. Verwenden Sie ein Fallback-Ketten-Profil, das nur Modelle mit Tool-Aufrufen enthält.
Wie vermeide ich Rate-Limits beim Aufbau eines LlamaIndex-Index?
Verwenden Sie große Abschnitte, setzen Sie embed_batch_size auf 16 oder mehr, speichern Sie den Index und indizieren Sie große Ordner in Teilen.
Verwandte Anleitungen
- Kostenlose LLM-API für RAG
- Kostenlose Embeddings-API
- Kostenlose LLM-API für LangChain
- Kostenlose LLM-API in Python
- Kostenlose LLM-API mit 1 Million Tokens Kontext
Quellen
- LlamaIndex: llama-index-llms-openai-like README (geprüft 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (geprüft 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (geprüft 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (geprüft 20 November 2026)