LLM gratuit pentru LlamaIndex
LlamaIndex are două clase pentru API-urile compatibile cu OpenAI: OpenAILike pentru chat și OpenAILikeEmbedding pentru embeddings. Acest ghid le indică pe amândouă spre FreeLLMAPI, care grupează 45 niveluri gratuite de la furnizori în spatele unei singure chei. Construiți un index de generare augmentată prin recuperare (RAG), îl interogați și adăugați un agent. Codul gestionează limitele de cereri.
Codul, numele modelelor și etichetele live din catalog sunt afișate în engleză.
Instalați pachetele
Instalați FreeLLMAPI și adăugați chei gratuite de la doi sau mai mulți furnizori în pagina Keys din panoul de control. Copiați cheia unificată. Apoi instalați pachetele LlamaIndex.
Instalare
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Nu folosiți clasa simplă OpenAI din llama-index-llms-openai cu nume de modele pe care OpenAI nu le cunoaște. Clasa aceea verifică numele modelelor și dimensiunile contextului față de o listă de modele OpenAI. OpenAILike nu face asta, deci setați aceste valori singur.
Configurați LLM-ul și modelul de embeddings
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: fără această setare, LlamaIndex trimite cererile la endpoint-ul vechi de completare.
- context_window: LlamaIndex folosește această valoare ca să decidă câte fragmente recuperate încap în prompt. Cu
auto, routerul poate alege modele diferite. Folosiți cea mai mică fereastră de context din lanțul dvs. - is_function_calling_model=True: setați-l doar când lanțul dvs. are modele cu apel de instrumente.
- embed_batch_size: fiecare lot este o cerere. Loturile mai mari folosesc mai puține cereri pe minut.
Un prompt RAG conține mai multe fragmente recuperate, deci modelul de chat are nevoie de spațiu pentru ele. Creați un profil de lanț de rezervă cu modele cu context lung pentru RAG. Apoi setați model="auto:<profile>" și măriți context_window la cea mai mică fereastră din acel profil. Aceste modele gratuite au cele mai mari ferestre de context astăzi:
| Model | Gratuit pe | Context | Limite gratuite (cea mai bună ofertă) | Instrumente | Viziune |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Nu | Nu |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 cereri/min 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Da | Da |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 cereri/min 20 cereri/zi 250,000 tokeni/min ~3M | Da | Da |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 cereri/min 50 cereri/zi Shared rate limit | Da | Nu |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Nu | Nu |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 cereri/min 20 cereri/zi 250,000 tokeni/min ~3M | Da | Da |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 cereri/zi Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | Nu | Nu |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 cereri/min 20 cereri/zi 250,000 tokeni/min ~3M | Da | Da |
Se afișează 8 din 115 modele gratuite care se potrivesc. Vezi toate modelele.
Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.
Ca un singur utilizator să rămână pe un singur model, trimiteți un antet X-Session-Id. OpenAILike acceptă default_headers, de exemplu default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI păstrează o sesiune pe același model timp de 30 de minute. Astfel, răspunsurile au același stil în timpul unui chat.
Construiți și interogați un index RAG
Scriptul citește fișiere dintr-un folder, calculează embeddings, salvează indexul și răspunde la o întrebare. Rulați-l o dată ca să construiți indexul. Rulările ulterioare încarcă indexul salvat și nu mai calculează din nou embeddings pentru fișiere.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage și construiți din nou indexul.Aceste modele de embeddings sunt gratuite în catalogul de astăzi. Coloana dimensions arată dimensiunea vectorului pentru fiecare familie.
| Model | Furnizor | Dimensiuni | Intrare maximă | Limită gratuită |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.
Adăugați un agent cu FunctionAgent
FunctionAgent folosește apel de instrumente. Îi puteți da motorul de interogare ca instrument și puteți adăuga propriile funcții Python.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())Pentru lucrul cu agenți, alegeți modele cu apel de instrumente. Creați un profil de lanț de rezervă cu doar aceste modele și folosiți auto:<profile> ca nume de model.
| Model | Gratuit pe | Context | Limite gratuite (cea mai bună ofertă) | Instrumente | Viziune |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 cereri/min 1 req/min per model | Da | Nu |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 cereri/min 40 RPM | Da | Da |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Da | Da |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Da | Nu |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Da | Da |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 cereri/min 20 cereri/zi 250,000 tokeni/min ~3M | Da | Da |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Da | Da |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 cereri/min 50 cereri/zi 50 req/day account-wide (1,000 after a $10 purchase) | Da | Da |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 cereri/min 50 cereri/zi Shared rate limit | Da | Nu |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 cereri/min 250 cereri/zi 70,000 tokeni/min ~6M | Da | Da |
Se afișează 10 din 109 modele gratuite care se potrivesc. Vezi toate modelele.
Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.
Mențineți ingestia în limitele gratuite
Ingestia trimite multe cereri de embeddings într-un timp scurt. Nivelurile gratuite de embeddings au limite mici. De exemplu, unele permit 10 cereri pe minut, iar altele numără apelurile pe lună. Planificați prima ingestie înainte să o porniți.
- Folosiți fragmente mari. Mai puține fragmente înseamnă mai puțini vectori și mai puține cereri. O dimensiune a fragmentului de aproximativ 1,024 de tokeni este un bun început.
- Folosiți loturi. Setați
embed_batch_sizela 16 sau mai mult. O cerere transportă atunci multe fragmente. - Salvați indexul. Păstrați indexul după prima rulare. Nu calculați din nou embeddings pentru aceleași fișiere.
- Păstrați reîncercările activate.
OpenAILikeEmbeddingreîncearcă implicit de până la 10 ori. Păstrați această valoare pentru job-urile lungi de ingestie. - Ingerați pe părți. Pentru mii de fișiere, ingerați câte un folder pe rând.
Interogările costă mai puțin decât ingestia. Fiecare interogare folosește o cerere de embeddings și o cerere de chat. O cerere de chat cu patru fragmente de 1,024 de tokeni trimite aproximativ 5,000 de tokeni. Nivelurile gratuite cu limite mici de tokeni pe minut pot refuza asta. FreeLLMAPI încearcă atunci următorul furnizor.
Depanare
| Problemă | Cauză | Remediere |
|---|---|---|
Unknown model 'auto' | Ați folosit clasa OpenAI | Folosiți OpenAILike |
Cererile merg la /v1/completions | is_chat_model nu este setat | Setați is_chat_model=True |
| Agentul nu apelează instrumente | is_function_calling_model este dezactivat, sau modelul nu are apel de instrumente | Setați-l la True și folosiți un profil cu instrumente |
| Eroarea 429 în timpul ingestiei | Familia de embeddings a atins limita la toți furnizorii | Folosiți loturi mai mari, așteptați Retry-After și rulați din nou |
| Răspunsuri slabe după schimbarea modelului de embeddings | Vectori din două familii în același index | Ștergeți indexul salvat și construiți-l din nou |
| Eroare de lungime a contextului | context_window este mai mare decât modelul care a răspuns | Setați o valoare mai mică sau folosiți un profil cu context lung |
Ca să vedeți ce furnizor a răspuns la o cerere, folosiți panoul de control FreeLLMAPI. Pagina Analytics arată cererile, latența și erorile pentru fiecare furnizor și model. Fiecare răspuns are și un antet X-Routed-Via. Dacă routerul a schimbat furnizorul, antetul X-Fallback-Trail numește fiecare încercare eșuată și motivul ei.
Întrebări frecvente
Pot folosi LlamaIndex cu un LLM gratuit?
Da. Folosiți OpenAILike cu api_base setat la o adresă compatibilă OpenAI. FreeLLMAPI oferă o singură adresă pentru mai multe niveluri gratuite de la furnizori. Fiecare nivel are propriile limite.
Care este diferența dintre OpenAI și OpenAILike în LlamaIndex?
Clasa OpenAI verifică numele modelelor față de modelele OpenAI. OpenAILike acceptă orice nume de model. Setați singur fereastra de context și indicatorii pentru chat și apel de funcții.
Care model gratuit de embeddings este cel mai bun pentru LlamaIndex?
Alegeți o familie cu suficiente cereri gratuite pentru ingestia dvs. și păstrați-o pentru tot indexul. Familia bge-m3 este gratuită la mai mulți furnizori, deci failover-ul poate trece între ei.
Funcționează FunctionAgent cu modele gratuite?
Da, dacă modelul acceptă apel de instrumente și setați is_function_calling_model=True. Folosiți un profil de lanț de rezervă care are doar modele cu apel de instrumente.
Cum evit limitele de cereri când construiesc un index LlamaIndex?
Folosiți fragmente mari, setați embed_batch_size la 16 sau mai mult, salvați indexul și ingerați folderele mari pe părți.
Ghiduri înrudite
- API LLM gratuit pentru RAG
- API gratuit pentru embeddings
- Free LLM API pentru LangChain
- API LLM gratuit în Python
- API LLM gratuit cu context de 1 milion de tokeni
Surse
- LlamaIndex: llama-index-llms-openai-like README (verificat 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (verificat 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (verificat 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (verificat 20 November 2026)