Acasă / Ghiduri / LLM gratuit pentru LlamaIndex

LLM gratuit pentru LlamaIndex

LlamaIndex are două clase pentru API-urile compatibile cu OpenAI: OpenAILike pentru chat și OpenAILikeEmbedding pentru embeddings. Acest ghid le indică pe amândouă spre FreeLLMAPI, care grupează 45 niveluri gratuite de la furnizori în spatele unei singure chei. Construiți un index de generare augmentată prin recuperare (RAG), îl interogați și adăugați un agent. Codul gestionează limitele de cereri.

Codul, numele modelelor și etichetele live din catalog sunt afișate în engleză.

Instalați pachetele

Instalați FreeLLMAPI și adăugați chei gratuite de la doi sau mai mulți furnizori în pagina Keys din panoul de control. Copiați cheia unificată. Apoi instalați pachetele LlamaIndex.

Instalare

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Nu folosiți clasa simplă OpenAI din llama-index-llms-openai cu nume de modele pe care OpenAI nu le cunoaște. Clasa aceea verifică numele modelelor și dimensiunile contextului față de o listă de modele OpenAI. OpenAILike nu face asta, deci setați aceste valori singur.

Configurați LLM-ul și modelul de embeddings

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: fără această setare, LlamaIndex trimite cererile la endpoint-ul vechi de completare.
  • context_window: LlamaIndex folosește această valoare ca să decidă câte fragmente recuperate încap în prompt. Cu auto, routerul poate alege modele diferite. Folosiți cea mai mică fereastră de context din lanțul dvs.
  • is_function_calling_model=True: setați-l doar când lanțul dvs. are modele cu apel de instrumente.
  • embed_batch_size: fiecare lot este o cerere. Loturile mai mari folosesc mai puține cereri pe minut.

Un prompt RAG conține mai multe fragmente recuperate, deci modelul de chat are nevoie de spațiu pentru ele. Creați un profil de lanț de rezervă cu modele cu context lung pentru RAG. Apoi setați model="auto:<profile>" și măriți context_window la cea mai mică fereastră din acel profil. Aceste modele gratuite au cele mai mari ferestre de context astăzi:

Modele gratuite cu cele mai mari ferestre de context
ModelGratuit peContextLimite gratuite (cea mai bună ofertă)InstrumenteViziune
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsNuNu
Gemini 3.8 FlashAPINex, Google AI Studio1M5 cereri/min
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
DaDa
Gemini 3.7 FlashGoogle AI Studio1M10 cereri/min
20 cereri/zi
250,000 tokeni/min
~3M
DaDa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 cereri/min
50 cereri/zi
Shared rate limit
DaNu
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetNuNu
Gemini 3.6 FlashGoogle AI Studio1M10 cereri/min
20 cereri/zi
250,000 tokeni/min
~3M
DaDa
GLM-5.2ModelScope, Router91M100 cereri/zi
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
NuNu
Gemini 3.5 FlashGoogle AI Studio1M10 cereri/min
20 cereri/zi
250,000 tokeni/min
~3M
DaDa

Se afișează 8 din 115 modele gratuite care se potrivesc. Vezi toate modelele.

Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.

Ca un singur utilizator să rămână pe un singur model, trimiteți un antet X-Session-Id. OpenAILike acceptă default_headers, de exemplu default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI păstrează o sesiune pe același model timp de 30 de minute. Astfel, răspunsurile au același stil în timpul unui chat.

Construiți și interogați un index RAG

Scriptul citește fișiere dintr-un folder, calculează embeddings, salvează indexul și răspunde la o întrebare. Rulați-l o dată ca să construiți indexul. Rulările ulterioare încarcă indexul salvat și nu mai calculează din nou embeddings pentru fișiere.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
Important: păstrați o singură familie de embeddings pentru tot indexul. FreeLLMAPI nu schimbă niciodată modelul de embeddings în timpul failover-ului. Trece doar între furnizorii care servesc aceeași familie. Dacă schimbați familia, ștergeți ./storage și construiți din nou indexul.

Aceste modele de embeddings sunt gratuite în catalogul de astăzi. Coloana dimensions arată dimensiunea vectorului pentru fiecare familie.

ModelFurnizorDimensiuniIntrare maximăLimită gratuită
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.

Adăugați un agent cu FunctionAgent

FunctionAgent folosește apel de instrumente. Îi puteți da motorul de interogare ca instrument și puteți adăuga propriile funcții Python.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

Pentru lucrul cu agenți, alegeți modele cu apel de instrumente. Creați un profil de lanț de rezervă cu doar aceste modele și folosiți auto:<profile> ca nume de model.

Modele gratuite cu apel de instrumente și context de 128K+
ModelGratuit peContextLimite gratuite (cea mai bună ofertă)InstrumenteViziune
GLM 5.3UnoRouter1M1 cereri/min
1 req/min per model
DaNu
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 cereri/min
40 RPM
DaDa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaDaDa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceDaNu
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditDaDa
Gemini 3.7 FlashGoogle AI Studio1M10 cereri/min
20 cereri/zi
250,000 tokeni/min
~3M
DaDa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditDaDa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 cereri/min
50 cereri/zi
50 req/day account-wide (1,000 after a $10 purchase)
DaDa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 cereri/min
50 cereri/zi
Shared rate limit
DaNu
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 cereri/min
250 cereri/zi
70,000 tokeni/min
~6M
DaDa

Se afișează 10 din 109 modele gratuite care se potrivesc. Vezi toate modelele.

Date live din catalogul FreeLLMAPI (versiunea 2026.11.19, verificat 2026-11-19). Limitele gratuite se schimbă des. Catalogul este verificat în fiecare zi.

Mențineți ingestia în limitele gratuite

Ingestia trimite multe cereri de embeddings într-un timp scurt. Nivelurile gratuite de embeddings au limite mici. De exemplu, unele permit 10 cereri pe minut, iar altele numără apelurile pe lună. Planificați prima ingestie înainte să o porniți.

  • Folosiți fragmente mari. Mai puține fragmente înseamnă mai puțini vectori și mai puține cereri. O dimensiune a fragmentului de aproximativ 1,024 de tokeni este un bun început.
  • Folosiți loturi. Setați embed_batch_size la 16 sau mai mult. O cerere transportă atunci multe fragmente.
  • Salvați indexul. Păstrați indexul după prima rulare. Nu calculați din nou embeddings pentru aceleași fișiere.
  • Păstrați reîncercările activate. OpenAILikeEmbedding reîncearcă implicit de până la 10 ori. Păstrați această valoare pentru job-urile lungi de ingestie.
  • Ingerați pe părți. Pentru mii de fișiere, ingerați câte un folder pe rând.

Interogările costă mai puțin decât ingestia. Fiecare interogare folosește o cerere de embeddings și o cerere de chat. O cerere de chat cu patru fragmente de 1,024 de tokeni trimite aproximativ 5,000 de tokeni. Nivelurile gratuite cu limite mici de tokeni pe minut pot refuza asta. FreeLLMAPI încearcă atunci următorul furnizor.

Depanare

ProblemăCauzăRemediere
Unknown model 'auto'Ați folosit clasa OpenAIFolosiți OpenAILike
Cererile merg la /v1/completionsis_chat_model nu este setatSetați is_chat_model=True
Agentul nu apelează instrumenteis_function_calling_model este dezactivat, sau modelul nu are apel de instrumenteSetați-l la True și folosiți un profil cu instrumente
Eroarea 429 în timpul ingestieiFamilia de embeddings a atins limita la toți furnizoriiFolosiți loturi mai mari, așteptați Retry-After și rulați din nou
Răspunsuri slabe după schimbarea modelului de embeddingsVectori din două familii în același indexȘtergeți indexul salvat și construiți-l din nou
Eroare de lungime a contextuluicontext_window este mai mare decât modelul care a răspunsSetați o valoare mai mică sau folosiți un profil cu context lung

Ca să vedeți ce furnizor a răspuns la o cerere, folosiți panoul de control FreeLLMAPI. Pagina Analytics arată cererile, latența și erorile pentru fiecare furnizor și model. Fiecare răspuns are și un antet X-Routed-Via. Dacă routerul a schimbat furnizorul, antetul X-Fallback-Trail numește fiecare încercare eșuată și motivul ei.

Folosiți fiecare dintre aceste modele printr-o singură cheie. FreeLLMAPI este un router open-source, găzduit de dumneavoastră, care pune toate aceste niveluri gratuite în spatele unui singur endpoint compatibil cu OpenAI și trece la alt furnizor când un furnizor este limitat la rată. Vezi catalogul sau trece live.

Întrebări frecvente

Pot folosi LlamaIndex cu un LLM gratuit?

Da. Folosiți OpenAILike cu api_base setat la o adresă compatibilă OpenAI. FreeLLMAPI oferă o singură adresă pentru mai multe niveluri gratuite de la furnizori. Fiecare nivel are propriile limite.

Care este diferența dintre OpenAI și OpenAILike în LlamaIndex?

Clasa OpenAI verifică numele modelelor față de modelele OpenAI. OpenAILike acceptă orice nume de model. Setați singur fereastra de context și indicatorii pentru chat și apel de funcții.

Care model gratuit de embeddings este cel mai bun pentru LlamaIndex?

Alegeți o familie cu suficiente cereri gratuite pentru ingestia dvs. și păstrați-o pentru tot indexul. Familia bge-m3 este gratuită la mai mulți furnizori, deci failover-ul poate trece între ei.

Funcționează FunctionAgent cu modele gratuite?

Da, dacă modelul acceptă apel de instrumente și setați is_function_calling_model=True. Folosiți un profil de lanț de rezervă care are doar modele cu apel de instrumente.

Cum evit limitele de cereri când construiesc un index LlamaIndex?

Folosiți fragmente mari, setați embed_batch_size la 16 sau mai mult, salvați indexul și ingerați folderele mari pe părți.

Ghiduri înrudite

Surse

Toate ghidurile · Vezi toate modelele gratuite