Ana sayfa / Rehberler / LlamaIndex için ücretsiz LLM

LlamaIndex için ücretsiz LLM

LlamaIndex, OpenAI uyumlu API'ler için iki sınıfa sahiptir: sohbet için OpenAILike ve embeddings için OpenAILikeEmbedding. Bu kılavuz ikisini de FreeLLMAPI'ye yönlendirir. FreeLLMAPI, tek bir anahtarın arkasında 45 ücretsiz sağlayıcı katmanını birleştirir. Bir geri getirmeli üretim (RAG) dizini oluşturur, bu dizini sorgular ve bir ajan eklersiniz. Kod, hız limitlerini yönetir.

Kod, model adları ve canlı katalog etiketleri İngilizce gösterilir.

Paketleri kurun

FreeLLMAPI'yi kurun ve panodaki Keys sayfasına iki veya daha fazla sağlayıcıdan ücretsiz anahtar ekleyin. Birleşik anahtarı kopyalayın. Sonra LlamaIndex paketlerini kurun.

Kurun

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Düz OpenAI sınıfını, llama-index-llms-openai paketinden, OpenAI'nin tanımadığı model adlarıyla kullanmayın. Bu sınıf, model adlarını ve bağlam boyutlarını OpenAI modellerinin listesine göre denetler. OpenAILike bunu yapmaz, bu yüzden bu değerleri kendiniz ayarlarsınız.

LLM'yi ve embedding modelini yapılandırın

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: bu olmadan LlamaIndex, istekleri eski tamamlama uç noktasına gönderir.
  • context_window: LlamaIndex, bu değeri alınan parçaların istemde kaç tane sığacağını belirlemek için kullanır. auto ile yönlendirici farklı modeller seçebilir. Zincirinizdeki en küçük bağlam penceresini kullanın.
  • is_function_calling_model=True: bunu yalnızca zincirinizde araç çağrısı yapabilen modeller varsa ayarlayın.
  • embed_batch_size: her grup bir istektir. Daha büyük gruplar, dakikada daha az istek kullanır.

Bir RAG istemi birden çok alınmış parça taşır, bu yüzden sohbet modelinin bunlar için yeri olmalıdır. RAG için uzun bağlamlı modellerle bir yedek zinciri profili oluşturun. Sonra model="auto:<profile>" ayarlayın ve context_window değerini o profildeki en küçük pencereye yükseltin. Bu ücretsiz modeller bugün en büyük bağlam pencerelerine sahiptir:

En büyük bağlam pencerelerine sahip ücretsiz modeller
ModelÜcretsiz olduğu yerBağlamÜcretsiz limitler (en iyi teklif)AraçlarGörsel girdi
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsHayırHayır
Gemini 3.8 FlashAPINex, Google AI Studio1M5 istek/dk
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
EvetEvet
Gemini 3.7 FlashGoogle AI Studio1M10 istek/dk
20 istek/gün
250,000 jeton/dk
~3M
EvetEvet
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 istek/dk
50 istek/gün
Shared rate limit
EvetHayır
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetHayırHayır
Gemini 3.6 FlashGoogle AI Studio1M10 istek/dk
20 istek/gün
250,000 jeton/dk
~3M
EvetEvet
GLM-5.2ModelScope, Router91M100 istek/gün
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
HayırHayır
Gemini 3.5 FlashGoogle AI Studio1M10 istek/dk
20 istek/gün
250,000 jeton/dk
~3M
EvetEvet

115 eşleşen ücretsiz modelden 8 tanesi gösteriliyor. Tüm modelleri gör.

Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.

Bir kullanıcıyı tek bir modelde tutmak için bir X-Session-Id üstbilgisi gönderin. OpenAILike, default_headers kabul eder, örneğin default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI bir oturumu 30 dakika boyunca aynı modelde tutar. Bu, tek bir sohbet boyunca aynı üslupta yanıtlar verir.

RAG dizini oluşturun ve sorgulayın

Betik, bir klasörden dosyaları okur, embeddings üretir, dizini kaydeder ve bir soruyu yanıtlar. Dizini oluşturmak için bir kez çalıştırın. Sonraki çalıştırmalar kayıtlı dizini yükler ve dosyaları yeniden gömmez.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
Önemli: tüm dizin için bir embedding ailesi tutun. FreeLLMAPI, yedekleme sırasında embedding modelini hiçbir zaman değiştirmez. Yalnızca aynı aileye hizmet veren sağlayıcılar arasında geçiş yapar. Aileyi değiştirirseniz ./storage klasörünü silin ve dizini yeniden oluşturun.

Bu embedding modelleri bugünkü katalogda ücretsizdir. Boyutlar sütunu, her ailenin vektör boyutunu gösterir.

ModelSağlayıcıBoyutlarEn fazla girdiÜcretsiz limit
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.

FunctionAgent ile bir ajan ekleyin

FunctionAgent, araç çağrısı kullanır. Ona sorgu motorunu bir araç olarak verebilir ve kendi Python fonksiyonlarınızı ekleyebilirsiniz.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

Ajan işi için araç çağrısı olan modelleri seçin. Yalnızca bu modellerle bir yedek zinciri profili oluşturun ve model adı olarak auto:<profile> kullanın.

Araç çağrısı ve 128K+ bağlamlı ücretsiz modeller
ModelÜcretsiz olduğu yerBağlamÜcretsiz limitler (en iyi teklif)AraçlarGörsel girdi
GLM 5.3UnoRouter1M1 istek/dk
1 req/min per model
EvetHayır
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 istek/dk
40 RPM
EvetEvet
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaEvetEvet
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceEvetHayır
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditEvetEvet
Gemini 3.7 FlashGoogle AI Studio1M10 istek/dk
20 istek/gün
250,000 jeton/dk
~3M
EvetEvet
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditEvetEvet
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 istek/dk
50 istek/gün
50 req/day account-wide (1,000 after a $10 purchase)
EvetEvet
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 istek/dk
50 istek/gün
Shared rate limit
EvetHayır
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 istek/dk
250 istek/gün
70,000 jeton/dk
~6M
EvetEvet

109 eşleşen ücretsiz modelden 10 tanesi gösteriliyor. Tüm modelleri gör.

Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.

Alımı ücretsiz limitler içinde tutun

Alım, kısa sürede çok sayıda embedding isteği gönderir. Ücretsiz embedding katmanlarının limitleri düşüktür. Örneğin bazıları dakikada 10 istek verir, bazıları ise çağrıları ayda sayar. İlk alımı başlatmadan önce planlayın.

  • Büyük parçalar kullanın. Daha az parça, daha az vektör ve daha az istek demektir. 1,024 token civarında bir parça boyutu iyi bir başlangıçtır.
  • Gruplar kullanın. embed_batch_size değerini 16 veya daha fazla yapın. Bir istek o zaman birçok parça taşır.
  • Dizini kaydedin. İlk çalıştırmadan sonra dizini kalıcı hale getirin. Aynı dosyaları yeniden gömmeyin.
  • Yeniden denemeleri açık tutun. OpenAILikeEmbedding, varsayılan olarak en fazla 10 kez yeniden dener. Uzun alım işleri için bu değeri koruyun.
  • Parçalar halinde alın. Binlerce dosya için her seferinde bir klasör alın.

Sorgular, alımdan daha ucuzdur. Her sorgu bir embedding isteği ve bir sohbet isteği kullanır. Dört parça, her biri 1,024 token olan bir sohbet isteği yaklaşık 5,000 token gönderir. Dakikadaki token limiti düşük ücretsiz katmanlar bunu reddedebilir. FreeLLMAPI bu durumda bir sonraki sağlayıcıyı dener.

Sorun giderme

SorunNedenÇözüm
Unknown model 'auto'OpenAI sınıfını kullandınızOpenAILike kullanın
İstekler /v1/completions adresine gidiyoris_chat_model ayarlı değilis_chat_model=True ayarlayın
Ajan araçları çağırmıyoris_function_calling_model kapalı veya modelde araç çağrısı yokTrue olarak ayarlayın ve bir araç profili kullanın
Alım sırasında hata 429Embedding ailesi tüm sağlayıcılarda limitindeDaha büyük gruplar kullanın, Retry-After değerini bekleyin ve yeniden çalıştırın
Embedding modeli değiştikten sonra kötü yanıtlarBir dizinde iki ailenin vektörleriKayıtlı dizini silin ve yeniden oluşturun
Bağlam uzunluğu hatasıcontext_window, yanıt veren modelden büyükDaha küçük bir değer ayarlayın veya uzun bağlamlı bir profil kullanın

Bir isteğe hangi sağlayıcının yanıt verdiğini görmek için FreeLLMAPI panosunu kullanın. Analytics sayfası, her sağlayıcı ve model için istekleri, gecikmeyi ve hataları gösterir. Her yanıtta ayrıca bir X-Routed-Via üstbilgisi bulunur. Yönlendirici sağlayıcıyı değiştirdiyse X-Fallback-Trail üstbilgisi, başarısız her denemeyi ve nedenini adlandırır.

Bunların hepsini tek bir anahtarla kullanın. FreeLLMAPI, açık kaynaklı ve kendi sunucunuzda çalışan bir yönlendiricidir. Tüm bu ücretsiz katmanları tek bir OpenAI uyumlu uç noktanın arkasında toplar ve bir sağlayıcı hız limitine takıldığında otomatik olarak başka birine geçer. Kataloğa göz atın veya canlı olarak incele.

Sık sorulan sorular

LlamaIndex'i ücretsiz bir LLM ile kullanabilir miyim?

Evet. api_base değerini OpenAI uyumlu bir URL olarak ayarlanmış OpenAILike ile kullanın. FreeLLMAPI, birçok ücretsiz sağlayıcı katmanı için tek bir URL verir. Her katmanın kendi limitleri vardır.

LlamaIndex'te OpenAI ile OpenAILike arasındaki fark nedir?

OpenAI sınıfı, model adlarını OpenAI modellerine göre denetler. OpenAILike her model adını kabul eder. Bağlam penceresini ve sohbet ile fonksiyon çağrısı bayraklarını kendiniz ayarlarsınız.

LlamaIndex için en iyi ücretsiz embedding modeli hangisi?

Alımınız için yeterli ücretsiz istek olan bir aile seçin ve tüm dizin için onu tutun. bge-m3 ailesi birkaç sağlayıcıda ücretsizdir, bu yüzden yedekleme aralarında geçiş yapabilir.

FunctionAgent ücretsiz modellerle çalışır mı?

Model araç çağrısını destekliyorsa ve is_function_calling_model=True ayarlarsanız evet. Yalnızca araç çağrısı yapan modellere sahip bir yedek zinciri profili kullanın.

LlamaIndex dizini oluştururken hız limitlerinden nasıl kaçınırım?

Büyük parçalar kullanın, embed_batch_size değerini 16 veya daha fazla yapın, dizini kalıcı hale getirin ve büyük klasörleri parçalar halinde alın.

İlgili rehberler

Kaynaklar

Tüm rehberler · Tüm ücretsiz modelleri incele