LlamaIndex için ücretsiz LLM
LlamaIndex, OpenAI uyumlu API'ler için iki sınıfa sahiptir: sohbet için OpenAILike ve embeddings için OpenAILikeEmbedding. Bu kılavuz ikisini de FreeLLMAPI'ye yönlendirir. FreeLLMAPI, tek bir anahtarın arkasında 45 ücretsiz sağlayıcı katmanını birleştirir. Bir geri getirmeli üretim (RAG) dizini oluşturur, bu dizini sorgular ve bir ajan eklersiniz. Kod, hız limitlerini yönetir.
Kod, model adları ve canlı katalog etiketleri İngilizce gösterilir.
Paketleri kurun
FreeLLMAPI'yi kurun ve panodaki Keys sayfasına iki veya daha fazla sağlayıcıdan ücretsiz anahtar ekleyin. Birleşik anahtarı kopyalayın. Sonra LlamaIndex paketlerini kurun.
Kurun
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Düz OpenAI sınıfını, llama-index-llms-openai paketinden, OpenAI'nin tanımadığı model adlarıyla kullanmayın. Bu sınıf, model adlarını ve bağlam boyutlarını OpenAI modellerinin listesine göre denetler. OpenAILike bunu yapmaz, bu yüzden bu değerleri kendiniz ayarlarsınız.
LLM'yi ve embedding modelini yapılandırın
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: bu olmadan LlamaIndex, istekleri eski tamamlama uç noktasına gönderir.
- context_window: LlamaIndex, bu değeri alınan parçaların istemde kaç tane sığacağını belirlemek için kullanır.
autoile yönlendirici farklı modeller seçebilir. Zincirinizdeki en küçük bağlam penceresini kullanın. - is_function_calling_model=True: bunu yalnızca zincirinizde araç çağrısı yapabilen modeller varsa ayarlayın.
- embed_batch_size: her grup bir istektir. Daha büyük gruplar, dakikada daha az istek kullanır.
Bir RAG istemi birden çok alınmış parça taşır, bu yüzden sohbet modelinin bunlar için yeri olmalıdır. RAG için uzun bağlamlı modellerle bir yedek zinciri profili oluşturun. Sonra model="auto:<profile>" ayarlayın ve context_window değerini o profildeki en küçük pencereye yükseltin. Bu ücretsiz modeller bugün en büyük bağlam pencerelerine sahiptir:
| Model | Ücretsiz olduğu yer | Bağlam | Ücretsiz limitler (en iyi teklif) | Araçlar | Görsel girdi |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Hayır | Hayır |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 istek/dk 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Evet | Evet |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 istek/dk 20 istek/gün 250,000 jeton/dk ~3M | Evet | Evet |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 istek/dk 50 istek/gün Shared rate limit | Evet | Hayır |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Hayır | Hayır |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 istek/dk 20 istek/gün 250,000 jeton/dk ~3M | Evet | Evet |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 istek/gün Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | Hayır | Hayır |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 istek/dk 20 istek/gün 250,000 jeton/dk ~3M | Evet | Evet |
115 eşleşen ücretsiz modelden 8 tanesi gösteriliyor. Tüm modelleri gör.
Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.
Bir kullanıcıyı tek bir modelde tutmak için bir X-Session-Id üstbilgisi gönderin. OpenAILike, default_headers kabul eder, örneğin default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI bir oturumu 30 dakika boyunca aynı modelde tutar. Bu, tek bir sohbet boyunca aynı üslupta yanıtlar verir.
RAG dizini oluşturun ve sorgulayın
Betik, bir klasörden dosyaları okur, embeddings üretir, dizini kaydeder ve bir soruyu yanıtlar. Dizini oluşturmak için bir kez çalıştırın. Sonraki çalıştırmalar kayıtlı dizini yükler ve dosyaları yeniden gömmez.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage klasörünü silin ve dizini yeniden oluşturun.Bu embedding modelleri bugünkü katalogda ücretsizdir. Boyutlar sütunu, her ailenin vektör boyutunu gösterir.
| Model | Sağlayıcı | Boyutlar | En fazla girdi | Ücretsiz limit |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.
FunctionAgent ile bir ajan ekleyin
FunctionAgent, araç çağrısı kullanır. Ona sorgu motorunu bir araç olarak verebilir ve kendi Python fonksiyonlarınızı ekleyebilirsiniz.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())Ajan işi için araç çağrısı olan modelleri seçin. Yalnızca bu modellerle bir yedek zinciri profili oluşturun ve model adı olarak auto:<profile> kullanın.
| Model | Ücretsiz olduğu yer | Bağlam | Ücretsiz limitler (en iyi teklif) | Araçlar | Görsel girdi |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 istek/dk 1 req/min per model | Evet | Hayır |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 istek/dk 40 RPM | Evet | Evet |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Evet | Evet |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Evet | Hayır |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Evet | Evet |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 istek/dk 20 istek/gün 250,000 jeton/dk ~3M | Evet | Evet |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Evet | Evet |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 istek/dk 50 istek/gün 50 req/day account-wide (1,000 after a $10 purchase) | Evet | Evet |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 istek/dk 50 istek/gün Shared rate limit | Evet | Hayır |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 istek/dk 250 istek/gün 70,000 jeton/dk ~6M | Evet | Evet |
109 eşleşen ücretsiz modelden 10 tanesi gösteriliyor. Tüm modelleri gör.
Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.
Alımı ücretsiz limitler içinde tutun
Alım, kısa sürede çok sayıda embedding isteği gönderir. Ücretsiz embedding katmanlarının limitleri düşüktür. Örneğin bazıları dakikada 10 istek verir, bazıları ise çağrıları ayda sayar. İlk alımı başlatmadan önce planlayın.
- Büyük parçalar kullanın. Daha az parça, daha az vektör ve daha az istek demektir. 1,024 token civarında bir parça boyutu iyi bir başlangıçtır.
- Gruplar kullanın.
embed_batch_sizedeğerini 16 veya daha fazla yapın. Bir istek o zaman birçok parça taşır. - Dizini kaydedin. İlk çalıştırmadan sonra dizini kalıcı hale getirin. Aynı dosyaları yeniden gömmeyin.
- Yeniden denemeleri açık tutun.
OpenAILikeEmbedding, varsayılan olarak en fazla 10 kez yeniden dener. Uzun alım işleri için bu değeri koruyun. - Parçalar halinde alın. Binlerce dosya için her seferinde bir klasör alın.
Sorgular, alımdan daha ucuzdur. Her sorgu bir embedding isteği ve bir sohbet isteği kullanır. Dört parça, her biri 1,024 token olan bir sohbet isteği yaklaşık 5,000 token gönderir. Dakikadaki token limiti düşük ücretsiz katmanlar bunu reddedebilir. FreeLLMAPI bu durumda bir sonraki sağlayıcıyı dener.
Sorun giderme
| Sorun | Neden | Çözüm |
|---|---|---|
Unknown model 'auto' | OpenAI sınıfını kullandınız | OpenAILike kullanın |
İstekler /v1/completions adresine gidiyor | is_chat_model ayarlı değil | is_chat_model=True ayarlayın |
| Ajan araçları çağırmıyor | is_function_calling_model kapalı veya modelde araç çağrısı yok | True olarak ayarlayın ve bir araç profili kullanın |
| Alım sırasında hata 429 | Embedding ailesi tüm sağlayıcılarda limitinde | Daha büyük gruplar kullanın, Retry-After değerini bekleyin ve yeniden çalıştırın |
| Embedding modeli değiştikten sonra kötü yanıtlar | Bir dizinde iki ailenin vektörleri | Kayıtlı dizini silin ve yeniden oluşturun |
| Bağlam uzunluğu hatası | context_window, yanıt veren modelden büyük | Daha küçük bir değer ayarlayın veya uzun bağlamlı bir profil kullanın |
Bir isteğe hangi sağlayıcının yanıt verdiğini görmek için FreeLLMAPI panosunu kullanın. Analytics sayfası, her sağlayıcı ve model için istekleri, gecikmeyi ve hataları gösterir. Her yanıtta ayrıca bir X-Routed-Via üstbilgisi bulunur. Yönlendirici sağlayıcıyı değiştirdiyse X-Fallback-Trail üstbilgisi, başarısız her denemeyi ve nedenini adlandırır.
Sık sorulan sorular
LlamaIndex'i ücretsiz bir LLM ile kullanabilir miyim?
Evet. api_base değerini OpenAI uyumlu bir URL olarak ayarlanmış OpenAILike ile kullanın. FreeLLMAPI, birçok ücretsiz sağlayıcı katmanı için tek bir URL verir. Her katmanın kendi limitleri vardır.
LlamaIndex'te OpenAI ile OpenAILike arasındaki fark nedir?
OpenAI sınıfı, model adlarını OpenAI modellerine göre denetler. OpenAILike her model adını kabul eder. Bağlam penceresini ve sohbet ile fonksiyon çağrısı bayraklarını kendiniz ayarlarsınız.
LlamaIndex için en iyi ücretsiz embedding modeli hangisi?
Alımınız için yeterli ücretsiz istek olan bir aile seçin ve tüm dizin için onu tutun. bge-m3 ailesi birkaç sağlayıcıda ücretsizdir, bu yüzden yedekleme aralarında geçiş yapabilir.
FunctionAgent ücretsiz modellerle çalışır mı?
Model araç çağrısını destekliyorsa ve is_function_calling_model=True ayarlarsanız evet. Yalnızca araç çağrısı yapan modellere sahip bir yedek zinciri profili kullanın.
LlamaIndex dizini oluştururken hız limitlerinden nasıl kaçınırım?
Büyük parçalar kullanın, embed_batch_size değerini 16 veya daha fazla yapın, dizini kalıcı hale getirin ve büyük klasörleri parçalar halinde alın.
İlgili rehberler
- RAG için ücretsiz LLM API
- Ücretsiz embeddings API
- LangChain için ücretsiz LLM API
- Python ile ücretsiz LLM API
- 1 milyon token bağlamlı ücretsiz LLM API
Kaynaklar
- LlamaIndex: llama-index-llms-openai-like README (20 November 2026 tarihinde kontrol edildi)
- LlamaIndex: llama-index-embeddings-openai-like source (20 November 2026 tarihinde kontrol edildi)
- LlamaIndex: FunctionAgent (agent workflow) source (20 November 2026 tarihinde kontrol edildi)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (20 November 2026 tarihinde kontrol edildi)