RAG için ücretsiz LLM API
Geri getirme destekli üretim (RAG) iki API gerektirir: ilgili metni bulmak için bir gömme modeli ve yanıtı yazmak için bir sohbet modeli. İkisi de ücretsiz katmanlarda vardır. FreeLLMAPI, 41 ücretsiz gömme modeli ve 487 ücretsiz sohbet modeli için tek bir OpenAI uyumlu anahtar sunar. Sağlayıcılar arasında yedekleme yapar. Bu kılavuz her adım için ücretsiz modelleri ve eksiksiz bir Python hattını gösterir.
Kod, model adları ve canlı katalog etiketleri İngilizce gösterilir.
Ücretsiz katmanlarda RAG hattı
| Adım | API | Ücretsiz katman sorunu |
|---|---|---|
| 1. Belgeleri parçalara ayırın | Yok (yerel kod) | Yok |
| 2. Her parçayı gömün | /v1/embeddings | Başlangıçta çok sayıda istek. Bazı ücretsiz gömme katmanları dakikada 10 isteğe izin verir. |
| 3. Soruyu gömün | /v1/embeddings | Soru başına bir istek |
| 4. En iyi parçaları bulun | Yok (yerel vektör araması) | Yok |
| 5. Parçaları yeniden sıralayın (isteğe bağlı) | /v1/chat/completions | Soru başına bir ek sohbet isteği |
| 6. Yanıtı yazın | /v1/chat/completions | Büyük istemler. Dakika başına token sınırları geçerlidir. |
Adım 2 en pahalı adımdır. Her belge için bir kez yaparsınız. Vektörleri kaydedin ve daha sonra yalnızca yeni veya değişmiş belgeleri gömün.
FreeLLMAPI'yi ve Python paketlerini kurun
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>Ücretsiz bir gömme modeli seçin
Bir gömme ailesi seçin ve tüm dizin için onu tutun. İki modelden gelen vektörler uyumlu değildir. FreeLLMAPI karışık vektörlere karşı sizi korur: gömme yedeklemesi modeli asla değiştirmez. Yalnızca aynı aileyi sunan sağlayıcılar arasında geçiş yapar.
| Model | Sağlayıcı | Boyutlar | En fazla girdi | Ücretsiz limit |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.
- Bir aile için birden çok sağlayıcı:
bge-m3gibi bir aile birden fazla sağlayıcıda ücretsizdir. Yedeklemenin gidebileceği bir yer olur. - En büyük girdi: en büyük girdiden uzun parçalar kesilir veya reddedilir. Parçaları bu değerden küçük yapın.
- Diller: İngilizce olmayan metin için
bge-m3gibi çok dilli bir aile kullanın. Adında-en-geçen aileler İngilizce içindir. - Boyutlar: daha büyük vektörler daha fazla depolama alanı kullanır. Küçük bir dizin için bu bir sorun değildir.
Python ile eksiksiz RAG kodu
Betik, metin dosyalarını parçalara böler, parçaları gruplar halinde gömer ve vektörleri NumPy ile kaydeder. Sonra en iyi parçalarla bir soruyu yanıtlar ve kaynakları verir. Bir sınır isteği durdurduğunda yeniden dener.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))Birkaç bin parçadan fazlası için NumPy aramasını bir vektör veritabanıyla değiştirin. Gömme ve sohbet çağrıları aynı kalır.
Kullanıcılar aynı soruyu sık sorar. FreeLLMAPI, aynı istekler için isteğe bağlı bir yanıt önbelleğine sahiptir. Önbellek isabeti hiçbir sağlayıcı kotası kullanmaz. Önbelleği tek bir istek için X-FreeLLM-Cache: on veya off üstbilgisiyle açabilir ya da kapatabilirsiniz. Aynı sorunun aynı isteği üretmesi için temperature=0 kullanın.
Yeniden sıralama adımı ekleyin
Vektör araması benzer metni bulur, ancak en iyi parça her zaman en iyi yanıt değildir. Yeniden sıralama adımı adayları yeniden sıralar. FreeLLMAPI belgeleri özel bir yeniden sıralama uç noktasını açıklamaz. Yeniden sıralayıcı olarak hızlı bir sohbet modeli kullanabilirsiniz. 15 aday getirin ve en iyi 5 tanesini tutun.
auto:fast ile LLM yeniden sıralaması
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]Yeniden sıralama adımı, soru başına bir sohbet isteği ekler. Ücretsiz sınırlarınız dar ise bunu atlayın. Daha iyi parçalama, çoğu zaman yeniden sıralama adımından daha fazla yardımcı olur.
Uzun bağlam: geri getirmeye ne zaman gerek yok
Bugün 56 ücretsiz model seçeneğinin bağlam penceresi 1 milyon token veya daha fazladır. Belgeleriniz küçükse hepsini istemde gönderebilir ve vektör dizinini atlayabilirsiniz. Bu daha basittir, ancak her soru çok sayıda token gönderir.
| Model | Ücretsiz olduğu yer | Bağlam | Ücretsiz limitler (en iyi teklif) | Araçlar | Görsel girdi |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Hayır | Hayır |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 istek/dk 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Evet | Evet |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 istek/dk 20 istek/gün 250,000 jeton/dk ~3M | Evet | Evet |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 istek/dk 50 istek/gün Shared rate limit | Evet | Hayır |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Hayır | Hayır |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 istek/dk 20 istek/gün 250,000 jeton/dk ~3M | Evet | Evet |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Hayır | Hayır |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 istek/dk 20 istek/gün 250,000 jeton/dk ~3M | Evet | Evet |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 istek/dk 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Hayır | Hayır |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3 tane daha | 1M | 200 istek/gün 200 rpd | Evet | Hayır |
35 eşleşen ücretsiz modelden 10 tanesi gösteriliyor. Tüm modelleri gör.
Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.
- Uzun bağlamı kullanın birkaç belge için, tam metin gerektiren sorular için veya tek bir rapor için.
- Geri getirmeyi kullanın çok sayıda belge için, sık sorular için veya ücretsiz dakika başına token sınırları düşük olduğunda.
- Birleştirin: 20 veya daha fazla parça getirin ve bunları uzun bağlamlı bir modele gönderin.
Büyük bir istem, dakika başına token sınırı düşük bir sağlayıcıda başarısız olabilir. FreeLLMAPI bunun üzerine sonraki sağlayıcıyı dener. Büyük istem alacak modelleri kontrol etmek için yalnızca uzun bağlamlı modellerden oluşan bir yedek zinciri profili oluşturun. Bunu auto:<profile> olarak kullanın.
Sınırlar ve sorun giderme
| Sorun | Neden | Çözüm |
|---|---|---|
| Alım 429 ile duruyor | Gömme ailesi tüm sağlayıcılarda sınırda | Daha büyük gruplar kullanın, Retry-After değerini bekleyin, alımı parçalar halinde yapın |
| Bir değişiklikten sonra kötü sonuçlar | Dizinde iki aileden vektör var | Tüm parçaları tek bir aileyle yeniden gömün |
| Girdi uzunluğuyla ilgili hata | Bir parça ailenin en büyük girdisinden uzun | Daha küçük parçalar kullanın |
| Yanıt kaynakları yok sayar | Model kendi bilgisinden yanıtlar | temperature=0 ve katı bir sistem istemi kullanın |
| Yanıtta bağlam uzunluğu hatası | Çok fazla veya çok uzun parça | k değerini düşürün veya uzun bağlam profili kullanın |
| Yanıtlar üslup değiştirir | Yönlendirici farklı bir model seçti | Bir X-Session-Id üstbilgisi gönderin veya bir model sabitleyin |
Ücretsiz katmanların hizmet düzeyi taahhüdü yoktur. En güçlü modeller günlük sınırlarına önce ulaşır ve birçok sınır gece yarısı UTC'de sıfırlanır. Hattınızı, zincirinizin gerçekten kullanacağı modellerle test edin.
Sık sorulan sorular
RAG için ücretsiz bir API var mı?
Evet. Birkaç sağlayıcının ücretsiz gömme ve sohbet katmanları vardır. FreeLLMAPI ikisini de tek bir OpenAI uyumlu anahtarla sunar ve sağlayıcılar arasında yedekleme yapar.
RAG için en iyi ücretsiz gömme modeli hangisi?
Birkaç sağlayıcıda ücretsiz olan ve dillerinize uyan bir aile seçin. Çok dilli metin için bge-m3 yaygın bir seçimdir. Tüm dizin için tek bir aileyi tutun.
Ücretsiz bir yeniden sıralama API'si var mı?
FreeLLMAPI belgeleri bir yeniden sıralama uç noktası açıklamaz. Bu sayfada gösterildiği gibi hızlı bir sohbet modeliyle yeniden sıralama yapabilir veya yeniden sıralama adımını atlayabilirsiniz.
Ücretsiz bir model 1 milyon tokenlık bağlama sahipse RAG'a ihtiyacım var mı?
Birkaç küçük belge için hayır. Çok sayıda belge veya sık sorular için geri getirme, istek başına daha az token gönderir ve ücretsiz sınırların içinde kalır.
Gömme modelini daha sonra değiştirebilir miyim?
Evet, ancak tüm parçaları yeniden gömmeniz gerekir. İki modelden gelen vektörler uyumlu değildir, bu yüzden tek bir dizinde karıştırmayın.
İlgili rehberler
- Ücretsiz embeddings API
- 1 milyon token bağlamlı ücretsiz LLM API
- LlamaIndex için ücretsiz LLM
- LangChain için ücretsiz LLM API
- Python ile ücretsiz LLM API
Kaynaklar
- FreeLLMAPI docs: embeddings (families and failover rules) (20 November 2026 tarihinde kontrol edildi)
- FreeLLMAPI docs: routing strategies and response headers (20 November 2026 tarihinde kontrol edildi)
- OpenAI Python SDK: embeddings, errors and retries (20 November 2026 tarihinde kontrol edildi)