RAG ಗಾಗಿ ಉಚಿತ LLM API
ಮರುಪಡೆಯುವಿಕೆ-ವರ್ಧಿತ ಉತ್ಪಾದನೆ (RAG) ಗೆ ಎರಡು API ಗಳು ಬೇಕು: ಸಂಬಂಧಿತ ಪಠ್ಯವನ್ನು ಹುಡುಕಲು ಎಂಬೆಡಿಂಗ್ ಮಾದರಿ, ಮತ್ತು ಉತ್ತರ ಬರೆಯಲು ಚಾಟ್ ಮಾದರಿ. ಎರಡೂ ಉಚಿತ ಶ್ರೇಣಿಗಳಲ್ಲಿ ಲಭ್ಯ. FreeLLMAPI 41 ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳು ಮತ್ತು 487 ಉಚಿತ ಚಾಟ್ ಮಾದರಿಗಳಿಗೆ ಒಂದು OpenAI-ಹೊಂದಾಣಿಕೆಯ ಕೀ ನೀಡುತ್ತದೆ, ಪೂರೈಕೆದಾರರ ನಡುವೆ ಫೇಲ್ಓವರ್ ಸಹಿತ. ಈ ಮಾರ್ಗದರ್ಶಿ ಪ್ರತಿ ಹಂತಕ್ಕೆ ಉಚಿತ ಮಾದರಿಗಳನ್ನು ಮತ್ತು ಸಂಪೂರ್ಣ Python ಪೈಪ್ಲೈನ್ ಅನ್ನು ತೋರಿಸುತ್ತದೆ.
ಕೋಡ್, ಮಾದರಿ ಹೆಸರುಗಳು ಮತ್ತು ನೇರ ಕ್ಯಾಟಲಾಗ್ ಲೇಬಲ್ಗಳನ್ನು ಇಂಗ್ಲಿಷ್ನಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ.
ಉಚಿತ ಶ್ರೇಣಿಗಳಲ್ಲಿ RAG ಪೈಪ್ಲೈನ್
| ಹಂತ | API | ಉಚಿತ ಶ್ರೇಣಿಯ ಕಾಳಜಿ |
|---|---|---|
| 1. ದಸ್ತಾವೇಜುಗಳನ್ನು ತುಣುಕುಗಳಾಗಿ ವಿಭಜಿಸಿ | ಯಾವುದೂ ಇಲ್ಲ (ಸ್ಥಳೀಯ ಕೋಡ್) | ಯಾವುದೂ ಇಲ್ಲ |
| 2. ಪ್ರತಿ ತುಣುಕನ್ನು ಎಂಬೆಡ್ ಮಾಡಿ | /v1/embeddings | ಆರಂಭದಲ್ಲಿ ಅನೇಕ ವಿನಂತಿಗಳು. ಕೆಲವು ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಶ್ರೇಣಿಗಳು ನಿಮಿಷಕ್ಕೆ 10 ವಿನಂತಿಗಳನ್ನು ಅನುಮತಿಸುತ್ತವೆ. |
| 3. ಪ್ರಶ್ನೆಯನ್ನು ಎಂಬೆಡ್ ಮಾಡಿ | /v1/embeddings | ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಒಂದು ವಿನಂತಿ |
| 4. ಮೇಲಿನ ತುಣುಕುಗಳನ್ನು ಹುಡುಕಿ | ಯಾವುದೂ ಇಲ್ಲ (ಸ್ಥಳೀಯ ವೆಕ್ಟರ್ ಹುಡುಕಾಟ) | ಯಾವುದೂ ಇಲ್ಲ |
| 5. ತುಣುಕುಗಳನ್ನು ಮರುಶ್ರೇಣೀಕರಿಸಿ (ಐಚ್ಛಿಕ) | /v1/chat/completions | ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಒಂದು ಹೆಚ್ಚುವರಿ ಚಾಟ್ ವಿನಂತಿ |
| 6. ಉತ್ತರ ಬರೆಯಿರಿ | /v1/chat/completions | ದೊಡ್ಡ ಪ್ರಾಂಪ್ಟ್ಗಳು. ಪ್ರತಿ ನಿಮಿಷದ ಟೋಕನ್ ಮಿತಿಗಳು ಅನ್ವಯಿಸುತ್ತವೆ. |
ಹಂತ 2 ಅತಿ ದುಬಾರಿ ಹಂತ. ಪ್ರತಿ ದಸ್ತಾವೇಜಿಗೆ ಒಮ್ಮೆ ಇದನ್ನು ಮಾಡಿ. ವೆಕ್ಟರ್ಗಳನ್ನು ಉಳಿಸಿ, ನಂತರ ಹೊಸ ಅಥವಾ ಬದಲಾದ ದಸ್ತಾವೇಜುಗಳನ್ನು ಮಾತ್ರ ಎಂಬೆಡ್ ಮಾಡಿ.
FreeLLMAPI ಮತ್ತು Python ಪ್ಯಾಕೇಜ್ಗಳನ್ನು ಸ್ಥಾಪಿಸಿ
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡಿ
ಒಂದು ಎಂಬೆಡಿಂಗ್ ಕುಟುಂಬವನ್ನು ಆಯ್ಕೆ ಮಾಡಿ ಮತ್ತು ಇಡೀ ಇಂಡೆಕ್ಸ್ಗೆ ಅದನ್ನೇ ಇರಿಸಿ. ಎರಡು ಮಾದರಿಗಳ ವೆಕ್ಟರ್ಗಳು ಹೊಂದಾಣಿಕೆಯಾಗುವುದಿಲ್ಲ. FreeLLMAPI ಮಿಶ್ರ ವೆಕ್ಟರ್ಗಳಿಂದ ನಿಮ್ಮನ್ನು ರಕ್ಷಿಸುತ್ತದೆ: ಎಂಬೆಡಿಂಗ್ ಫೇಲ್ಓವರ್ ಎಂದಿಗೂ ಮಾದರಿಯನ್ನು ಬದಲಿಸುವುದಿಲ್ಲ. ಅದು ಅದೇ ಕುಟುಂಬವನ್ನು ನೀಡುವ ಪೂರೈಕೆದಾರರ ನಡುವೆ ಮಾತ್ರ ಚಲಿಸುತ್ತದೆ.
| ಮಾದರಿ | ಪೂರೈಕೆದಾರ | ಆಯಾಮಗಳು | ಗರಿಷ್ಠ ಇನ್ಪುಟ್ | ಉಚಿತ ಮಿತಿ |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
FreeLLMAPI ಕ್ಯಾಟಲಾಗ್ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.
- ಒಂದು ಕುಟುಂಬಕ್ಕೆ ಹಲವು ಪೂರೈಕೆದಾರರು:
bge-m3ನಂತಹ ಕುಟುಂಬ ಒಂದಕ್ಕಿಂತ ಹೆಚ್ಚು ಪೂರೈಕೆದಾರರಲ್ಲಿ ಉಚಿತ. ಆಗ ಫೇಲ್ಓವರ್ಗೆ ಹೋಗಲು ಸ್ಥಳವಿರುತ್ತದೆ. - ಗರಿಷ್ಠ ಇನ್ಪುಟ್: ಗರಿಷ್ಠ ಇನ್ಪುಟ್ಗಿಂತ ಉದ್ದದ ತುಣುಕುಗಳನ್ನು ಕತ್ತರಿಸಲಾಗುತ್ತದೆ ಅಥವಾ ತಿರಸ್ಕರಿಸಲಾಗುತ್ತದೆ. ತುಣುಕುಗಳನ್ನು ಈ ಮೌಲ್ಯಕ್ಕಿಂತ ಚಿಕ್ಕದಾಗಿ ಮಾಡಿ.
- ಭಾಷೆಗಳು: ಇಂಗ್ಲಿಷ್ ಅಲ್ಲದ ಪಠ್ಯಕ್ಕಾಗಿ,
bge-m3ನಂತಹ ಬಹುಭಾಷಾ ಕುಟುಂಬ ಬಳಸಿ. ಹೆಸರಿನಲ್ಲಿ-en-ಇರುವ ಕುಟುಂಬಗಳು ಇಂಗ್ಲಿಷ್ಗಾಗಿ. - ಆಯಾಮಗಳು: ದೊಡ್ಡ ವೆಕ್ಟರ್ಗಳು ಹೆಚ್ಚು ಸಂಗ್ರಹಣೆ ಬಳಸುತ್ತವೆ. ಚಿಕ್ಕ ಇಂಡೆಕ್ಸ್ಗೆ, ಇದು ಸಮಸ್ಯೆಯಲ್ಲ.
Python ನಲ್ಲಿ ಸಂಪೂರ್ಣ RAG ಕೋಡ್
ಸ್ಕ್ರಿಪ್ಟ್ ಪಠ್ಯ ಫೈಲ್ಗಳನ್ನು ತುಣುಕುಗಳಾಗಿ ವಿಭಜಿಸುತ್ತದೆ, ಬ್ಯಾಚ್ಗಳಲ್ಲಿ ಎಂಬೆಡ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ವೆಕ್ಟರ್ಗಳನ್ನು NumPy ಜೊತೆ ಉಳಿಸುತ್ತದೆ. ನಂತರ ಮೇಲಿನ ತುಣುಕುಗಳೊಂದಿಗೆ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುತ್ತದೆ ಮತ್ತು ಮೂಲಗಳನ್ನು ನೀಡುತ್ತದೆ. ಮಿತಿಯು ವಿನಂತಿಯನ್ನು ನಿಲ್ಲಿಸಿದಾಗ ಮತ್ತೆ ಪ್ರಯತ್ನಿಸುತ್ತದೆ.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))ಕೆಲವು ಸಾವಿರಕ್ಕಿಂತ ಹೆಚ್ಚು ತುಣುಕುಗಳಿಗೆ, NumPy ಹುಡುಕಾಟವನ್ನು ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್ನಿಂದ ಬದಲಿಸಿ. ಎಂಬೆಡಿಂಗ್ ಮತ್ತು ಚಾಟ್ ಕರೆಗಳು ಹಾಗೆಯೇ ಉಳಿಯುತ್ತವೆ.
ಬಳಕೆದಾರರು ಸಾಮಾನ್ಯವಾಗಿ ಅದೇ ಪ್ರಶ್ನೆಯನ್ನು ಮತ್ತೆ ಕೇಳುತ್ತಾರೆ. FreeLLMAPI ಒಂದೇ ವಿನಂತಿಗಳಿಗೆ ಐಚ್ಛಿಕ (opt-in) ಪ್ರತಿಕ್ರಿಯೆ ಕ್ಯಾಶ್ ಹೊಂದಿದೆ. ಕ್ಯಾಶ್ ಹಿಟ್ ಯಾವುದೇ ಪೂರೈಕೆದಾರ ಕೋಟಾವನ್ನು ಬಳಸುವುದಿಲ್ಲ. X-FreeLLM-Cache: on ಅಥವಾ off ಹೆಡರ್ನೊಂದಿಗೆ ಒಂದು ವಿನಂತಿಗೆ ಕ್ಯಾಶ್ ಅನ್ನು ಆನ್ ಅಥವಾ ಆಫ್ ಮಾಡಬಹುದು. ಆದ್ದರಿಂದ ಒಂದೇ ಪ್ರಶ್ನೆ ಒಂದೇ ವಿನಂತಿಯಾಗುತ್ತದೆ, temperature=0 ಬಳಸಿ.
ಮರುಶ್ರೇಣೀಕರಣ ಹಂತವನ್ನು ಸೇರಿಸಿ
ವೆಕ್ಟರ್ ಹುಡುಕಾಟ ಹೋಲುವ ಪಠ್ಯವನ್ನು ಹುಡುಕುತ್ತದೆ, ಆದರೆ ಮೇಲಿನ ತುಣುಕು ಯಾವಾಗಲೂ ಉತ್ತಮ ಉತ್ತರವಲ್ಲ. ಮರುಶ್ರೇಣೀಕರಣ ಹಂತ ಅಭ್ಯರ್ಥಿಗಳನ್ನು ಮತ್ತೆ ವಿಂಗಡಿಸುತ್ತದೆ. FreeLLMAPI ದಸ್ತಾವೇಜು ಮೀಸಲಾದ ಮರುಶ್ರೇಣೀಕರಣ ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ವಿವರಿಸುವುದಿಲ್ಲ. ಮರುಶ್ರೇಣೀಕರಿಸಲು ನೀವು ವೇಗದ ಚಾಟ್ ಮಾದರಿಯನ್ನು ಬಳಸಬಹುದು. 15 ಅಭ್ಯರ್ಥಿಗಳನ್ನು ಪಡೆದು ಅತ್ಯುತ್ತಮ 5 ಅನ್ನು ಇರಿಸಿ.
auto:fast ಜೊತೆ LLM ಮರುಶ್ರೇಣೀಕರಣ
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]ಮರುಶ್ರೇಣೀಕರಣ ಹಂತ ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಒಂದು ಚಾಟ್ ವಿನಂತಿ ಸೇರಿಸುತ್ತದೆ. ನಿಮ್ಮ ಉಚಿತ ಮಿತಿಗಳು ಬಿಗಿಯಾಗಿದ್ದರೆ, ಅದನ್ನು ಬಿಟ್ಟುಬಿಡಿ. ಉತ್ತಮ ತುಣುಕು ವಿಭಜನೆ ಸಾಮಾನ್ಯವಾಗಿ ಮರುಶ್ರೇಣೀಕರಣ ಹಂತಕ್ಕಿಂತ ಹೆಚ್ಚು ಸಹಾಯ ಮಾಡುತ್ತದೆ.
ದೀರ್ಘ ಸಂದರ್ಭ: ನಿಮಗೆ ಮರುಪಡೆಯುವಿಕೆ ಬೇಡವಾದಾಗ
ಇಂದು 56 ಉಚಿತ ಮಾದರಿ ಆಯ್ಕೆಗಳು 1 ಮಿಲಿಯನ್ ಟೋಕನ್ ಅಥವಾ ಹೆಚ್ಚಿನ ಸಂದರ್ಭ ವಿಂಡೋ ಹೊಂದಿವೆ. ನಿಮ್ಮ ದಸ್ತಾವೇಜುಗಳು ಚಿಕ್ಕದಾಗಿದ್ದರೆ, ಅವೆಲ್ಲವನ್ನೂ ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ ಕಳುಹಿಸಬಹುದು ಮತ್ತು ವೆಕ್ಟರ್ ಇಂಡೆಕ್ಸ್ ಅನ್ನು ಬಿಟ್ಟುಬಿಡಬಹುದು. ಇದು ಸರಳ, ಆದರೆ ಪ್ರತಿ ಪ್ರಶ್ನೆ ಅನೇಕ ಟೋಕನ್ಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ.
| ಮಾದರಿ | ಉಚಿತ | ಸಂದರ್ಭ | ಉಚಿತ ಮಿತಿಗಳು (ಅತ್ಯುತ್ತಮ ಕೊಡುಗೆ) | ಉಪಕರಣಗಳು | ದೃಷ್ಟಿ |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | ಇಲ್ಲ | ಇಲ್ಲ |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 ವಿನಂತಿ/ನಿಮಿಷ 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | ಹೌದು | ಹೌದು |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 20 ವಿನಂತಿ/ದಿನ 250,000 ಟೋಕನ್/ನಿಮಿಷ ~3M | ಹೌದು | ಹೌದು |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 50 ವಿನಂತಿ/ದಿನ Shared rate limit | ಹೌದು | ಇಲ್ಲ |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | ಇಲ್ಲ | ಇಲ್ಲ |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 20 ವಿನಂತಿ/ದಿನ 250,000 ಟೋಕನ್/ನಿಮಿಷ ~3M | ಹೌದು | ಹೌದು |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | ಇಲ್ಲ | ಇಲ್ಲ |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 20 ವಿನಂತಿ/ದಿನ 250,000 ಟೋಕನ್/ನಿಮಿಷ ~3M | ಹೌದು | ಹೌದು |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 ವಿನಂತಿ/ನಿಮಿಷ 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | ಇಲ್ಲ | ಇಲ್ಲ |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +3 ಇನ್ನೂ | 1M | 200 ವಿನಂತಿ/ದಿನ 200 rpd | ಹೌದು | ಇಲ್ಲ |
ಹೊಂದಾಣಿಕೆಯಾಗುವ 35 ಉಚಿತ ಮಾದರಿಗಳಲ್ಲಿ 10 ಅನ್ನು ತೋರಿಸಲಾಗುತ್ತಿದೆ. ಎಲ್ಲಾ ಮಾದರಿಗಳನ್ನು ನೋಡಿ.
FreeLLMAPI ಕ್ಯಾಟಲಾಗ್ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.
- ದೀರ್ಘ ಸಂದರ್ಭ ಬಳಸಿ ಕೆಲವು ದಸ್ತಾವೇಜುಗಳಿಗೆ, ಪೂರ್ಣ ಪಠ್ಯ ಬೇಕಾದ ಪ್ರಶ್ನೆಗಳಿಗೆ, ಅಥವಾ ಒಂದೇ ವರದಿಗೆ.
- ಮರುಪಡೆಯುವಿಕೆ ಬಳಸಿ ಅನೇಕ ದಸ್ತಾವೇಜುಗಳಿಗೆ, ಆಗಾಗ್ಗೆ ಬರುವ ಪ್ರಶ್ನೆಗಳಿಗೆ, ಅಥವಾ ಉಚಿತ ಪ್ರತಿ ನಿಮಿಷದ ಟೋಕನ್ ಮಿತಿಗಳು ಕಡಿಮೆ ಇದ್ದಾಗ.
- ಎರಡನ್ನೂ ಸಂಯೋಜಿಸಿ: 20 ಅಥವಾ ಹೆಚ್ಚು ತುಣುಕುಗಳನ್ನು ಮರುಪಡೆಯಿರಿ ಮತ್ತು ದೀರ್ಘ-ಸಂದರ್ಭ ಮಾದರಿಗೆ ಕಳುಹಿಸಿ.
ಕಡಿಮೆ ಪ್ರತಿ ನಿಮಿಷದ ಟೋಕನ್ ಮಿತಿ ಇರುವ ಪೂರೈಕೆದಾರನಲ್ಲಿ ದೊಡ್ಡ ಪ್ರಾಂಪ್ಟ್ ವಿಫಲವಾಗಬಹುದು. ನಂತರ FreeLLMAPI ಮುಂದಿನ ಪೂರೈಕೆದಾರನನ್ನು ಪ್ರಯತ್ನಿಸುತ್ತದೆ. ದೊಡ್ಡ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಯಾವ ಮಾದರಿಗಳು ಪಡೆಯುತ್ತವೆ ಎಂದು ನಿಯಂತ್ರಿಸಲು, ದೀರ್ಘ-ಸಂದರ್ಭ ಮಾದರಿಗಳನ್ನು ಮಾತ್ರ ಹೊಂದಿರುವ ಫೇಲ್ಓವರ್ ಸರಪಳಿ ಪ್ರೊಫೈಲ್ ಮಾಡಿ. ಅದನ್ನು auto:<profile> ಎಂದು ಬಳಸಿ.
ಮಿತಿಗಳು ಮತ್ತು ದೋಷ ನಿವಾರಣೆ
| ಸಮಸ್ಯೆ | ಕಾರಣ | ಪರಿಹಾರ |
|---|---|---|
| ದಸ್ತಾವೇಜು ಸೇರಿಸುವಿಕೆ 429 ನೊಂದಿಗೆ ನಿಲ್ಲುತ್ತದೆ | ಎಂಬೆಡಿಂಗ್ ಕುಟುಂಬ ಎಲ್ಲಾ ಪೂರೈಕೆದಾರರಲ್ಲಿ ತನ್ನ ಮಿತಿಯಲ್ಲಿದೆ | ದೊಡ್ಡ ಬ್ಯಾಚ್ಗಳನ್ನು ಬಳಸಿ, Retry-After ಗಾಗಿ ಕಾಯಿರಿ, ಭಾಗಗಳಲ್ಲಿ ಸೇರಿಸಿ |
| ಬದಲಾವಣೆಯ ನಂತರ ಕೆಟ್ಟ ಫಲಿತಾಂಶಗಳು | ಇಂಡೆಕ್ಸ್ನಲ್ಲಿ ಎರಡು ಕುಟುಂಬಗಳ ವೆಕ್ಟರ್ಗಳಿವೆ | ಎಲ್ಲಾ ತುಣುಕುಗಳನ್ನು ಒಂದು ಕುಟುಂಬದಿಂದ ಮತ್ತೆ ಎಂಬೆಡ್ ಮಾಡಿ |
| ಇನ್ಪುಟ್ ಉದ್ದದ ಬಗ್ಗೆ ದೋಷ | ಒಂದು ತುಣುಕು ಕುಟುಂಬದ ಗರಿಷ್ಠ ಇನ್ಪುಟ್ಗಿಂತ ಉದ್ದವಾಗಿದೆ | ಚಿಕ್ಕ ತುಣುಕುಗಳನ್ನು ಬಳಸಿ |
| ಉತ್ತರ ಮೂಲಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ | ಮಾದರಿ ತನ್ನ ಸ್ವಂತ ಜ್ಞಾನದಿಂದ ಉತ್ತರಿಸುತ್ತದೆ | temperature=0 ಮತ್ತು ಕಟ್ಟುನಿಟ್ಟಾದ ಸಿಸ್ಟಂ ಪ್ರಾಂಪ್ಟ್ ಬಳಸಿ |
| ಉತ್ತರದಲ್ಲಿ ಸಂದರ್ಭ ಉದ್ದದ ದೋಷ | ತುಂಬಾ ಹೆಚ್ಚು ಅಥವಾ ತುಂಬಾ ಉದ್ದದ ತುಣುಕುಗಳು | k ಅನ್ನು ಕಡಿಮೆ ಮಾಡಿ ಅಥವಾ ದೀರ್ಘ-ಸಂದರ್ಭ ಪ್ರೊಫೈಲ್ ಬಳಸಿ |
| ಉತ್ತರಗಳ ಶೈಲಿ ಬದಲಾಗುತ್ತದೆ | ರೂಟರ್ ಬೇರೆ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡಿದೆ | X-Session-Id ಹೆಡರ್ ಕಳುಹಿಸಿ ಅಥವಾ ಒಂದು ಮಾದರಿಯನ್ನು ನಿಗದಿಪಡಿಸಿ |
ಉಚಿತ ಶ್ರೇಣಿಗಳಿಗೆ SLA ಇಲ್ಲ. ಬಲಿಷ್ಠ ಮಾದರಿಗಳು ಮೊದಲು ತಮ್ಮ ದೈನಂದಿನ ಮಿತಿಗಳನ್ನು ತಲುಪುತ್ತವೆ, ಮತ್ತು ಅನೇಕ ಮಿತಿಗಳು ಮಧ್ಯರಾತ್ರಿ UTC ಗೆ ಮರುಹೊಂದುತ್ತವೆ. ನಿಮ್ಮ ಸರಪಳಿ ನಿಜವಾಗಿ ಬಳಸುವ ಮಾದರಿಗಳೊಂದಿಗೆ ನಿಮ್ಮ ಪೈಪ್ಲೈನ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಿ.
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
RAG ಗಾಗಿ ಉಚಿತ API ಇದೆಯೇ?
ಹೌದು. ಹಲವು ಪೂರೈಕೆದಾರರಲ್ಲಿ ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಮತ್ತು ಚಾಟ್ ಶ್ರೇಣಿಗಳಿವೆ. FreeLLMAPI ಎರಡನ್ನೂ ಒಂದೇ OpenAI-ಹೊಂದಾಣಿಕೆಯ ಕೀ ಮೂಲಕ ನೀಡುತ್ತದೆ, ಪೂರೈಕೆದಾರರ ನಡುವೆ ಫೇಲ್ಓವರ್ ಸಹಿತ.
RAG ಗೆ ಯಾವ ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿ ಉತ್ತಮ?
ಹಲವು ಪೂರೈಕೆದಾರರಲ್ಲಿ ಉಚಿತವಾಗಿರುವ ಮತ್ತು ನಿಮ್ಮ ಭಾಷೆಗಳಿಗೆ ಹೊಂದುವ ಕುಟುಂಬವನ್ನು ಆಯ್ಕೆ ಮಾಡಿ. ಬಹುಭಾಷಾ ಪಠ್ಯಕ್ಕೆ, bge-m3 ಸಾಮಾನ್ಯ ಆಯ್ಕೆ. ಇಡೀ ಇಂಡೆಕ್ಸ್ಗೆ ಒಂದು ಕುಟುಂಬವನ್ನು ಇರಿಸಿ.
ಉಚಿತ ಮರುಶ್ರೇಣೀಕರಣ API ಇದೆಯೇ?
FreeLLMAPI ದಸ್ತಾವೇಜು ಮರುಶ್ರೇಣೀಕರಣ ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ವಿವರಿಸುವುದಿಲ್ಲ. ಈ ಪುಟದಲ್ಲಿ ತೋರಿಸಿದಂತೆ ನೀವು ವೇಗದ ಚಾಟ್ ಮಾದರಿಯೊಂದಿಗೆ ಮರುಶ್ರೇಣೀಕರಿಸಬಹುದು, ಅಥವಾ ಮರುಶ್ರೇಣೀಕರಣ ಹಂತವನ್ನು ಬಿಟ್ಟುಬಿಡಬಹುದು.
ಉಚಿತ ಮಾದರಿಯಲ್ಲಿ 1 ಮಿಲಿಯನ್ ಟೋಕನ್ ಸಂದರ್ಭವಿದ್ದರೆ ನನಗೆ RAG ಬೇಕೇ?
ಕೆಲವು ಚಿಕ್ಕ ದಸ್ತಾವೇಜುಗಳಿಗೆ ಅಗತ್ಯವಿಲ್ಲ. ಅನೇಕ ದಸ್ತಾವೇಜುಗಳಿಗೆ ಅಥವಾ ಆಗಾಗ್ಗೆ ಪ್ರಶ್ನೆಗಳಿಗೆ, ಮರುಪಡೆಯುವಿಕೆ ಪ್ರತಿ ವಿನಂತಿಗೆ ಕಡಿಮೆ ಟೋಕನ್ಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ ಮತ್ತು ಉಚಿತ ಮಿತಿಗಳೊಳಗೆ ಉಳಿಯುತ್ತದೆ.
ನಂತರ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಯನ್ನು ಬದಲಿಸಬಹುದೇ?
ಹೌದು, ಆದರೆ ನೀವು ಎಲ್ಲಾ ತುಣುಕುಗಳನ್ನು ಮತ್ತೆ ಎಂಬೆಡ್ ಮಾಡಬೇಕು. ಎರಡು ಮಾದರಿಗಳ ವೆಕ್ಟರ್ಗಳು ಹೊಂದಾಣಿಕೆಯಾಗುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಒಂದೇ ಇಂಡೆಕ್ಸ್ನಲ್ಲಿ ಅವುಗಳನ್ನು ಬೆರೆಸಬೇಡಿ.
ಸಂಬಂಧಿತ ಮಾರ್ಗದರ್ಶಿಗಳು
- ಉಚಿತ ಎಂಬೆಡಿಂಗ್ಸ್ API
- 1 ಮಿಲಿಯನ್ ಟೋಕನ್ ಸಂದರ್ಭದೊಂದಿಗೆ ಉಚಿತ LLM API
- LlamaIndex ಗಾಗಿ ಉಚಿತ LLM
- LangChain ಗಾಗಿ ಉಚಿತ LLM API
- ಪೈಥಾನ್ನಲ್ಲಿ ಉಚಿತ LLM API
ಮೂಲಗಳು
- FreeLLMAPI docs: embeddings (families and failover rules) (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)
- FreeLLMAPI docs: routing strategies and response headers (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)
- OpenAI Python SDK: embeddings, errors and retries (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)