ಮುಖಪುಟ / ಮಾರ್ಗದರ್ಶಿಗಳು / RAG ಗಾಗಿ ಉಚಿತ LLM API

RAG ಗಾಗಿ ಉಚಿತ LLM API

ಮರುಪಡೆಯುವಿಕೆ-ವರ್ಧಿತ ಉತ್ಪಾದನೆ (RAG) ಗೆ ಎರಡು API ಗಳು ಬೇಕು: ಸಂಬಂಧಿತ ಪಠ್ಯವನ್ನು ಹುಡುಕಲು ಎಂಬೆಡಿಂಗ್ ಮಾದರಿ, ಮತ್ತು ಉತ್ತರ ಬರೆಯಲು ಚಾಟ್ ಮಾದರಿ. ಎರಡೂ ಉಚಿತ ಶ್ರೇಣಿಗಳಲ್ಲಿ ಲಭ್ಯ. FreeLLMAPI 41 ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳು ಮತ್ತು 487 ಉಚಿತ ಚಾಟ್ ಮಾದರಿಗಳಿಗೆ ಒಂದು OpenAI-ಹೊಂದಾಣಿಕೆಯ ಕೀ ನೀಡುತ್ತದೆ, ಪೂರೈಕೆದಾರರ ನಡುವೆ ಫೇಲ್‌ಓವರ್ ಸಹಿತ. ಈ ಮಾರ್ಗದರ್ಶಿ ಪ್ರತಿ ಹಂತಕ್ಕೆ ಉಚಿತ ಮಾದರಿಗಳನ್ನು ಮತ್ತು ಸಂಪೂರ್ಣ Python ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ತೋರಿಸುತ್ತದೆ.

ಕೋಡ್, ಮಾದರಿ ಹೆಸರುಗಳು ಮತ್ತು ನೇರ ಕ್ಯಾಟಲಾಗ್ ಲೇಬಲ್‌ಗಳನ್ನು ಇಂಗ್ಲಿಷ್‌ನಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ.

ಉಚಿತ ಶ್ರೇಣಿಗಳಲ್ಲಿ RAG ಪೈಪ್‌ಲೈನ್

ಹಂತAPIಉಚಿತ ಶ್ರೇಣಿಯ ಕಾಳಜಿ
1. ದಸ್ತಾವೇಜುಗಳನ್ನು ತುಣುಕುಗಳಾಗಿ ವಿಭಜಿಸಿಯಾವುದೂ ಇಲ್ಲ (ಸ್ಥಳೀಯ ಕೋಡ್)ಯಾವುದೂ ಇಲ್ಲ
2. ಪ್ರತಿ ತುಣುಕನ್ನು ಎಂಬೆಡ್ ಮಾಡಿ/v1/embeddingsಆರಂಭದಲ್ಲಿ ಅನೇಕ ವಿನಂತಿಗಳು. ಕೆಲವು ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಶ್ರೇಣಿಗಳು ನಿಮಿಷಕ್ಕೆ 10 ವಿನಂತಿಗಳನ್ನು ಅನುಮತಿಸುತ್ತವೆ.
3. ಪ್ರಶ್ನೆಯನ್ನು ಎಂಬೆಡ್ ಮಾಡಿ/v1/embeddingsಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಒಂದು ವಿನಂತಿ
4. ಮೇಲಿನ ತುಣುಕುಗಳನ್ನು ಹುಡುಕಿಯಾವುದೂ ಇಲ್ಲ (ಸ್ಥಳೀಯ ವೆಕ್ಟರ್ ಹುಡುಕಾಟ)ಯಾವುದೂ ಇಲ್ಲ
5. ತುಣುಕುಗಳನ್ನು ಮರುಶ್ರೇಣೀಕರಿಸಿ (ಐಚ್ಛಿಕ)/v1/chat/completionsಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಒಂದು ಹೆಚ್ಚುವರಿ ಚಾಟ್ ವಿನಂತಿ
6. ಉತ್ತರ ಬರೆಯಿರಿ/v1/chat/completionsದೊಡ್ಡ ಪ್ರಾಂಪ್ಟ್‌ಗಳು. ಪ್ರತಿ ನಿಮಿಷದ ಟೋಕನ್ ಮಿತಿಗಳು ಅನ್ವಯಿಸುತ್ತವೆ.

ಹಂತ 2 ಅತಿ ದುಬಾರಿ ಹಂತ. ಪ್ರತಿ ದಸ್ತಾವೇಜಿಗೆ ಒಮ್ಮೆ ಇದನ್ನು ಮಾಡಿ. ವೆಕ್ಟರ್‌ಗಳನ್ನು ಉಳಿಸಿ, ನಂತರ ಹೊಸ ಅಥವಾ ಬದಲಾದ ದಸ್ತಾವೇಜುಗಳನ್ನು ಮಾತ್ರ ಎಂಬೆಡ್ ಮಾಡಿ.

FreeLLMAPI ಮತ್ತು Python ಪ್ಯಾಕೇಜ್‌ಗಳನ್ನು ಸ್ಥಾಪಿಸಿ

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>

ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡಿ

ಒಂದು ಎಂಬೆಡಿಂಗ್ ಕುಟುಂಬವನ್ನು ಆಯ್ಕೆ ಮಾಡಿ ಮತ್ತು ಇಡೀ ಇಂಡೆಕ್ಸ್‌ಗೆ ಅದನ್ನೇ ಇರಿಸಿ. ಎರಡು ಮಾದರಿಗಳ ವೆಕ್ಟರ್‌ಗಳು ಹೊಂದಾಣಿಕೆಯಾಗುವುದಿಲ್ಲ. FreeLLMAPI ಮಿಶ್ರ ವೆಕ್ಟರ್‌ಗಳಿಂದ ನಿಮ್ಮನ್ನು ರಕ್ಷಿಸುತ್ತದೆ: ಎಂಬೆಡಿಂಗ್ ಫೇಲ್‌ಓವರ್ ಎಂದಿಗೂ ಮಾದರಿಯನ್ನು ಬದಲಿಸುವುದಿಲ್ಲ. ಅದು ಅದೇ ಕುಟುಂಬವನ್ನು ನೀಡುವ ಪೂರೈಕೆದಾರರ ನಡುವೆ ಮಾತ್ರ ಚಲಿಸುತ್ತದೆ.

ಮಾದರಿಪೂರೈಕೆದಾರಆಯಾಮಗಳುಗರಿಷ್ಠ ಇನ್‌ಪುಟ್ಉಚಿತ ಮಿತಿ
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

FreeLLMAPI ಕ್ಯಾಟಲಾಗ್‌ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.

  • ಒಂದು ಕುಟುಂಬಕ್ಕೆ ಹಲವು ಪೂರೈಕೆದಾರರು: bge-m3 ನಂತಹ ಕುಟುಂಬ ಒಂದಕ್ಕಿಂತ ಹೆಚ್ಚು ಪೂರೈಕೆದಾರರಲ್ಲಿ ಉಚಿತ. ಆಗ ಫೇಲ್‌ಓವರ್‌ಗೆ ಹೋಗಲು ಸ್ಥಳವಿರುತ್ತದೆ.
  • ಗರಿಷ್ಠ ಇನ್‌ಪುಟ್: ಗರಿಷ್ಠ ಇನ್‌ಪುಟ್‌ಗಿಂತ ಉದ್ದದ ತುಣುಕುಗಳನ್ನು ಕತ್ತರಿಸಲಾಗುತ್ತದೆ ಅಥವಾ ತಿರಸ್ಕರಿಸಲಾಗುತ್ತದೆ. ತುಣುಕುಗಳನ್ನು ಈ ಮೌಲ್ಯಕ್ಕಿಂತ ಚಿಕ್ಕದಾಗಿ ಮಾಡಿ.
  • ಭಾಷೆಗಳು: ಇಂಗ್ಲಿಷ್ ಅಲ್ಲದ ಪಠ್ಯಕ್ಕಾಗಿ, bge-m3 ನಂತಹ ಬಹುಭಾಷಾ ಕುಟುಂಬ ಬಳಸಿ. ಹೆಸರಿನಲ್ಲಿ -en- ಇರುವ ಕುಟುಂಬಗಳು ಇಂಗ್ಲಿಷ್‌ಗಾಗಿ.
  • ಆಯಾಮಗಳು: ದೊಡ್ಡ ವೆಕ್ಟರ್‌ಗಳು ಹೆಚ್ಚು ಸಂಗ್ರಹಣೆ ಬಳಸುತ್ತವೆ. ಚಿಕ್ಕ ಇಂಡೆಕ್ಸ್‌ಗೆ, ಇದು ಸಮಸ್ಯೆಯಲ್ಲ.

Python ನಲ್ಲಿ ಸಂಪೂರ್ಣ RAG ಕೋಡ್

ಸ್ಕ್ರಿಪ್ಟ್ ಪಠ್ಯ ಫೈಲ್‌ಗಳನ್ನು ತುಣುಕುಗಳಾಗಿ ವಿಭಜಿಸುತ್ತದೆ, ಬ್ಯಾಚ್‌ಗಳಲ್ಲಿ ಎಂಬೆಡ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ವೆಕ್ಟರ್‌ಗಳನ್ನು NumPy ಜೊತೆ ಉಳಿಸುತ್ತದೆ. ನಂತರ ಮೇಲಿನ ತುಣುಕುಗಳೊಂದಿಗೆ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುತ್ತದೆ ಮತ್ತು ಮೂಲಗಳನ್ನು ನೀಡುತ್ತದೆ. ಮಿತಿಯು ವಿನಂತಿಯನ್ನು ನಿಲ್ಲಿಸಿದಾಗ ಮತ್ತೆ ಪ್ರಯತ್ನಿಸುತ್ತದೆ.

rag.py

import json
import os
import pathlib
import time

import numpy as np
import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,
    timeout=90,
)
EMBED_MODEL = "bge-m3"   # keep one family for the whole index
CHAT_MODEL = "auto"      # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")

def with_retry(fn, *args, **kwargs):
    for attempt in range(6):
        try:
            return fn(*args, **kwargs)
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
    raise RuntimeError("Rate limited on every provider")

def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
    step = size - overlap
    return [text[i:i + size] for i in range(0, max(len(text), 1), step)]

def embed(texts: list[str], batch: int = 32) -> np.ndarray:
    out = []
    for i in range(0, len(texts), batch):
        resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
        out.extend(d.embedding for d in resp.data)
    vecs = np.array(out, dtype=np.float32)
    return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)

def build(folder: str) -> None:
    chunks = []
    for path in sorted(pathlib.Path(folder).rglob("*.md")):
        for part in chunk(path.read_text(encoding="utf-8")):
            if part.strip():
                chunks.append({"source": str(path), "text": part})
    INDEX.mkdir(exist_ok=True)
    np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
    (INDEX / "chunks.json").write_text(json.dumps(chunks))

def answer(question: str, k: int = 5) -> str:
    vecs = np.load(INDEX / "vectors.npy")
    chunks = json.loads((INDEX / "chunks.json").read_text())
    q = embed([question])[0]
    top = np.argsort(vecs @ q)[::-1][:k]
    context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
    resp = with_retry(
        client.chat.completions.create,
        model=CHAT_MODEL,
        temperature=0,
        messages=[
            {"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
            {"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
        ],
    )
    return resp.choices[0].message.content

if __name__ == "__main__":
    if not (INDEX / "vectors.npy").exists():
        build("docs")
    print(answer("How do I rotate the API keys?"))

ಕೆಲವು ಸಾವಿರಕ್ಕಿಂತ ಹೆಚ್ಚು ತುಣುಕುಗಳಿಗೆ, NumPy ಹುಡುಕಾಟವನ್ನು ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್‌ನಿಂದ ಬದಲಿಸಿ. ಎಂಬೆಡಿಂಗ್ ಮತ್ತು ಚಾಟ್ ಕರೆಗಳು ಹಾಗೆಯೇ ಉಳಿಯುತ್ತವೆ.

ಬಳಕೆದಾರರು ಸಾಮಾನ್ಯವಾಗಿ ಅದೇ ಪ್ರಶ್ನೆಯನ್ನು ಮತ್ತೆ ಕೇಳುತ್ತಾರೆ. FreeLLMAPI ಒಂದೇ ವಿನಂತಿಗಳಿಗೆ ಐಚ್ಛಿಕ (opt-in) ಪ್ರತಿಕ್ರಿಯೆ ಕ್ಯಾಶ್ ಹೊಂದಿದೆ. ಕ್ಯಾಶ್ ಹಿಟ್ ಯಾವುದೇ ಪೂರೈಕೆದಾರ ಕೋಟಾವನ್ನು ಬಳಸುವುದಿಲ್ಲ. X-FreeLLM-Cache: on ಅಥವಾ off ಹೆಡರ್‌ನೊಂದಿಗೆ ಒಂದು ವಿನಂತಿಗೆ ಕ್ಯಾಶ್ ಅನ್ನು ಆನ್ ಅಥವಾ ಆಫ್ ಮಾಡಬಹುದು. ಆದ್ದರಿಂದ ಒಂದೇ ಪ್ರಶ್ನೆ ಒಂದೇ ವಿನಂತಿಯಾಗುತ್ತದೆ, temperature=0 ಬಳಸಿ.

ಮರುಶ್ರೇಣೀಕರಣ ಹಂತವನ್ನು ಸೇರಿಸಿ

ವೆಕ್ಟರ್ ಹುಡುಕಾಟ ಹೋಲುವ ಪಠ್ಯವನ್ನು ಹುಡುಕುತ್ತದೆ, ಆದರೆ ಮೇಲಿನ ತುಣುಕು ಯಾವಾಗಲೂ ಉತ್ತಮ ಉತ್ತರವಲ್ಲ. ಮರುಶ್ರೇಣೀಕರಣ ಹಂತ ಅಭ್ಯರ್ಥಿಗಳನ್ನು ಮತ್ತೆ ವಿಂಗಡಿಸುತ್ತದೆ. FreeLLMAPI ದಸ್ತಾವೇಜು ಮೀಸಲಾದ ಮರುಶ್ರೇಣೀಕರಣ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ವಿವರಿಸುವುದಿಲ್ಲ. ಮರುಶ್ರೇಣೀಕರಿಸಲು ನೀವು ವೇಗದ ಚಾಟ್ ಮಾದರಿಯನ್ನು ಬಳಸಬಹುದು. 15 ಅಭ್ಯರ್ಥಿಗಳನ್ನು ಪಡೆದು ಅತ್ಯುತ್ತಮ 5 ಅನ್ನು ಇರಿಸಿ.

auto:fast ಜೊತೆ LLM ಮರುಶ್ರೇಣೀಕರಣ

def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
    listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
    resp = with_retry(
        client.chat.completions.create,
        model="auto:fast",
        temperature=0,
        messages=[{
            "role": "user",
            "content": (
                f"Question: {question}\n\nPassages:\n{listing}\n\n"
                f"Return the numbers of the {keep} most useful passages, best first, "
                "as a JSON list of integers. Return only the list."
            ),
        }],
    )
    try:
        ids = json.loads(resp.choices[0].message.content.strip())
        return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
    except (json.JSONDecodeError, AttributeError):
        return list(range(min(keep, len(candidates))))  # fall back to vector order


# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]

ಮರುಶ್ರೇಣೀಕರಣ ಹಂತ ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಒಂದು ಚಾಟ್ ವಿನಂತಿ ಸೇರಿಸುತ್ತದೆ. ನಿಮ್ಮ ಉಚಿತ ಮಿತಿಗಳು ಬಿಗಿಯಾಗಿದ್ದರೆ, ಅದನ್ನು ಬಿಟ್ಟುಬಿಡಿ. ಉತ್ತಮ ತುಣುಕು ವಿಭಜನೆ ಸಾಮಾನ್ಯವಾಗಿ ಮರುಶ್ರೇಣೀಕರಣ ಹಂತಕ್ಕಿಂತ ಹೆಚ್ಚು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ದೀರ್ಘ ಸಂದರ್ಭ: ನಿಮಗೆ ಮರುಪಡೆಯುವಿಕೆ ಬೇಡವಾದಾಗ

ಇಂದು 56 ಉಚಿತ ಮಾದರಿ ಆಯ್ಕೆಗಳು 1 ಮಿಲಿಯನ್ ಟೋಕನ್ ಅಥವಾ ಹೆಚ್ಚಿನ ಸಂದರ್ಭ ವಿಂಡೋ ಹೊಂದಿವೆ. ನಿಮ್ಮ ದಸ್ತಾವೇಜುಗಳು ಚಿಕ್ಕದಾಗಿದ್ದರೆ, ಅವೆಲ್ಲವನ್ನೂ ಪ್ರಾಂಪ್ಟ್‌ನಲ್ಲಿ ಕಳುಹಿಸಬಹುದು ಮತ್ತು ವೆಕ್ಟರ್ ಇಂಡೆಕ್ಸ್ ಅನ್ನು ಬಿಟ್ಟುಬಿಡಬಹುದು. ಇದು ಸರಳ, ಆದರೆ ಪ್ರತಿ ಪ್ರಶ್ನೆ ಅನೇಕ ಟೋಕನ್‌ಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ.

ದೊಡ್ಡ ಸಂದರ್ಭ ವಿಂಡೋಗಳಿರುವ ಉಚಿತ ಮಾದರಿಗಳು
ಮಾದರಿಉಚಿತಸಂದರ್ಭಉಚಿತ ಮಿತಿಗಳು (ಅತ್ಯುತ್ತಮ ಕೊಡುಗೆ)ಉಪಕರಣಗಳುದೃಷ್ಟಿ
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsಇಲ್ಲಇಲ್ಲ
Gemini 3.8 FlashAPINex, Google AI Studio1M5 ವಿನಂತಿ/ನಿಮಿಷ
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
ಹೌದುಹೌದು
Gemini 3.7 FlashGoogle AI Studio1M10 ವಿನಂತಿ/ನಿಮಿಷ
20 ವಿನಂತಿ/ದಿನ
250,000 ಟೋಕನ್/ನಿಮಿಷ
~3M
ಹೌದುಹೌದು
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 ವಿನಂತಿ/ನಿಮಿಷ
50 ವಿನಂತಿ/ದಿನ
Shared rate limit
ಹೌದುಇಲ್ಲ
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetಇಲ್ಲಇಲ್ಲ
Gemini 3.6 FlashGoogle AI Studio1M10 ವಿನಂತಿ/ನಿಮಿಷ
20 ವಿನಂತಿ/ದಿನ
250,000 ಟೋಕನ್/ನಿಮಿಷ
~3M
ಹೌದುಹೌದು
GLM 5.2Router91M10,000 credits/month (~$1), shared; account-anniversary resetಇಲ್ಲಇಲ್ಲ
Gemini 3.5 FlashGoogle AI Studio1M10 ವಿನಂತಿ/ನಿಮಿಷ
20 ವಿನಂತಿ/ದಿನ
250,000 ಟೋಕನ್/ನಿಮಿಷ
~3M
ಹೌದುಹೌದು
DeepSeek V4 ProAPINex, Router91M5 ವಿನಂತಿ/ನಿಮಿಷ
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
ಇಲ್ಲಇಲ್ಲ
Nemotron 3 Ultra 550BGizmo, Kilo Gateway, LLMTR +3 ಇನ್ನೂ1M200 ವಿನಂತಿ/ದಿನ
200 rpd
ಹೌದುಇಲ್ಲ

ಹೊಂದಾಣಿಕೆಯಾಗುವ 35 ಉಚಿತ ಮಾದರಿಗಳಲ್ಲಿ 10 ಅನ್ನು ತೋರಿಸಲಾಗುತ್ತಿದೆ. ಎಲ್ಲಾ ಮಾದರಿಗಳನ್ನು ನೋಡಿ.

FreeLLMAPI ಕ್ಯಾಟಲಾಗ್‌ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.

  • ದೀರ್ಘ ಸಂದರ್ಭ ಬಳಸಿ ಕೆಲವು ದಸ್ತಾವೇಜುಗಳಿಗೆ, ಪೂರ್ಣ ಪಠ್ಯ ಬೇಕಾದ ಪ್ರಶ್ನೆಗಳಿಗೆ, ಅಥವಾ ಒಂದೇ ವರದಿಗೆ.
  • ಮರುಪಡೆಯುವಿಕೆ ಬಳಸಿ ಅನೇಕ ದಸ್ತಾವೇಜುಗಳಿಗೆ, ಆಗಾಗ್ಗೆ ಬರುವ ಪ್ರಶ್ನೆಗಳಿಗೆ, ಅಥವಾ ಉಚಿತ ಪ್ರತಿ ನಿಮಿಷದ ಟೋಕನ್ ಮಿತಿಗಳು ಕಡಿಮೆ ಇದ್ದಾಗ.
  • ಎರಡನ್ನೂ ಸಂಯೋಜಿಸಿ: 20 ಅಥವಾ ಹೆಚ್ಚು ತುಣುಕುಗಳನ್ನು ಮರುಪಡೆಯಿರಿ ಮತ್ತು ದೀರ್ಘ-ಸಂದರ್ಭ ಮಾದರಿಗೆ ಕಳುಹಿಸಿ.

ಕಡಿಮೆ ಪ್ರತಿ ನಿಮಿಷದ ಟೋಕನ್ ಮಿತಿ ಇರುವ ಪೂರೈಕೆದಾರನಲ್ಲಿ ದೊಡ್ಡ ಪ್ರಾಂಪ್ಟ್ ವಿಫಲವಾಗಬಹುದು. ನಂತರ FreeLLMAPI ಮುಂದಿನ ಪೂರೈಕೆದಾರನನ್ನು ಪ್ರಯತ್ನಿಸುತ್ತದೆ. ದೊಡ್ಡ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಯಾವ ಮಾದರಿಗಳು ಪಡೆಯುತ್ತವೆ ಎಂದು ನಿಯಂತ್ರಿಸಲು, ದೀರ್ಘ-ಸಂದರ್ಭ ಮಾದರಿಗಳನ್ನು ಮಾತ್ರ ಹೊಂದಿರುವ ಫೇಲ್‌ಓವರ್ ಸರಪಳಿ ಪ್ರೊಫೈಲ್ ಮಾಡಿ. ಅದನ್ನು auto:<profile> ಎಂದು ಬಳಸಿ.

ಮಿತಿಗಳು ಮತ್ತು ದೋಷ ನಿವಾರಣೆ

ಸಮಸ್ಯೆಕಾರಣಪರಿಹಾರ
ದಸ್ತಾವೇಜು ಸೇರಿಸುವಿಕೆ 429 ನೊಂದಿಗೆ ನಿಲ್ಲುತ್ತದೆಎಂಬೆಡಿಂಗ್ ಕುಟುಂಬ ಎಲ್ಲಾ ಪೂರೈಕೆದಾರರಲ್ಲಿ ತನ್ನ ಮಿತಿಯಲ್ಲಿದೆದೊಡ್ಡ ಬ್ಯಾಚ್‌ಗಳನ್ನು ಬಳಸಿ, Retry-After ಗಾಗಿ ಕಾಯಿರಿ, ಭಾಗಗಳಲ್ಲಿ ಸೇರಿಸಿ
ಬದಲಾವಣೆಯ ನಂತರ ಕೆಟ್ಟ ಫಲಿತಾಂಶಗಳುಇಂಡೆಕ್ಸ್‌ನಲ್ಲಿ ಎರಡು ಕುಟುಂಬಗಳ ವೆಕ್ಟರ್‌ಗಳಿವೆಎಲ್ಲಾ ತುಣುಕುಗಳನ್ನು ಒಂದು ಕುಟುಂಬದಿಂದ ಮತ್ತೆ ಎಂಬೆಡ್ ಮಾಡಿ
ಇನ್‌ಪುಟ್ ಉದ್ದದ ಬಗ್ಗೆ ದೋಷಒಂದು ತುಣುಕು ಕುಟುಂಬದ ಗರಿಷ್ಠ ಇನ್‌ಪುಟ್‌ಗಿಂತ ಉದ್ದವಾಗಿದೆಚಿಕ್ಕ ತುಣುಕುಗಳನ್ನು ಬಳಸಿ
ಉತ್ತರ ಮೂಲಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆಮಾದರಿ ತನ್ನ ಸ್ವಂತ ಜ್ಞಾನದಿಂದ ಉತ್ತರಿಸುತ್ತದೆtemperature=0 ಮತ್ತು ಕಟ್ಟುನಿಟ್ಟಾದ ಸಿಸ್ಟಂ ಪ್ರಾಂಪ್ಟ್ ಬಳಸಿ
ಉತ್ತರದಲ್ಲಿ ಸಂದರ್ಭ ಉದ್ದದ ದೋಷತುಂಬಾ ಹೆಚ್ಚು ಅಥವಾ ತುಂಬಾ ಉದ್ದದ ತುಣುಕುಗಳುk ಅನ್ನು ಕಡಿಮೆ ಮಾಡಿ ಅಥವಾ ದೀರ್ಘ-ಸಂದರ್ಭ ಪ್ರೊಫೈಲ್ ಬಳಸಿ
ಉತ್ತರಗಳ ಶೈಲಿ ಬದಲಾಗುತ್ತದೆರೂಟರ್ ಬೇರೆ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡಿದೆX-Session-Id ಹೆಡರ್ ಕಳುಹಿಸಿ ಅಥವಾ ಒಂದು ಮಾದರಿಯನ್ನು ನಿಗದಿಪಡಿಸಿ

ಉಚಿತ ಶ್ರೇಣಿಗಳಿಗೆ SLA ಇಲ್ಲ. ಬಲಿಷ್ಠ ಮಾದರಿಗಳು ಮೊದಲು ತಮ್ಮ ದೈನಂದಿನ ಮಿತಿಗಳನ್ನು ತಲುಪುತ್ತವೆ, ಮತ್ತು ಅನೇಕ ಮಿತಿಗಳು ಮಧ್ಯರಾತ್ರಿ UTC ಗೆ ಮರುಹೊಂದುತ್ತವೆ. ನಿಮ್ಮ ಸರಪಳಿ ನಿಜವಾಗಿ ಬಳಸುವ ಮಾದರಿಗಳೊಂದಿಗೆ ನಿಮ್ಮ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಿ.

ಇವೆಲ್ಲವನ್ನೂ ಒಂದೇ ಕೀ ಮೂಲಕ ಬಳಸಿ. FreeLLMAPI ಒಂದು ಮುಕ್ತ ಮೂಲದ, ಸ್ವಯಂ-ಹೋಸ್ಟ್ ಮಾಡಿದ ರೂಟರ್ ಆಗಿದೆ. ಇದು ಈ ಎಲ್ಲಾ ಉಚಿತ ಶ್ರೇಣಿಗಳನ್ನು ಒಂದೇ OpenAI-ಹೊಂದಾಣಿಕೆಯ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಹಿಂದೆ ಇಡುತ್ತದೆ ಮತ್ತು ಒಂದು ಮಿತಿಗೆ ಒಳಪಟ್ಟಾಗ ಬದಲಾಯಿಸುತ್ತದೆ. ಕ್ಯಾಟಲಾಗ್ ನೋಡಿ ಅಥವಾ ಲೈವ್ ಆಗಿ.

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

RAG ಗಾಗಿ ಉಚಿತ API ಇದೆಯೇ?

ಹೌದು. ಹಲವು ಪೂರೈಕೆದಾರರಲ್ಲಿ ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಮತ್ತು ಚಾಟ್ ಶ್ರೇಣಿಗಳಿವೆ. FreeLLMAPI ಎರಡನ್ನೂ ಒಂದೇ OpenAI-ಹೊಂದಾಣಿಕೆಯ ಕೀ ಮೂಲಕ ನೀಡುತ್ತದೆ, ಪೂರೈಕೆದಾರರ ನಡುವೆ ಫೇಲ್‌ಓವರ್ ಸಹಿತ.

RAG ಗೆ ಯಾವ ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿ ಉತ್ತಮ?

ಹಲವು ಪೂರೈಕೆದಾರರಲ್ಲಿ ಉಚಿತವಾಗಿರುವ ಮತ್ತು ನಿಮ್ಮ ಭಾಷೆಗಳಿಗೆ ಹೊಂದುವ ಕುಟುಂಬವನ್ನು ಆಯ್ಕೆ ಮಾಡಿ. ಬಹುಭಾಷಾ ಪಠ್ಯಕ್ಕೆ, bge-m3 ಸಾಮಾನ್ಯ ಆಯ್ಕೆ. ಇಡೀ ಇಂಡೆಕ್ಸ್‌ಗೆ ಒಂದು ಕುಟುಂಬವನ್ನು ಇರಿಸಿ.

ಉಚಿತ ಮರುಶ್ರೇಣೀಕರಣ API ಇದೆಯೇ?

FreeLLMAPI ದಸ್ತಾವೇಜು ಮರುಶ್ರೇಣೀಕರಣ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ವಿವರಿಸುವುದಿಲ್ಲ. ಈ ಪುಟದಲ್ಲಿ ತೋರಿಸಿದಂತೆ ನೀವು ವೇಗದ ಚಾಟ್ ಮಾದರಿಯೊಂದಿಗೆ ಮರುಶ್ರೇಣೀಕರಿಸಬಹುದು, ಅಥವಾ ಮರುಶ್ರೇಣೀಕರಣ ಹಂತವನ್ನು ಬಿಟ್ಟುಬಿಡಬಹುದು.

ಉಚಿತ ಮಾದರಿಯಲ್ಲಿ 1 ಮಿಲಿಯನ್ ಟೋಕನ್ ಸಂದರ್ಭವಿದ್ದರೆ ನನಗೆ RAG ಬೇಕೇ?

ಕೆಲವು ಚಿಕ್ಕ ದಸ್ತಾವೇಜುಗಳಿಗೆ ಅಗತ್ಯವಿಲ್ಲ. ಅನೇಕ ದಸ್ತಾವೇಜುಗಳಿಗೆ ಅಥವಾ ಆಗಾಗ್ಗೆ ಪ್ರಶ್ನೆಗಳಿಗೆ, ಮರುಪಡೆಯುವಿಕೆ ಪ್ರತಿ ವಿನಂತಿಗೆ ಕಡಿಮೆ ಟೋಕನ್‌ಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ ಮತ್ತು ಉಚಿತ ಮಿತಿಗಳೊಳಗೆ ಉಳಿಯುತ್ತದೆ.

ನಂತರ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಯನ್ನು ಬದಲಿಸಬಹುದೇ?

ಹೌದು, ಆದರೆ ನೀವು ಎಲ್ಲಾ ತುಣುಕುಗಳನ್ನು ಮತ್ತೆ ಎಂಬೆಡ್ ಮಾಡಬೇಕು. ಎರಡು ಮಾದರಿಗಳ ವೆಕ್ಟರ್‌ಗಳು ಹೊಂದಾಣಿಕೆಯಾಗುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಒಂದೇ ಇಂಡೆಕ್ಸ್‌ನಲ್ಲಿ ಅವುಗಳನ್ನು ಬೆರೆಸಬೇಡಿ.

ಸಂಬಂಧಿತ ಮಾರ್ಗದರ್ಶಿಗಳು

ಮೂಲಗಳು

ಎಲ್ಲಾ ಮಾರ್ಗದರ್ಶಿಗಳು · ಎಲ್ಲಾ ಉಚಿತ ಮಾದರಿಗಳನ್ನು ನೋಡಿ