ಮುಖಪುಟ / ಮಾರ್ಗದರ್ಶಿಗಳು / LlamaIndex ಗಾಗಿ ಉಚಿತ LLM

LlamaIndex ಗಾಗಿ ಉಚಿತ LLM

LlamaIndex ನಲ್ಲಿ OpenAI-ಹೊಂದಾಣಿಕೆಯ API ಗಳಿಗೆ ಎರಡು ಕ್ಲಾಸ್‌ಗಳಿವೆ: ಚಾಟ್‌ಗೆ OpenAILike ಮತ್ತು ಎಂಬೆಡಿಂಗ್ಸ್‌ಗೆ OpenAILikeEmbedding. ಈ ಮಾರ್ಗದರ್ಶಿ ಎರಡನ್ನೂ FreeLLMAPI ಕಡೆ ತೋರಿಸುತ್ತದೆ. ಇದು ಒಂದು ಕೀ ಹಿಂದೆ 45 ಉಚಿತ ಪ್ರೊವೈಡರ್ ಶ್ರೇಣಿಗಳನ್ನು ಸೇರಿಸುತ್ತದೆ. ನೀವು retrieval-augmented generation (RAG) ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸುತ್ತೀರಿ, ಅದನ್ನು ಪ್ರಶ್ನಿಸುತ್ತೀರಿ ಮತ್ತು ಏಜೆಂಟ್ ಸೇರಿಸುತ್ತೀರಿ. ಕೋಡ್ ರೇಟ್ ಮಿತಿಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.

ಕೋಡ್, ಮಾದರಿ ಹೆಸರುಗಳು ಮತ್ತು ನೇರ ಕ್ಯಾಟಲಾಗ್ ಲೇಬಲ್‌ಗಳನ್ನು ಇಂಗ್ಲಿಷ್‌ನಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ.

ಪ್ಯಾಕೇಜ್‌ಗಳನ್ನು ಸ್ಥಾಪಿಸಿ

FreeLLMAPI ಸ್ಥಾಪಿಸಿ ಮತ್ತು ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನ Keys ಪುಟದಲ್ಲಿ ಎರಡು ಅಥವಾ ಹೆಚ್ಚು ಪ್ರೊವೈಡರ್‌ಗಳಿಂದ ಉಚಿತ ಕೀಗಳನ್ನು ಸೇರಿಸಿ. ಏಕೀಕೃತ ಕೀಯನ್ನು ನಕಲಿಸಿ. ನಂತರ LlamaIndex ಪ್ಯಾಕೇಜ್‌ಗಳನ್ನು ಸ್ಥಾಪಿಸಿ.

ಸ್ಥಾಪಿಸಿ

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

ಸಾಮಾನ್ಯ OpenAI ಕ್ಲಾಸ್ ಅನ್ನು, ಅಂದರೆ llama-index-llms-openai ನಿಂದ ಬಂದದ್ದನ್ನು, OpenAI ಗೆ ತಿಳಿಯದ ಮಾಡೆಲ್ ಹೆಸರುಗಳೊಂದಿಗೆ ಬಳಸಬೇಡಿ. ಆ ಕ್ಲಾಸ್ ಮಾಡೆಲ್ ಹೆಸರುಗಳು ಮತ್ತು ಕಾಂಟೆಕ್ಸ್ಟ್ ಗಾತ್ರಗಳನ್ನು OpenAI ಮಾಡೆಲ್‌ಗಳ ಪಟ್ಟಿಯೊಂದಿಗೆ ಪರಿಶೀಲಿಸುತ್ತದೆ. OpenAILike ಹಾಗೆ ಮಾಡುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಈ ಮೌಲ್ಯಗಳನ್ನು ನೀವೇ ಹೊಂದಿಸುತ್ತೀರಿ.

LLM ಮತ್ತು ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಕಾನ್ಫಿಗರ್ ಮಾಡಿ

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: ಇದಿಲ್ಲದಿದ್ದರೆ, LlamaIndex ವಿನಂತಿಗಳನ್ನು ಹಳೆಯ ಕಂಪ್ಲೀಷನ್ಸ್ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗೆ ಕಳುಹಿಸುತ್ತದೆ.
  • context_window: ಪ್ರಾಂಪ್ಟ್‌ನಲ್ಲಿ ಎಷ್ಟು ಮರುಪಡೆದ ತುಂಡುಗಳು ಹೊಂದುತ್ತವೆ ಎಂದು ನಿರ್ಧರಿಸಲು LlamaIndex ಈ ಮೌಲ್ಯವನ್ನು ಬಳಸುತ್ತದೆ. auto ಜೊತೆ ರೂಟರ್ ವಿಭಿನ್ನ ಮಾಡೆಲ್‌ಗಳನ್ನು ಆರಿಸಬಹುದು. ನಿಮ್ಮ ಸರಣಿಯಲ್ಲಿನ ಚಿಕ್ಕ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ ಬಳಸಿ.
  • is_function_calling_model=True: ನಿಮ್ಮ ಸರಣಿಯಲ್ಲಿ ಟೂಲ್-ಕರೆ ಮಾಡೆಲ್‌ಗಳಿದ್ದಾಗ ಮಾತ್ರ ಇದನ್ನು ಹೊಂದಿಸಿ.
  • embed_batch_size: ಪ್ರತಿ ಬ್ಯಾಚ್ ಒಂದು ವಿನಂತಿ. ದೊಡ್ಡ ಬ್ಯಾಚ್‌ಗಳು ನಿಮಿಷಕ್ಕೆ ಕಡಿಮೆ ವಿನಂತಿಗಳನ್ನು ಬಳಸುತ್ತವೆ.

RAG ಪ್ರಾಂಪ್ಟ್ ಹಲವು ಮರುಪಡೆದ ತುಂಡುಗಳನ್ನು ಹೊತ್ತೊಯ್ಯುತ್ತದೆ, ಆದ್ದರಿಂದ ಚಾಟ್ ಮಾಡೆಲ್‌ಗೆ ಅವುಗಳಿಗೆ ಜಾಗ ಬೇಕು. RAG ಗಾಗಿ ದೀರ್ಘ-ಕಾಂಟೆಕ್ಸ್ಟ್ ಮಾಡೆಲ್‌ಗಳೊಂದಿಗೆ ಫಾಲ್‌ಬ್ಯಾಕ್ ಸರಣಿ ಪ್ರೊಫೈಲ್ ಮಾಡಿ. ನಂತರ model="auto:<profile>" ಹೊಂದಿಸಿ ಮತ್ತು context_window ಅನ್ನು ಆ ಪ್ರೊಫೈಲ್‌ನ ಚಿಕ್ಕ ವಿಂಡೋಗೆ ಹೊಂದಿಸಿ. ಇಂದು ಈ ಉಚಿತ ಮಾಡೆಲ್‌ಗಳು ದೊಡ್ಡ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳನ್ನು ಹೊಂದಿವೆ:

ದೊಡ್ಡ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ ಇರುವ ಉಚಿತ ಮಾಡೆಲ್‌ಗಳು
ಮಾದರಿಉಚಿತಸಂದರ್ಭಉಚಿತ ಮಿತಿಗಳು (ಅತ್ಯುತ್ತಮ ಕೊಡುಗೆ)ಉಪಕರಣಗಳುದೃಷ್ಟಿ
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsಇಲ್ಲಇಲ್ಲ
Gemini 3.8 FlashAPINex, Google AI Studio1M5 ವಿನಂತಿ/ನಿಮಿಷ
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
ಹೌದುಹೌದು
Gemini 3.7 FlashGoogle AI Studio1M10 ವಿನಂತಿ/ನಿಮಿಷ
20 ವಿನಂತಿ/ದಿನ
250,000 ಟೋಕನ್/ನಿಮಿಷ
~3M
ಹೌದುಹೌದು
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 ವಿನಂತಿ/ನಿಮಿಷ
50 ವಿನಂತಿ/ದಿನ
Shared rate limit
ಹೌದುಇಲ್ಲ
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetಇಲ್ಲಇಲ್ಲ
Gemini 3.6 FlashGoogle AI Studio1M10 ವಿನಂತಿ/ನಿಮಿಷ
20 ವಿನಂತಿ/ದಿನ
250,000 ಟೋಕನ್/ನಿಮಿಷ
~3M
ಹೌದುಹೌದು
GLM-5.2ModelScope, Router91M100 ವಿನಂತಿ/ದಿನ
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
ಇಲ್ಲಇಲ್ಲ
Gemini 3.5 FlashGoogle AI Studio1M10 ವಿನಂತಿ/ನಿಮಿಷ
20 ವಿನಂತಿ/ದಿನ
250,000 ಟೋಕನ್/ನಿಮಿಷ
~3M
ಹೌದುಹೌದು

ಹೊಂದಾಣಿಕೆಯಾಗುವ 115 ಉಚಿತ ಮಾದರಿಗಳಲ್ಲಿ 8 ಅನ್ನು ತೋರಿಸಲಾಗುತ್ತಿದೆ. ಎಲ್ಲಾ ಮಾದರಿಗಳನ್ನು ನೋಡಿ.

FreeLLMAPI ಕ್ಯಾಟಲಾಗ್‌ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.

ಒಬ್ಬ ಬಳಕೆದಾರನನ್ನು ಒಂದೇ ಮಾಡೆಲ್‌ನಲ್ಲಿ ಇರಿಸಲು, X-Session-Id ಹೆಡರ್ ಕಳುಹಿಸಿ. OpenAILike default_headers ಸ್ವೀಕರಿಸುತ್ತದೆ, ಉದಾಹರಣೆಗೆ default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI ಒಂದು ಸೆಷನ್ ಅನ್ನು 30 ನಿಮಿಷಗಳ ಕಾಲ ಒಂದೇ ಮಾಡೆಲ್‌ನಲ್ಲಿ ಇಡುತ್ತದೆ. ಇದು ಒಂದೇ ಚಾಟ್‌ನಲ್ಲಿ ಒಂದೇ ಶೈಲಿಯ ಉತ್ತರಗಳನ್ನು ನೀಡುತ್ತದೆ.

RAG ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸಿ ಮತ್ತು ಪ್ರಶ್ನಿಸಿ

ಸ್ಕ್ರಿಪ್ಟ್ ಫೋಲ್ಡರ್‌ನಿಂದ ಫೈಲ್‌ಗಳನ್ನು ಓದುತ್ತದೆ, ಎಂಬೆಡಿಂಗ್ಸ್ ತಯಾರಿಸುತ್ತದೆ, ಇಂಡೆಕ್ಸ್ ಉಳಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುತ್ತದೆ. ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸಲು ಒಮ್ಮೆ ಚಲಾಯಿಸಿ. ನಂತರದ ರನ್‌ಗಳು ಉಳಿಸಿದ ಇಂಡೆಕ್ಸ್ ಲೋಡ್ ಮಾಡುತ್ತವೆ ಮತ್ತು ಫೈಲ್‌ಗಳನ್ನು ಮತ್ತೆ ಎಂಬೆಡ್ ಮಾಡುವುದಿಲ್ಲ.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
ಮುಖ್ಯ: ಇಡೀ ಇಂಡೆಕ್ಸ್‌ಗೆ ಒಂದೇ ಎಂಬೆಡಿಂಗ್ ಕುಟುಂಬವನ್ನು ಇರಿಸಿ. FreeLLMAPI ಫೇಲ್‌ಓವರ್ ಸಮಯದಲ್ಲಿ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಅನ್ನು ಎಂದಿಗೂ ಬದಲಿಸುವುದಿಲ್ಲ. ಅದು ಒಂದೇ ಕುಟುಂಬವನ್ನು ನೀಡುವ ಪ್ರೊವೈಡರ್‌ಗಳ ನಡುವೆ ಮಾತ್ರ ಚಲಿಸುತ್ತದೆ. ಕುಟುಂಬ ಬದಲಿಸಿದರೆ ./storage ಅನ್ನು ಅಳಿಸಿ ಮತ್ತು ಇಂಡೆಕ್ಸ್ ಅನ್ನು ಮತ್ತೆ ನಿರ್ಮಿಸಿ.

ಇಂದಿನ ಕ್ಯಾಟಲಾಗ್‌ನಲ್ಲಿ ಈ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳು ಉಚಿತ. ಆಯಾಮಗಳ ಕಾಲಮ್ ಪ್ರತಿ ಕುಟುಂಬದ ವೆಕ್ಟರ್ ಗಾತ್ರವನ್ನು ತೋರಿಸುತ್ತದೆ.

ಮಾದರಿಪೂರೈಕೆದಾರಆಯಾಮಗಳುಗರಿಷ್ಠ ಇನ್‌ಪುಟ್ಉಚಿತ ಮಿತಿ
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

FreeLLMAPI ಕ್ಯಾಟಲಾಗ್‌ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.

FunctionAgent ಜೊತೆ ಏಜೆಂಟ್ ಸೇರಿಸಿ

FunctionAgent ಟೂಲ್ ಕರೆಯನ್ನು ಬಳಸುತ್ತದೆ. ಅದಕ್ಕೆ ಕ್ವೆರಿ ಎಂಜಿನ್ ಅನ್ನು ಟೂಲ್ ಆಗಿ ಮತ್ತು ನಿಮ್ಮ ಸ್ವಂತ Python ಫಂಕ್ಷನ್‌ಗಳನ್ನು ಸೇರಿಸಬಹುದು.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

ಏಜೆಂಟ್ ಕೆಲಸಕ್ಕೆ, ಟೂಲ್ ಕರೆ ಇರುವ ಮಾಡೆಲ್‌ಗಳನ್ನು ಆರಿಸಿ. ಈ ಮಾಡೆಲ್‌ಗಳನ್ನು ಮಾತ್ರ ಒಳಗೊಂಡ ಫಾಲ್‌ಬ್ಯಾಕ್ ಸರಣಿ ಪ್ರೊಫೈಲ್ ಮಾಡಿ, ಮತ್ತು ಮಾಡೆಲ್ ಹೆಸರಾಗಿ auto:<profile> ಬಳಸಿ.

ಟೂಲ್ ಕರೆ ಮತ್ತು 128K+ ಕಾಂಟೆಕ್ಸ್ಟ್ ಇರುವ ಉಚಿತ ಮಾಡೆಲ್‌ಗಳು
ಮಾದರಿಉಚಿತಸಂದರ್ಭಉಚಿತ ಮಿತಿಗಳು (ಅತ್ಯುತ್ತಮ ಕೊಡುಗೆ)ಉಪಕರಣಗಳುದೃಷ್ಟಿ
GLM 5.3UnoRouter1M1 ವಿನಂತಿ/ನಿಮಿಷ
1 req/min per model
ಹೌದುಇಲ್ಲ
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 ವಿನಂತಿ/ನಿಮಿಷ
40 RPM
ಹೌದುಹೌದು
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaಹೌದುಹೌದು
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceಹೌದುಇಲ್ಲ
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditಹೌದುಹೌದು
Gemini 3.7 FlashGoogle AI Studio1M10 ವಿನಂತಿ/ನಿಮಿಷ
20 ವಿನಂತಿ/ದಿನ
250,000 ಟೋಕನ್/ನಿಮಿಷ
~3M
ಹೌದುಹೌದು
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditಹೌದುಹೌದು
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 ವಿನಂತಿ/ನಿಮಿಷ
50 ವಿನಂತಿ/ದಿನ
50 req/day account-wide (1,000 after a $10 purchase)
ಹೌದುಹೌದು
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 ವಿನಂತಿ/ನಿಮಿಷ
50 ವಿನಂತಿ/ದಿನ
Shared rate limit
ಹೌದುಇಲ್ಲ
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 ವಿನಂತಿ/ನಿಮಿಷ
250 ವಿನಂತಿ/ದಿನ
70,000 ಟೋಕನ್/ನಿಮಿಷ
~6M
ಹೌದುಹೌದು

ಹೊಂದಾಣಿಕೆಯಾಗುವ 109 ಉಚಿತ ಮಾದರಿಗಳಲ್ಲಿ 10 ಅನ್ನು ತೋರಿಸಲಾಗುತ್ತಿದೆ. ಎಲ್ಲಾ ಮಾದರಿಗಳನ್ನು ನೋಡಿ.

FreeLLMAPI ಕ್ಯಾಟಲಾಗ್‌ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.

ಇನ್‌ಜೆಶನ್ ಅನ್ನು ಉಚಿತ ಮಿತಿಗಳೊಳಗೆ ಇರಿಸಿ

ಇನ್‌ಜೆಶನ್ ಕಡಿಮೆ ಸಮಯದಲ್ಲಿ ಅನೇಕ ಎಂಬೆಡಿಂಗ್ ವಿನಂತಿಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ. ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಶ್ರೇಣಿಗಳ ಮಿತಿಗಳು ಕಡಿಮೆ. ಉದಾಹರಣೆಗೆ, ಕೆಲವು ನಿಮಿಷಕ್ಕೆ 10 ವಿನಂತಿಗಳನ್ನು ಅನುಮತಿಸುತ್ತವೆ, ಇತರವು ತಿಂಗಳಿಗೆ ಕರೆಗಳನ್ನು ಎಣಿಸುತ್ತವೆ. ಮೊದಲ ಇನ್‌ಜೆಶನ್ ಆರಂಭಿಸುವ ಮೊದಲು ಯೋಜಿಸಿ.

  • ದೊಡ್ಡ ತುಂಡುಗಳನ್ನು ಬಳಸಿ. ಕಡಿಮೆ ತುಂಡುಗಳು ಎಂದರೆ ಕಡಿಮೆ ವೆಕ್ಟರ್‌ಗಳು ಮತ್ತು ಕಡಿಮೆ ವಿನಂತಿಗಳು. 1,024 ಟೋಕನ್ ಹತ್ತಿರದ ತುಂಡು ಗಾತ್ರ ಉತ್ತಮ ಆರಂಭ.
  • ಬ್ಯಾಚ್‌ಗಳನ್ನು ಬಳಸಿ. embed_batch_size ಅನ್ನು 16 ಅಥವಾ ಹೆಚ್ಚಿಗೆ ಹೊಂದಿಸಿ. ಆಗ ಒಂದು ವಿನಂತಿ ಹಲವು ತುಂಡುಗಳನ್ನು ಹೊತ್ತೊಯ್ಯುತ್ತದೆ.
  • ಇಂಡೆಕ್ಸ್ ಉಳಿಸಿ. ಮೊದಲ ರನ್ ನಂತರ ಇಂಡೆಕ್ಸ್ ಅನ್ನು ಉಳಿಸಿ. ಅದೇ ಫೈಲ್‌ಗಳನ್ನು ಮತ್ತೆ ಎಂಬೆಡ್ ಮಾಡಬೇಡಿ.
  • ಮರುಪ್ರಯತ್ನಗಳನ್ನು ಆನ್ ಇಡಿ. OpenAILikeEmbedding ಡೀಫಾಲ್ಟ್ ಆಗಿ 10 ಬಾರಿ ಮರುಪ್ರಯತ್ನಿಸುತ್ತದೆ. ದೀರ್ಘ ಇನ್‌ಜೆಶನ್ ಕೆಲಸಗಳಿಗೆ ಈ ಮೌಲ್ಯವನ್ನು ಇರಿಸಿ.
  • ಭಾಗಗಳಲ್ಲಿ ಇನ್‌ಜೆಸ್ಟ್ ಮಾಡಿ. ಸಾವಿರಾರು ಫೈಲ್‌ಗಳಿಗೆ, ಒಂದು ಸಮಯದಲ್ಲಿ ಒಂದು ಫೋಲ್ಡರ್ ಇನ್‌ಜೆಸ್ಟ್ ಮಾಡಿ.

ಪ್ರಶ್ನೆಗಳು ಇನ್‌ಜೆಶನ್‌ಗಿಂತ ಅಗ್ಗ. ಪ್ರತಿ ಪ್ರಶ್ನೆ ಒಂದು ಎಂಬೆಡಿಂಗ್ ವಿನಂತಿ ಮತ್ತು ಒಂದು ಚಾಟ್ ವಿನಂತಿಯನ್ನು ಬಳಸುತ್ತದೆ. 1,024 ಟೋಕನ್‌ಗಳ ನಾಲ್ಕು ತುಂಡುಗಳಿರುವ ಚಾಟ್ ವಿನಂತಿ ಸುಮಾರು 5,000 ಟೋಕನ್ ಕಳುಹಿಸುತ್ತದೆ. ಕಡಿಮೆ ನಿಮಿಷದ ಟೋಕನ್ ಮಿತಿಗಳಿರುವ ಉಚಿತ ಶ್ರೇಣಿಗಳು ಇದನ್ನು ತಿರಸ್ಕರಿಸಬಹುದು. ನಂತರ FreeLLMAPI ಮುಂದಿನ ಪ್ರೊವೈಡರ್ ಅನ್ನು ಪ್ರಯತ್ನಿಸುತ್ತದೆ.

ದೋಷ ನಿವಾರಣೆ

ಸಮಸ್ಯೆಕಾರಣಪರಿಹಾರ
Unknown model 'auto'ನೀವು OpenAI ಕ್ಲಾಸ್ ಬಳಸಿದ್ದೀರಿOpenAILike ಬಳಸಿ
ವಿನಂತಿಗಳು /v1/completions ಗೆ ಹೋಗುತ್ತವೆis_chat_model ಹೊಂದಿಸಿಲ್ಲis_chat_model=True ಹೊಂದಿಸಿ
ಏಜೆಂಟ್ ಟೂಲ್‌ಗಳನ್ನು ಕರೆಯುವುದಿಲ್ಲis_function_calling_model ಆಫ್ ಆಗಿದೆ, ಅಥವಾ ಮಾಡೆಲ್‌ಗೆ ಟೂಲ್ ಕರೆ ಇಲ್ಲಅದನ್ನು True ಗೆ ಹೊಂದಿಸಿ ಮತ್ತು ಟೂಲ್ಸ್ ಪ್ರೊಫೈಲ್ ಬಳಸಿ
ಇನ್‌ಜೆಶನ್ ಸಮಯದಲ್ಲಿ ದೋಷ 429ಎಲ್ಲಾ ಪ್ರೊವೈಡರ್‌ಗಳಲ್ಲಿ ಎಂಬೆಡಿಂಗ್ ಕುಟುಂಬ ಮಿತಿ ತಲುಪಿದೆದೊಡ್ಡ ಬ್ಯಾಚ್‌ಗಳನ್ನು ಬಳಸಿ, Retry-After ಗಾಗಿ ಕಾಯಿರಿ ಮತ್ತು ಮತ್ತೆ ಚಲಾಯಿಸಿ
ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಬದಲಾವಣೆಯ ನಂತರ ಕೆಟ್ಟ ಉತ್ತರಗಳುಒಂದೇ ಇಂಡೆಕ್ಸ್‌ನಲ್ಲಿ ಎರಡು ಕುಟುಂಬಗಳ ವೆಕ್ಟರ್‌ಗಳುಉಳಿಸಿದ ಇಂಡೆಕ್ಸ್ ಅಳಿಸಿ ಮತ್ತು ಮತ್ತೆ ನಿರ್ಮಿಸಿ
ಕಾಂಟೆಕ್ಸ್ಟ್ ಉದ್ದದ ದೋಷcontext_window ಉತ್ತರಿಸಿದ ಮಾಡೆಲ್‌ಗಿಂತ ದೊಡ್ಡದುಚಿಕ್ಕ ಮೌಲ್ಯ ಹೊಂದಿಸಿ, ಅಥವಾ ದೀರ್ಘ-ಕಾಂಟೆಕ್ಸ್ಟ್ ಪ್ರೊಫೈಲ್ ಬಳಸಿ

ಯಾವ ಪ್ರೊವೈಡರ್ ವಿನಂತಿಗೆ ಉತ್ತರಿಸಿತು ಎಂದು ನೋಡಲು FreeLLMAPI ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಬಳಸಿ. Analytics ಪುಟವು ಪ್ರತಿ ಪ್ರೊವೈಡರ್ ಮತ್ತು ಮಾಡೆಲ್‌ಗೆ ವಿನಂತಿಗಳು, ಲೇಟೆನ್ಸಿ ಮತ್ತು ದೋಷಗಳನ್ನು ತೋರಿಸುತ್ತದೆ. ಪ್ರತಿ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲೂ X-Routed-Via ಹೆಡರ್ ಇರುತ್ತದೆ. ರೂಟರ್ ಪ್ರೊವೈಡರ್ ಬದಲಿಸಿದರೆ, X-Fallback-Trail ಹೆಡರ್ ವಿಫಲವಾದ ಪ್ರತಿ ಪ್ರಯತ್ನ ಮತ್ತು ಕಾರಣವನ್ನು ಹೆಸರಿಸುತ್ತದೆ.

ಇವೆಲ್ಲವನ್ನೂ ಒಂದೇ ಕೀ ಮೂಲಕ ಬಳಸಿ. FreeLLMAPI ಒಂದು ಮುಕ್ತ ಮೂಲದ, ಸ್ವಯಂ-ಹೋಸ್ಟ್ ಮಾಡಿದ ರೂಟರ್ ಆಗಿದೆ. ಇದು ಈ ಎಲ್ಲಾ ಉಚಿತ ಶ್ರೇಣಿಗಳನ್ನು ಒಂದೇ OpenAI-ಹೊಂದಾಣಿಕೆಯ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಹಿಂದೆ ಇಡುತ್ತದೆ ಮತ್ತು ಒಂದು ಮಿತಿಗೆ ಒಳಪಟ್ಟಾಗ ಬದಲಾಯಿಸುತ್ತದೆ. ಕ್ಯಾಟಲಾಗ್ ನೋಡಿ ಅಥವಾ ಲೈವ್ ಆಗಿ.

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

ಉಚಿತ LLM ಜೊತೆ LlamaIndex ಬಳಸಬಹುದೇ?

ಹೌದು. OpenAILike ಅನ್ನು api_base ಗೆ OpenAI-ಹೊಂದಾಣಿಕೆಯ URL ಹೊಂದಿಸಿ ಬಳಸಿ. FreeLLMAPI ಅನೇಕ ಉಚಿತ ಪ್ರೊವೈಡರ್ ಶ್ರೇಣಿಗಳಿಗೆ ಒಂದೇ URL ನೀಡುತ್ತದೆ. ಪ್ರತಿ ಶ್ರೇಣಿಗೆ ತನ್ನದೇ ಮಿತಿಗಳಿವೆ.

LlamaIndex ನಲ್ಲಿ OpenAI ಮತ್ತು OpenAILike ನಡುವಿನ ವ್ಯತ್ಯಾಸವೇನು?

OpenAI ಕ್ಲಾಸ್ ಮಾಡೆಲ್ ಹೆಸರುಗಳನ್ನು OpenAI ಮಾಡೆಲ್‌ಗಳೊಂದಿಗೆ ಪರಿಶೀಲಿಸುತ್ತದೆ. OpenAILike ಯಾವುದೇ ಮಾಡೆಲ್ ಹೆಸರನ್ನು ಸ್ವೀಕರಿಸುತ್ತದೆ. ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ ಮತ್ತು ಚಾಟ್ ಹಾಗೂ ಫಂಕ್ಷನ್-ಕರೆ ಫ್ಲ್ಯಾಗ್‌ಗಳನ್ನು ನೀವೇ ಹೊಂದಿಸುತ್ತೀರಿ.

LlamaIndex ಗೆ ಯಾವ ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಉತ್ತಮ?

ನಿಮ್ಮ ಇನ್‌ಜೆಶನ್‌ಗೆ ಸಾಕಷ್ಟು ಉಚಿತ ವಿನಂತಿಗಳಿರುವ ಕುಟುಂಬವನ್ನು ಆರಿಸಿ, ಮತ್ತು ಇಡೀ ಇಂಡೆಕ್ಸ್‌ಗೆ ಅದನ್ನೇ ಇರಿಸಿ. bge-m3 ಕುಟುಂಬ ಹಲವು ಪ್ರೊವೈಡರ್‌ಗಳಲ್ಲಿ ಉಚಿತವಾಗಿದೆ, ಆದ್ದರಿಂದ ಫೇಲ್‌ಓವರ್ ಅವುಗಳ ನಡುವೆ ಚಲಿಸಬಹುದು.

ಉಚಿತ ಮಾಡೆಲ್‌ಗಳೊಂದಿಗೆ FunctionAgent ಕೆಲಸ ಮಾಡುತ್ತದೆಯೇ?

ಹೌದು, ಮಾಡೆಲ್ ಟೂಲ್ ಕರೆಯನ್ನು ಬೆಂಬಲಿಸಿದರೆ ಮತ್ತು ನೀವು is_function_calling_model=True ಹೊಂದಿಸಿದರೆ. ಟೂಲ್-ಕರೆ ಮಾಡೆಲ್‌ಗಳನ್ನು ಮಾತ್ರ ಹೊಂದಿರುವ ಫಾಲ್‌ಬ್ಯಾಕ್ ಸರಣಿ ಪ್ರೊಫೈಲ್ ಬಳಸಿ.

LlamaIndex ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸುವಾಗ ರೇಟ್ ಮಿತಿಗಳನ್ನು ಹೇಗೆ ತಪ್ಪಿಸುವುದು?

ದೊಡ್ಡ ತುಂಡುಗಳನ್ನು ಬಳಸಿ, embed_batch_size ಅನ್ನು 16 ಅಥವಾ ಹೆಚ್ಚಿಗೆ ಹೊಂದಿಸಿ, ಇಂಡೆಕ್ಸ್ ಉಳಿಸಿ ಮತ್ತು ದೊಡ್ಡ ಫೋಲ್ಡರ್‌ಗಳನ್ನು ಭಾಗಗಳಲ್ಲಿ ಇನ್‌ಜೆಸ್ಟ್ ಮಾಡಿ.

ಸಂಬಂಧಿತ ಮಾರ್ಗದರ್ಶಿಗಳು

ಮೂಲಗಳು

ಎಲ್ಲಾ ಮಾರ್ಗದರ್ಶಿಗಳು · ಎಲ್ಲಾ ಉಚಿತ ಮಾದರಿಗಳನ್ನು ನೋಡಿ