LlamaIndex ಗಾಗಿ ಉಚಿತ LLM
LlamaIndex ನಲ್ಲಿ OpenAI-ಹೊಂದಾಣಿಕೆಯ API ಗಳಿಗೆ ಎರಡು ಕ್ಲಾಸ್ಗಳಿವೆ: ಚಾಟ್ಗೆ OpenAILike ಮತ್ತು ಎಂಬೆಡಿಂಗ್ಸ್ಗೆ OpenAILikeEmbedding. ಈ ಮಾರ್ಗದರ್ಶಿ ಎರಡನ್ನೂ FreeLLMAPI ಕಡೆ ತೋರಿಸುತ್ತದೆ. ಇದು ಒಂದು ಕೀ ಹಿಂದೆ 45 ಉಚಿತ ಪ್ರೊವೈಡರ್ ಶ್ರೇಣಿಗಳನ್ನು ಸೇರಿಸುತ್ತದೆ. ನೀವು retrieval-augmented generation (RAG) ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸುತ್ತೀರಿ, ಅದನ್ನು ಪ್ರಶ್ನಿಸುತ್ತೀರಿ ಮತ್ತು ಏಜೆಂಟ್ ಸೇರಿಸುತ್ತೀರಿ. ಕೋಡ್ ರೇಟ್ ಮಿತಿಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.
ಕೋಡ್, ಮಾದರಿ ಹೆಸರುಗಳು ಮತ್ತು ನೇರ ಕ್ಯಾಟಲಾಗ್ ಲೇಬಲ್ಗಳನ್ನು ಇಂಗ್ಲಿಷ್ನಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ.
ಪ್ಯಾಕೇಜ್ಗಳನ್ನು ಸ್ಥಾಪಿಸಿ
FreeLLMAPI ಸ್ಥಾಪಿಸಿ ಮತ್ತು ಡ್ಯಾಶ್ಬೋರ್ಡ್ನ Keys ಪುಟದಲ್ಲಿ ಎರಡು ಅಥವಾ ಹೆಚ್ಚು ಪ್ರೊವೈಡರ್ಗಳಿಂದ ಉಚಿತ ಕೀಗಳನ್ನು ಸೇರಿಸಿ. ಏಕೀಕೃತ ಕೀಯನ್ನು ನಕಲಿಸಿ. ನಂತರ LlamaIndex ಪ್ಯಾಕೇಜ್ಗಳನ್ನು ಸ್ಥಾಪಿಸಿ.
ಸ್ಥಾಪಿಸಿ
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>ಸಾಮಾನ್ಯ OpenAI ಕ್ಲಾಸ್ ಅನ್ನು, ಅಂದರೆ llama-index-llms-openai ನಿಂದ ಬಂದದ್ದನ್ನು, OpenAI ಗೆ ತಿಳಿಯದ ಮಾಡೆಲ್ ಹೆಸರುಗಳೊಂದಿಗೆ ಬಳಸಬೇಡಿ. ಆ ಕ್ಲಾಸ್ ಮಾಡೆಲ್ ಹೆಸರುಗಳು ಮತ್ತು ಕಾಂಟೆಕ್ಸ್ಟ್ ಗಾತ್ರಗಳನ್ನು OpenAI ಮಾಡೆಲ್ಗಳ ಪಟ್ಟಿಯೊಂದಿಗೆ ಪರಿಶೀಲಿಸುತ್ತದೆ. OpenAILike ಹಾಗೆ ಮಾಡುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಈ ಮೌಲ್ಯಗಳನ್ನು ನೀವೇ ಹೊಂದಿಸುತ್ತೀರಿ.
LLM ಮತ್ತು ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಕಾನ್ಫಿಗರ್ ಮಾಡಿ
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: ಇದಿಲ್ಲದಿದ್ದರೆ, LlamaIndex ವಿನಂತಿಗಳನ್ನು ಹಳೆಯ ಕಂಪ್ಲೀಷನ್ಸ್ ಎಂಡ್ಪಾಯಿಂಟ್ಗೆ ಕಳುಹಿಸುತ್ತದೆ.
- context_window: ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ ಎಷ್ಟು ಮರುಪಡೆದ ತುಂಡುಗಳು ಹೊಂದುತ್ತವೆ ಎಂದು ನಿರ್ಧರಿಸಲು LlamaIndex ಈ ಮೌಲ್ಯವನ್ನು ಬಳಸುತ್ತದೆ.
autoಜೊತೆ ರೂಟರ್ ವಿಭಿನ್ನ ಮಾಡೆಲ್ಗಳನ್ನು ಆರಿಸಬಹುದು. ನಿಮ್ಮ ಸರಣಿಯಲ್ಲಿನ ಚಿಕ್ಕ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ ಬಳಸಿ. - is_function_calling_model=True: ನಿಮ್ಮ ಸರಣಿಯಲ್ಲಿ ಟೂಲ್-ಕರೆ ಮಾಡೆಲ್ಗಳಿದ್ದಾಗ ಮಾತ್ರ ಇದನ್ನು ಹೊಂದಿಸಿ.
- embed_batch_size: ಪ್ರತಿ ಬ್ಯಾಚ್ ಒಂದು ವಿನಂತಿ. ದೊಡ್ಡ ಬ್ಯಾಚ್ಗಳು ನಿಮಿಷಕ್ಕೆ ಕಡಿಮೆ ವಿನಂತಿಗಳನ್ನು ಬಳಸುತ್ತವೆ.
RAG ಪ್ರಾಂಪ್ಟ್ ಹಲವು ಮರುಪಡೆದ ತುಂಡುಗಳನ್ನು ಹೊತ್ತೊಯ್ಯುತ್ತದೆ, ಆದ್ದರಿಂದ ಚಾಟ್ ಮಾಡೆಲ್ಗೆ ಅವುಗಳಿಗೆ ಜಾಗ ಬೇಕು. RAG ಗಾಗಿ ದೀರ್ಘ-ಕಾಂಟೆಕ್ಸ್ಟ್ ಮಾಡೆಲ್ಗಳೊಂದಿಗೆ ಫಾಲ್ಬ್ಯಾಕ್ ಸರಣಿ ಪ್ರೊಫೈಲ್ ಮಾಡಿ. ನಂತರ model="auto:<profile>" ಹೊಂದಿಸಿ ಮತ್ತು context_window ಅನ್ನು ಆ ಪ್ರೊಫೈಲ್ನ ಚಿಕ್ಕ ವಿಂಡೋಗೆ ಹೊಂದಿಸಿ. ಇಂದು ಈ ಉಚಿತ ಮಾಡೆಲ್ಗಳು ದೊಡ್ಡ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳನ್ನು ಹೊಂದಿವೆ:
| ಮಾದರಿ | ಉಚಿತ | ಸಂದರ್ಭ | ಉಚಿತ ಮಿತಿಗಳು (ಅತ್ಯುತ್ತಮ ಕೊಡುಗೆ) | ಉಪಕರಣಗಳು | ದೃಷ್ಟಿ |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | ಇಲ್ಲ | ಇಲ್ಲ |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 ವಿನಂತಿ/ನಿಮಿಷ 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | ಹೌದು | ಹೌದು |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 20 ವಿನಂತಿ/ದಿನ 250,000 ಟೋಕನ್/ನಿಮಿಷ ~3M | ಹೌದು | ಹೌದು |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 50 ವಿನಂತಿ/ದಿನ Shared rate limit | ಹೌದು | ಇಲ್ಲ |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | ಇಲ್ಲ | ಇಲ್ಲ |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 20 ವಿನಂತಿ/ದಿನ 250,000 ಟೋಕನ್/ನಿಮಿಷ ~3M | ಹೌದು | ಹೌದು |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 ವಿನಂತಿ/ದಿನ Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | ಇಲ್ಲ | ಇಲ್ಲ |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 20 ವಿನಂತಿ/ದಿನ 250,000 ಟೋಕನ್/ನಿಮಿಷ ~3M | ಹೌದು | ಹೌದು |
ಹೊಂದಾಣಿಕೆಯಾಗುವ 115 ಉಚಿತ ಮಾದರಿಗಳಲ್ಲಿ 8 ಅನ್ನು ತೋರಿಸಲಾಗುತ್ತಿದೆ. ಎಲ್ಲಾ ಮಾದರಿಗಳನ್ನು ನೋಡಿ.
FreeLLMAPI ಕ್ಯಾಟಲಾಗ್ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.
ಒಬ್ಬ ಬಳಕೆದಾರನನ್ನು ಒಂದೇ ಮಾಡೆಲ್ನಲ್ಲಿ ಇರಿಸಲು, X-Session-Id ಹೆಡರ್ ಕಳುಹಿಸಿ. OpenAILike default_headers ಸ್ವೀಕರಿಸುತ್ತದೆ, ಉದಾಹರಣೆಗೆ default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI ಒಂದು ಸೆಷನ್ ಅನ್ನು 30 ನಿಮಿಷಗಳ ಕಾಲ ಒಂದೇ ಮಾಡೆಲ್ನಲ್ಲಿ ಇಡುತ್ತದೆ. ಇದು ಒಂದೇ ಚಾಟ್ನಲ್ಲಿ ಒಂದೇ ಶೈಲಿಯ ಉತ್ತರಗಳನ್ನು ನೀಡುತ್ತದೆ.
RAG ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸಿ ಮತ್ತು ಪ್ರಶ್ನಿಸಿ
ಸ್ಕ್ರಿಪ್ಟ್ ಫೋಲ್ಡರ್ನಿಂದ ಫೈಲ್ಗಳನ್ನು ಓದುತ್ತದೆ, ಎಂಬೆಡಿಂಗ್ಸ್ ತಯಾರಿಸುತ್ತದೆ, ಇಂಡೆಕ್ಸ್ ಉಳಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುತ್ತದೆ. ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸಲು ಒಮ್ಮೆ ಚಲಾಯಿಸಿ. ನಂತರದ ರನ್ಗಳು ಉಳಿಸಿದ ಇಂಡೆಕ್ಸ್ ಲೋಡ್ ಮಾಡುತ್ತವೆ ಮತ್ತು ಫೈಲ್ಗಳನ್ನು ಮತ್ತೆ ಎಂಬೆಡ್ ಮಾಡುವುದಿಲ್ಲ.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage ಅನ್ನು ಅಳಿಸಿ ಮತ್ತು ಇಂಡೆಕ್ಸ್ ಅನ್ನು ಮತ್ತೆ ನಿರ್ಮಿಸಿ.ಇಂದಿನ ಕ್ಯಾಟಲಾಗ್ನಲ್ಲಿ ಈ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ಗಳು ಉಚಿತ. ಆಯಾಮಗಳ ಕಾಲಮ್ ಪ್ರತಿ ಕುಟುಂಬದ ವೆಕ್ಟರ್ ಗಾತ್ರವನ್ನು ತೋರಿಸುತ್ತದೆ.
| ಮಾದರಿ | ಪೂರೈಕೆದಾರ | ಆಯಾಮಗಳು | ಗರಿಷ್ಠ ಇನ್ಪುಟ್ | ಉಚಿತ ಮಿತಿ |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
FreeLLMAPI ಕ್ಯಾಟಲಾಗ್ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.
FunctionAgent ಜೊತೆ ಏಜೆಂಟ್ ಸೇರಿಸಿ
FunctionAgent ಟೂಲ್ ಕರೆಯನ್ನು ಬಳಸುತ್ತದೆ. ಅದಕ್ಕೆ ಕ್ವೆರಿ ಎಂಜಿನ್ ಅನ್ನು ಟೂಲ್ ಆಗಿ ಮತ್ತು ನಿಮ್ಮ ಸ್ವಂತ Python ಫಂಕ್ಷನ್ಗಳನ್ನು ಸೇರಿಸಬಹುದು.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())ಏಜೆಂಟ್ ಕೆಲಸಕ್ಕೆ, ಟೂಲ್ ಕರೆ ಇರುವ ಮಾಡೆಲ್ಗಳನ್ನು ಆರಿಸಿ. ಈ ಮಾಡೆಲ್ಗಳನ್ನು ಮಾತ್ರ ಒಳಗೊಂಡ ಫಾಲ್ಬ್ಯಾಕ್ ಸರಣಿ ಪ್ರೊಫೈಲ್ ಮಾಡಿ, ಮತ್ತು ಮಾಡೆಲ್ ಹೆಸರಾಗಿ auto:<profile> ಬಳಸಿ.
| ಮಾದರಿ | ಉಚಿತ | ಸಂದರ್ಭ | ಉಚಿತ ಮಿತಿಗಳು (ಅತ್ಯುತ್ತಮ ಕೊಡುಗೆ) | ಉಪಕರಣಗಳು | ದೃಷ್ಟಿ |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 ವಿನಂತಿ/ನಿಮಿಷ 1 req/min per model | ಹೌದು | ಇಲ್ಲ |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 ವಿನಂತಿ/ನಿಮಿಷ 40 RPM | ಹೌದು | ಹೌದು |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | ಹೌದು | ಹೌದು |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | ಹೌದು | ಇಲ್ಲ |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | ಹೌದು | ಹೌದು |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 20 ವಿನಂತಿ/ದಿನ 250,000 ಟೋಕನ್/ನಿಮಿಷ ~3M | ಹೌದು | ಹೌದು |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | ಹೌದು | ಹೌದು |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 ವಿನಂತಿ/ನಿಮಿಷ 50 ವಿನಂತಿ/ದಿನ 50 req/day account-wide (1,000 after a $10 purchase) | ಹೌದು | ಹೌದು |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 50 ವಿನಂತಿ/ದಿನ Shared rate limit | ಹೌದು | ಇಲ್ಲ |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 ವಿನಂತಿ/ನಿಮಿಷ 250 ವಿನಂತಿ/ದಿನ 70,000 ಟೋಕನ್/ನಿಮಿಷ ~6M | ಹೌದು | ಹೌದು |
ಹೊಂದಾಣಿಕೆಯಾಗುವ 109 ಉಚಿತ ಮಾದರಿಗಳಲ್ಲಿ 10 ಅನ್ನು ತೋರಿಸಲಾಗುತ್ತಿದೆ. ಎಲ್ಲಾ ಮಾದರಿಗಳನ್ನು ನೋಡಿ.
FreeLLMAPI ಕ್ಯಾಟಲಾಗ್ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.
ಇನ್ಜೆಶನ್ ಅನ್ನು ಉಚಿತ ಮಿತಿಗಳೊಳಗೆ ಇರಿಸಿ
ಇನ್ಜೆಶನ್ ಕಡಿಮೆ ಸಮಯದಲ್ಲಿ ಅನೇಕ ಎಂಬೆಡಿಂಗ್ ವಿನಂತಿಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ. ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಶ್ರೇಣಿಗಳ ಮಿತಿಗಳು ಕಡಿಮೆ. ಉದಾಹರಣೆಗೆ, ಕೆಲವು ನಿಮಿಷಕ್ಕೆ 10 ವಿನಂತಿಗಳನ್ನು ಅನುಮತಿಸುತ್ತವೆ, ಇತರವು ತಿಂಗಳಿಗೆ ಕರೆಗಳನ್ನು ಎಣಿಸುತ್ತವೆ. ಮೊದಲ ಇನ್ಜೆಶನ್ ಆರಂಭಿಸುವ ಮೊದಲು ಯೋಜಿಸಿ.
- ದೊಡ್ಡ ತುಂಡುಗಳನ್ನು ಬಳಸಿ. ಕಡಿಮೆ ತುಂಡುಗಳು ಎಂದರೆ ಕಡಿಮೆ ವೆಕ್ಟರ್ಗಳು ಮತ್ತು ಕಡಿಮೆ ವಿನಂತಿಗಳು. 1,024 ಟೋಕನ್ ಹತ್ತಿರದ ತುಂಡು ಗಾತ್ರ ಉತ್ತಮ ಆರಂಭ.
- ಬ್ಯಾಚ್ಗಳನ್ನು ಬಳಸಿ.
embed_batch_sizeಅನ್ನು 16 ಅಥವಾ ಹೆಚ್ಚಿಗೆ ಹೊಂದಿಸಿ. ಆಗ ಒಂದು ವಿನಂತಿ ಹಲವು ತುಂಡುಗಳನ್ನು ಹೊತ್ತೊಯ್ಯುತ್ತದೆ. - ಇಂಡೆಕ್ಸ್ ಉಳಿಸಿ. ಮೊದಲ ರನ್ ನಂತರ ಇಂಡೆಕ್ಸ್ ಅನ್ನು ಉಳಿಸಿ. ಅದೇ ಫೈಲ್ಗಳನ್ನು ಮತ್ತೆ ಎಂಬೆಡ್ ಮಾಡಬೇಡಿ.
- ಮರುಪ್ರಯತ್ನಗಳನ್ನು ಆನ್ ಇಡಿ.
OpenAILikeEmbeddingಡೀಫಾಲ್ಟ್ ಆಗಿ 10 ಬಾರಿ ಮರುಪ್ರಯತ್ನಿಸುತ್ತದೆ. ದೀರ್ಘ ಇನ್ಜೆಶನ್ ಕೆಲಸಗಳಿಗೆ ಈ ಮೌಲ್ಯವನ್ನು ಇರಿಸಿ. - ಭಾಗಗಳಲ್ಲಿ ಇನ್ಜೆಸ್ಟ್ ಮಾಡಿ. ಸಾವಿರಾರು ಫೈಲ್ಗಳಿಗೆ, ಒಂದು ಸಮಯದಲ್ಲಿ ಒಂದು ಫೋಲ್ಡರ್ ಇನ್ಜೆಸ್ಟ್ ಮಾಡಿ.
ಪ್ರಶ್ನೆಗಳು ಇನ್ಜೆಶನ್ಗಿಂತ ಅಗ್ಗ. ಪ್ರತಿ ಪ್ರಶ್ನೆ ಒಂದು ಎಂಬೆಡಿಂಗ್ ವಿನಂತಿ ಮತ್ತು ಒಂದು ಚಾಟ್ ವಿನಂತಿಯನ್ನು ಬಳಸುತ್ತದೆ. 1,024 ಟೋಕನ್ಗಳ ನಾಲ್ಕು ತುಂಡುಗಳಿರುವ ಚಾಟ್ ವಿನಂತಿ ಸುಮಾರು 5,000 ಟೋಕನ್ ಕಳುಹಿಸುತ್ತದೆ. ಕಡಿಮೆ ನಿಮಿಷದ ಟೋಕನ್ ಮಿತಿಗಳಿರುವ ಉಚಿತ ಶ್ರೇಣಿಗಳು ಇದನ್ನು ತಿರಸ್ಕರಿಸಬಹುದು. ನಂತರ FreeLLMAPI ಮುಂದಿನ ಪ್ರೊವೈಡರ್ ಅನ್ನು ಪ್ರಯತ್ನಿಸುತ್ತದೆ.
ದೋಷ ನಿವಾರಣೆ
| ಸಮಸ್ಯೆ | ಕಾರಣ | ಪರಿಹಾರ |
|---|---|---|
Unknown model 'auto' | ನೀವು OpenAI ಕ್ಲಾಸ್ ಬಳಸಿದ್ದೀರಿ | OpenAILike ಬಳಸಿ |
ವಿನಂತಿಗಳು /v1/completions ಗೆ ಹೋಗುತ್ತವೆ | is_chat_model ಹೊಂದಿಸಿಲ್ಲ | is_chat_model=True ಹೊಂದಿಸಿ |
| ಏಜೆಂಟ್ ಟೂಲ್ಗಳನ್ನು ಕರೆಯುವುದಿಲ್ಲ | is_function_calling_model ಆಫ್ ಆಗಿದೆ, ಅಥವಾ ಮಾಡೆಲ್ಗೆ ಟೂಲ್ ಕರೆ ಇಲ್ಲ | ಅದನ್ನು True ಗೆ ಹೊಂದಿಸಿ ಮತ್ತು ಟೂಲ್ಸ್ ಪ್ರೊಫೈಲ್ ಬಳಸಿ |
| ಇನ್ಜೆಶನ್ ಸಮಯದಲ್ಲಿ ದೋಷ 429 | ಎಲ್ಲಾ ಪ್ರೊವೈಡರ್ಗಳಲ್ಲಿ ಎಂಬೆಡಿಂಗ್ ಕುಟುಂಬ ಮಿತಿ ತಲುಪಿದೆ | ದೊಡ್ಡ ಬ್ಯಾಚ್ಗಳನ್ನು ಬಳಸಿ, Retry-After ಗಾಗಿ ಕಾಯಿರಿ ಮತ್ತು ಮತ್ತೆ ಚಲಾಯಿಸಿ |
| ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಬದಲಾವಣೆಯ ನಂತರ ಕೆಟ್ಟ ಉತ್ತರಗಳು | ಒಂದೇ ಇಂಡೆಕ್ಸ್ನಲ್ಲಿ ಎರಡು ಕುಟುಂಬಗಳ ವೆಕ್ಟರ್ಗಳು | ಉಳಿಸಿದ ಇಂಡೆಕ್ಸ್ ಅಳಿಸಿ ಮತ್ತು ಮತ್ತೆ ನಿರ್ಮಿಸಿ |
| ಕಾಂಟೆಕ್ಸ್ಟ್ ಉದ್ದದ ದೋಷ | context_window ಉತ್ತರಿಸಿದ ಮಾಡೆಲ್ಗಿಂತ ದೊಡ್ಡದು | ಚಿಕ್ಕ ಮೌಲ್ಯ ಹೊಂದಿಸಿ, ಅಥವಾ ದೀರ್ಘ-ಕಾಂಟೆಕ್ಸ್ಟ್ ಪ್ರೊಫೈಲ್ ಬಳಸಿ |
ಯಾವ ಪ್ರೊವೈಡರ್ ವಿನಂತಿಗೆ ಉತ್ತರಿಸಿತು ಎಂದು ನೋಡಲು FreeLLMAPI ಡ್ಯಾಶ್ಬೋರ್ಡ್ ಬಳಸಿ. Analytics ಪುಟವು ಪ್ರತಿ ಪ್ರೊವೈಡರ್ ಮತ್ತು ಮಾಡೆಲ್ಗೆ ವಿನಂತಿಗಳು, ಲೇಟೆನ್ಸಿ ಮತ್ತು ದೋಷಗಳನ್ನು ತೋರಿಸುತ್ತದೆ. ಪ್ರತಿ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲೂ X-Routed-Via ಹೆಡರ್ ಇರುತ್ತದೆ. ರೂಟರ್ ಪ್ರೊವೈಡರ್ ಬದಲಿಸಿದರೆ, X-Fallback-Trail ಹೆಡರ್ ವಿಫಲವಾದ ಪ್ರತಿ ಪ್ರಯತ್ನ ಮತ್ತು ಕಾರಣವನ್ನು ಹೆಸರಿಸುತ್ತದೆ.
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
ಉಚಿತ LLM ಜೊತೆ LlamaIndex ಬಳಸಬಹುದೇ?
ಹೌದು. OpenAILike ಅನ್ನು api_base ಗೆ OpenAI-ಹೊಂದಾಣಿಕೆಯ URL ಹೊಂದಿಸಿ ಬಳಸಿ. FreeLLMAPI ಅನೇಕ ಉಚಿತ ಪ್ರೊವೈಡರ್ ಶ್ರೇಣಿಗಳಿಗೆ ಒಂದೇ URL ನೀಡುತ್ತದೆ. ಪ್ರತಿ ಶ್ರೇಣಿಗೆ ತನ್ನದೇ ಮಿತಿಗಳಿವೆ.
LlamaIndex ನಲ್ಲಿ OpenAI ಮತ್ತು OpenAILike ನಡುವಿನ ವ್ಯತ್ಯಾಸವೇನು?
OpenAI ಕ್ಲಾಸ್ ಮಾಡೆಲ್ ಹೆಸರುಗಳನ್ನು OpenAI ಮಾಡೆಲ್ಗಳೊಂದಿಗೆ ಪರಿಶೀಲಿಸುತ್ತದೆ. OpenAILike ಯಾವುದೇ ಮಾಡೆಲ್ ಹೆಸರನ್ನು ಸ್ವೀಕರಿಸುತ್ತದೆ. ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ ಮತ್ತು ಚಾಟ್ ಹಾಗೂ ಫಂಕ್ಷನ್-ಕರೆ ಫ್ಲ್ಯಾಗ್ಗಳನ್ನು ನೀವೇ ಹೊಂದಿಸುತ್ತೀರಿ.
LlamaIndex ಗೆ ಯಾವ ಉಚಿತ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಉತ್ತಮ?
ನಿಮ್ಮ ಇನ್ಜೆಶನ್ಗೆ ಸಾಕಷ್ಟು ಉಚಿತ ವಿನಂತಿಗಳಿರುವ ಕುಟುಂಬವನ್ನು ಆರಿಸಿ, ಮತ್ತು ಇಡೀ ಇಂಡೆಕ್ಸ್ಗೆ ಅದನ್ನೇ ಇರಿಸಿ. bge-m3 ಕುಟುಂಬ ಹಲವು ಪ್ರೊವೈಡರ್ಗಳಲ್ಲಿ ಉಚಿತವಾಗಿದೆ, ಆದ್ದರಿಂದ ಫೇಲ್ಓವರ್ ಅವುಗಳ ನಡುವೆ ಚಲಿಸಬಹುದು.
ಉಚಿತ ಮಾಡೆಲ್ಗಳೊಂದಿಗೆ FunctionAgent ಕೆಲಸ ಮಾಡುತ್ತದೆಯೇ?
ಹೌದು, ಮಾಡೆಲ್ ಟೂಲ್ ಕರೆಯನ್ನು ಬೆಂಬಲಿಸಿದರೆ ಮತ್ತು ನೀವು is_function_calling_model=True ಹೊಂದಿಸಿದರೆ. ಟೂಲ್-ಕರೆ ಮಾಡೆಲ್ಗಳನ್ನು ಮಾತ್ರ ಹೊಂದಿರುವ ಫಾಲ್ಬ್ಯಾಕ್ ಸರಣಿ ಪ್ರೊಫೈಲ್ ಬಳಸಿ.
LlamaIndex ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸುವಾಗ ರೇಟ್ ಮಿತಿಗಳನ್ನು ಹೇಗೆ ತಪ್ಪಿಸುವುದು?
ದೊಡ್ಡ ತುಂಡುಗಳನ್ನು ಬಳಸಿ, embed_batch_size ಅನ್ನು 16 ಅಥವಾ ಹೆಚ್ಚಿಗೆ ಹೊಂದಿಸಿ, ಇಂಡೆಕ್ಸ್ ಉಳಿಸಿ ಮತ್ತು ದೊಡ್ಡ ಫೋಲ್ಡರ್ಗಳನ್ನು ಭಾಗಗಳಲ್ಲಿ ಇನ್ಜೆಸ್ಟ್ ಮಾಡಿ.
ಸಂಬಂಧಿತ ಮಾರ್ಗದರ್ಶಿಗಳು
- RAG ಗಾಗಿ ಉಚಿತ LLM API
- ಉಚಿತ ಎಂಬೆಡಿಂಗ್ಸ್ API
- LangChain ಗಾಗಿ ಉಚಿತ LLM API
- ಪೈಥಾನ್ನಲ್ಲಿ ಉಚಿತ LLM API
- 1 ಮಿಲಿಯನ್ ಟೋಕನ್ ಸಂದರ್ಭದೊಂದಿಗೆ ಉಚಿತ LLM API
ಮೂಲಗಳು
- LlamaIndex: llama-index-llms-openai-like README (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)
- LlamaIndex: llama-index-embeddings-openai-like source (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)
- LlamaIndex: FunctionAgent (agent workflow) source (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)