LLM رایگان برای LlamaIndex
LlamaIndex دو کلاس برای APIهای سازگار با OpenAI دارد: OpenAILike برای گفتگو و OpenAILikeEmbedding برای embedding. این راهنما هر دو را به FreeLLMAPI وصل میکند که 45 سطح رایگان ارائهدهنده را پشت یک کلید گردآوری میکند. شما یک فهرست تولید با بازیابی (RAG) میسازید، آن را پرسوجو میکنید و یک عامل اضافه میکنید. کد محدودیتهای نرخ را مدیریت میکند.
کد، نام مدلها و برچسبهای زندهٔ کاتالوگ به زبان انگلیسی نمایش داده میشوند.
نصب بستهها
FreeLLMAPI را نصب کنید و کلیدهای رایگان دو یا چند ارائهدهنده را در صفحه Keys داشبورد اضافه کنید. کلید یکپارچه را کپی کنید. سپس بستههای LlamaIndex را نصب کنید.
نصب
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>کلاس ساده OpenAI از llama-index-llms-openai را با نام مدلهایی که OpenAI نمیشناسد استفاده نکنید. آن کلاس نام مدل و اندازه زمینه را با فهرستی از مدلهای OpenAI بررسی میکند. OpenAILike این بررسی را انجام نمیدهد، پس این مقادیر را خودتان تنظیم میکنید.
پیکربندی LLM و مدل embedding
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: بدون آن، LlamaIndex درخواستها را به نقطه پایانی قدیمی completions میفرستد.
- context_window: LlamaIndex از این مقدار استفاده میکند تا تعیین کند چند تکه بازیابیشده در پرامپت جا میشود. با
auto، مسیریاب ممکن است مدلهای متفاوتی انتخاب کند. کوچکترین پنجره زمینه در زنجیره خود را استفاده کنید. - is_function_calling_model=True: فقط وقتی آن را تنظیم کنید که زنجیره شما مدلهای با فراخوانی ابزار دارد.
- embed_batch_size: هر دسته یک درخواست است. دستههای بزرگتر درخواست کمتری در دقیقه مصرف میکنند.
یک پرامپت RAG چند تکه بازیابیشده را حمل میکند، پس مدل گفتگو به جا برای آنها نیاز دارد. یک پروفایل زنجیره پشتیبان با مدلهای زمینه بلند برای RAG بسازید. سپس model="auto:<profile>" را تنظیم کنید و context_window را روی کوچکترین پنجره در آن پروفایل بگذارید. این مدلهای رایگان امروز بزرگترین پنجرههای زمینه را دارند:
| مدل | رایگان در | متن ورودی | محدودیتهای رایگان (بهترین پیشنهاد) | ابزارها | بینایی |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | خیر | خیر |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 درخواست در دقیقه 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | بله | بله |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 درخواست در دقیقه 20 درخواست در روز 250,000 توکن در دقیقه ~3M | بله | بله |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 درخواست در دقیقه 50 درخواست در روز Shared rate limit | بله | خیر |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | خیر | خیر |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 درخواست در دقیقه 20 درخواست در روز 250,000 توکن در دقیقه ~3M | بله | بله |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 درخواست در روز Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | خیر | خیر |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 درخواست در دقیقه 20 درخواست در روز 250,000 توکن در دقیقه ~3M | بله | بله |
نمایش 8 مدل رایگان مطابق از 115 مدل. مشاهده همه مدلها.
دادههای زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسیشده در 2026-11-19). محدودیتهای رایگان اغلب تغییر میکنند. کاتالوگ هر روز بررسی میشود.
برای اینکه یک کاربر روی یک مدل بماند، هدر X-Session-Id بفرستید. OpenAILike مقدار default_headers را میپذیرد، برای مثال default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI یک جلسه را 30 دقیقه روی همان مدل نگه میدارد. این کار در یک گفتگو پاسخها را با سبک یکسان میدهد.
ساخت و پرسوجوی یک فهرست RAG
این اسکریپت فایلها را از یک پوشه میخواند، embedding میسازد، فهرست را ذخیره میکند و به یک پرسش پاسخ میدهد. یک بار اجرا کنید تا فهرست ساخته شود. اجراهای بعدی فهرست ذخیرهشده را بار میکنند و فایلها را دوباره embedding نمیکنند.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage را حذف کنید و فهرست را دوباره بسازید.این مدلهای embedding در کاتالوگ امروز رایگان هستند. ستون ابعاد اندازه بردار هر خانواده را نشان میدهد.
| مدل | ارائهدهنده | ابعاد | حداکثر ورودی | محدودیت رایگان |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
دادههای زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسیشده در 2026-11-19). محدودیتهای رایگان اغلب تغییر میکنند. کاتالوگ هر روز بررسی میشود.
افزودن یک عامل با FunctionAgent
FunctionAgent از فراخوانی ابزار استفاده میکند. میتوانید موتور پرسوجو را به عنوان ابزار به آن بدهید و توابع Python خودتان را اضافه کنید.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())برای کار عامل، مدلهایی با فراخوانی ابزار انتخاب کنید. یک پروفایل زنجیره پشتیبان فقط با این مدلها بسازید و از auto:<profile> به عنوان نام مدل استفاده کنید.
| مدل | رایگان در | متن ورودی | محدودیتهای رایگان (بهترین پیشنهاد) | ابزارها | بینایی |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 درخواست در دقیقه 1 req/min per model | بله | خیر |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 درخواست در دقیقه 40 RPM | بله | بله |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | بله | بله |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | بله | خیر |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | بله | بله |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 درخواست در دقیقه 20 درخواست در روز 250,000 توکن در دقیقه ~3M | بله | بله |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | بله | بله |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 درخواست در دقیقه 50 درخواست در روز 50 req/day account-wide (1,000 after a $10 purchase) | بله | بله |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 درخواست در دقیقه 50 درخواست در روز Shared rate limit | بله | خیر |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 درخواست در دقیقه 250 درخواست در روز 70,000 توکن در دقیقه ~6M | بله | بله |
نمایش 10 مدل رایگان مطابق از 109 مدل. مشاهده همه مدلها.
دادههای زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسیشده در 2026-11-19). محدودیتهای رایگان اغلب تغییر میکنند. کاتالوگ هر روز بررسی میشود.
نگه داشتن ورود داده در محدودیتهای رایگان
ورود داده در مدت کوتاه درخواستهای embedding زیادی میفرستد. سطوح رایگان embedding محدودیتهای پایینی دارند. برای مثال، برخی 10 درخواست در دقیقه مجاز میکنند و برخی فراخوانیها را در ماه میشمارند. ورود اولیه را پیش از شروع برنامهریزی کنید.
- از تکههای بزرگ استفاده کنید. تکههای کمتر یعنی بردار کمتر و درخواست کمتر. اندازه تکه نزدیک 1024 توکن شروع خوبی است.
- از دستهها استفاده کنید.
embed_batch_sizeرا روی 16 یا بیشتر تنظیم کنید. آنگاه یک درخواست تکههای زیادی را حمل میکند. - فهرست را ذخیره کنید. فهرست را بعد از اجرای اول پایدار کنید. همان فایلها را دوباره embedding نکنید.
- تلاش مجدد را روشن نگه دارید.
OpenAILikeEmbeddingبهطور پیشفرض تا 10 بار دوباره تلاش میکند. برای کارهای طولانی ورود داده این مقدار را نگه دارید. - ورود داده را در بخشها انجام دهید. برای هزاران فایل، هر بار یک پوشه را وارد کنید.
پرسوجوها ارزانتر از ورود داده هستند. هر پرسوجو یک درخواست embedding و یک درخواست گفتگو مصرف میکند. یک درخواست گفتگو با چهار تکه 1024 توکنی حدود 5,000 توکن میفرستد. سطوح رایگان با محدودیت پایین توکن در دقیقه ممکن است این را رد کنند. آنگاه FreeLLMAPI ارائهدهنده بعدی را امتحان میکند.
عیبیابی
| مشکل | علت | راهحل |
|---|---|---|
Unknown model 'auto' | از کلاس OpenAI استفاده کردهاید | از OpenAILike استفاده کنید |
درخواستها به /v1/completions میروند | is_chat_model تنظیم نشده است | is_chat_model=True را تنظیم کنید |
| عامل ابزارها را صدا نمیزند | is_function_calling_model خاموش است، یا مدل فراخوانی ابزار ندارد | آن را روی True تنظیم کنید و از یک پروفایل ابزار استفاده کنید |
| خطای 429 در ورود داده | خانواده embedding روی همه ارائهدهندگان به حد خود رسیده است | دستههای بزرگتر استفاده کنید، منتظر Retry-After بمانید و دوباره اجرا کنید |
| پاسخهای بد بعد از تغییر مدل embedding | بردارهای دو خانواده در یک فهرست | فهرست ذخیرهشده را حذف کنید و دوباره بسازید |
| خطای طول زمینه | context_window از مدلی که پاسخ داده بزرگتر است | مقدار کوچکتری تنظیم کنید یا از یک پروفایل زمینه بلند استفاده کنید |
برای دیدن اینکه کدام ارائهدهنده به یک درخواست پاسخ داده، از داشبورد FreeLLMAPI استفاده کنید. صفحه Analytics درخواستها، تأخیر و خطاها را برای هر ارائهدهنده و مدل نشان میدهد. هر پاسخ هم یک هدر X-Routed-Via دارد. اگر مسیریاب ارائهدهنده را تغییر داده باشد، هدر X-Fallback-Trail هر تلاش ناموفق و دلیل آن را نشان میدهد.
پرسشهای متداول
آیا میتوانم LlamaIndex را با یک LLM رایگان استفاده کنم؟
بله. از OpenAILike با api_base تنظیمشده روی یک نشانی سازگار با OpenAI استفاده کنید. FreeLLMAPI یک نشانی برای چند سطح رایگان ارائهدهنده میدهد. هر سطح محدودیتهای خودش را دارد.
تفاوت OpenAI و OpenAILike در LlamaIndex چیست؟
کلاس OpenAI نام مدلها را با مدلهای OpenAI بررسی میکند. OpenAILike هر نام مدلی را میپذیرد. پنجره زمینه و پرچمهای گفتگو و فراخوانی تابع را خودتان تنظیم میکنید.
کدام مدل embedding رایگان برای LlamaIndex بهترین است؟
خانوادهای را انتخاب کنید که درخواست رایگان کافی برای ورود داده شما داشته باشد و آن را برای کل فهرست نگه دارید. خانواده bge-m3 روی چند ارائهدهنده رایگان است، پس جایگزینی میتواند بین آنها جابهجا شود.
آیا FunctionAgent با مدلهای رایگان کار میکند؟
بله، اگر مدل از فراخوانی ابزار پشتیبانی کند و is_function_calling_model=True را تنظیم کنید. از یک پروفایل زنجیره پشتیبان استفاده کنید که فقط مدلهای با فراخوانی ابزار دارد.
چگونه هنگام ساخت یک فهرست LlamaIndex از محدودیتهای نرخ دوری کنم؟
از تکههای بزرگ استفاده کنید، embed_batch_size را روی 16 یا بیشتر تنظیم کنید، فهرست را پایدار نگه دارید و پوشههای بزرگ را در بخشها وارد کنید.
راهنماهای مرتبط
- API رایگان LLM برای RAG
- API رایگان embedding
- API رایگان LLM برای LangChain
- API رایگان LLM در Python
- API رایگان LLM با زمینه 1 میلیون توکن
منابع
- LlamaIndex: llama-index-llms-openai-like README (بررسیشده در 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (بررسیشده در 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (بررسیشده در 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (بررسیشده در 20 November 2026)