خانه / راهنماها / LLM رایگان برای LlamaIndex

LLM رایگان برای LlamaIndex

LlamaIndex دو کلاس برای APIهای سازگار با OpenAI دارد: OpenAILike برای گفتگو و OpenAILikeEmbedding برای embedding. این راهنما هر دو را به FreeLLMAPI وصل می‌کند که 45 سطح رایگان ارائه‌دهنده را پشت یک کلید گردآوری می‌کند. شما یک فهرست تولید با بازیابی (RAG) می‌سازید، آن را پرس‌وجو می‌کنید و یک عامل اضافه می‌کنید. کد محدودیت‌های نرخ را مدیریت می‌کند.

کد، نام مدل‌ها و برچسب‌های زندهٔ کاتالوگ به زبان انگلیسی نمایش داده می‌شوند.

نصب بسته‌ها

FreeLLMAPI را نصب کنید و کلیدهای رایگان دو یا چند ارائه‌دهنده را در صفحه Keys داشبورد اضافه کنید. کلید یکپارچه را کپی کنید. سپس بسته‌های LlamaIndex را نصب کنید.

نصب

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

کلاس ساده OpenAI از llama-index-llms-openai را با نام مدل‌هایی که OpenAI نمی‌شناسد استفاده نکنید. آن کلاس نام مدل و اندازه زمینه را با فهرستی از مدل‌های OpenAI بررسی می‌کند. OpenAILike این بررسی را انجام نمی‌دهد، پس این مقادیر را خودتان تنظیم می‌کنید.

پیکربندی LLM و مدل embedding

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: بدون آن، LlamaIndex درخواست‌ها را به نقطه پایانی قدیمی completions می‌فرستد.
  • context_window: LlamaIndex از این مقدار استفاده می‌کند تا تعیین کند چند تکه بازیابی‌شده در پرامپت جا می‌شود. با auto، مسیریاب ممکن است مدل‌های متفاوتی انتخاب کند. کوچک‌ترین پنجره زمینه در زنجیره خود را استفاده کنید.
  • is_function_calling_model=True: فقط وقتی آن را تنظیم کنید که زنجیره شما مدل‌های با فراخوانی ابزار دارد.
  • embed_batch_size: هر دسته یک درخواست است. دسته‌های بزرگ‌تر درخواست کمتری در دقیقه مصرف می‌کنند.

یک پرامپت RAG چند تکه بازیابی‌شده را حمل می‌کند، پس مدل گفتگو به جا برای آن‌ها نیاز دارد. یک پروفایل زنجیره پشتیبان با مدل‌های زمینه بلند برای RAG بسازید. سپس model="auto:<profile>" را تنظیم کنید و context_window را روی کوچک‌ترین پنجره در آن پروفایل بگذارید. این مدل‌های رایگان امروز بزرگ‌ترین پنجره‌های زمینه را دارند:

مدل‌های رایگان با بزرگ‌ترین پنجره‌های زمینه
مدلرایگان درمتن ورودیمحدودیت‌های رایگان (بهترین پیشنهاد)ابزارهابینایی
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsخیرخیر
Gemini 3.8 FlashAPINex, Google AI Studio1M5 درخواست در دقیقه
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
بلهبله
Gemini 3.7 FlashGoogle AI Studio1M10 درخواست در دقیقه
20 درخواست در روز
250,000 توکن در دقیقه
~3M
بلهبله
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 درخواست در دقیقه
50 درخواست در روز
Shared rate limit
بلهخیر
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetخیرخیر
Gemini 3.6 FlashGoogle AI Studio1M10 درخواست در دقیقه
20 درخواست در روز
250,000 توکن در دقیقه
~3M
بلهبله
GLM-5.2ModelScope, Router91M100 درخواست در روز
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
خیرخیر
Gemini 3.5 FlashGoogle AI Studio1M10 درخواست در دقیقه
20 درخواست در روز
250,000 توکن در دقیقه
~3M
بلهبله

نمایش 8 مدل رایگان مطابق از 115 مدل. مشاهده همه مدل‌ها.

داده‌های زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسی‌شده در 2026-11-19). محدودیت‌های رایگان اغلب تغییر می‌کنند. کاتالوگ هر روز بررسی می‌شود.

برای اینکه یک کاربر روی یک مدل بماند، هدر X-Session-Id بفرستید. OpenAILike مقدار default_headers را می‌پذیرد، برای مثال default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI یک جلسه را 30 دقیقه روی همان مدل نگه می‌دارد. این کار در یک گفتگو پاسخ‌ها را با سبک یکسان می‌دهد.

ساخت و پرس‌وجوی یک فهرست RAG

این اسکریپت فایل‌ها را از یک پوشه می‌خواند، embedding می‌سازد، فهرست را ذخیره می‌کند و به یک پرسش پاسخ می‌دهد. یک بار اجرا کنید تا فهرست ساخته شود. اجراهای بعدی فهرست ذخیره‌شده را بار می‌کنند و فایل‌ها را دوباره embedding نمی‌کنند.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
مهم: برای کل فهرست یک خانواده embedding نگه دارید. FreeLLMAPI هنگام جایگزینی هرگز مدل embedding را تغییر نمی‌دهد. فقط بین ارائه‌دهندگانی جابه‌جا می‌شود که همان خانواده را سرویس می‌دهند. اگر خانواده را تغییر دهید، ./storage را حذف کنید و فهرست را دوباره بسازید.

این مدل‌های embedding در کاتالوگ امروز رایگان هستند. ستون ابعاد اندازه بردار هر خانواده را نشان می‌دهد.

مدلارائه‌دهندهابعادحداکثر ورودیمحدودیت رایگان
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

داده‌های زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسی‌شده در 2026-11-19). محدودیت‌های رایگان اغلب تغییر می‌کنند. کاتالوگ هر روز بررسی می‌شود.

افزودن یک عامل با FunctionAgent

FunctionAgent از فراخوانی ابزار استفاده می‌کند. می‌توانید موتور پرس‌وجو را به عنوان ابزار به آن بدهید و توابع Python خودتان را اضافه کنید.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

برای کار عامل، مدل‌هایی با فراخوانی ابزار انتخاب کنید. یک پروفایل زنجیره پشتیبان فقط با این مدل‌ها بسازید و از auto:<profile> به عنوان نام مدل استفاده کنید.

مدل‌های رایگان با فراخوانی ابزار و زمینه 128K+
مدلرایگان درمتن ورودیمحدودیت‌های رایگان (بهترین پیشنهاد)ابزارهابینایی
GLM 5.3UnoRouter1M1 درخواست در دقیقه
1 req/min per model
بلهخیر
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 درخواست در دقیقه
40 RPM
بلهبله
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaبلهبله
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceبلهخیر
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditبلهبله
Gemini 3.7 FlashGoogle AI Studio1M10 درخواست در دقیقه
20 درخواست در روز
250,000 توکن در دقیقه
~3M
بلهبله
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditبلهبله
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 درخواست در دقیقه
50 درخواست در روز
50 req/day account-wide (1,000 after a $10 purchase)
بلهبله
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 درخواست در دقیقه
50 درخواست در روز
Shared rate limit
بلهخیر
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 درخواست در دقیقه
250 درخواست در روز
70,000 توکن در دقیقه
~6M
بلهبله

نمایش 10 مدل رایگان مطابق از 109 مدل. مشاهده همه مدل‌ها.

داده‌های زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسی‌شده در 2026-11-19). محدودیت‌های رایگان اغلب تغییر می‌کنند. کاتالوگ هر روز بررسی می‌شود.

نگه داشتن ورود داده در محدودیت‌های رایگان

ورود داده در مدت کوتاه درخواست‌های embedding زیادی می‌فرستد. سطوح رایگان embedding محدودیت‌های پایینی دارند. برای مثال، برخی 10 درخواست در دقیقه مجاز می‌کنند و برخی فراخوانی‌ها را در ماه می‌شمارند. ورود اولیه را پیش از شروع برنامه‌ریزی کنید.

  • از تکه‌های بزرگ استفاده کنید. تکه‌های کمتر یعنی بردار کمتر و درخواست کمتر. اندازه تکه نزدیک 1024 توکن شروع خوبی است.
  • از دسته‌ها استفاده کنید. embed_batch_size را روی 16 یا بیشتر تنظیم کنید. آنگاه یک درخواست تکه‌های زیادی را حمل می‌کند.
  • فهرست را ذخیره کنید. فهرست را بعد از اجرای اول پایدار کنید. همان فایل‌ها را دوباره embedding نکنید.
  • تلاش مجدد را روشن نگه دارید. OpenAILikeEmbedding به‌طور پیش‌فرض تا 10 بار دوباره تلاش می‌کند. برای کارهای طولانی ورود داده این مقدار را نگه دارید.
  • ورود داده را در بخش‌ها انجام دهید. برای هزاران فایل، هر بار یک پوشه را وارد کنید.

پرس‌وجوها ارزان‌تر از ورود داده هستند. هر پرس‌وجو یک درخواست embedding و یک درخواست گفتگو مصرف می‌کند. یک درخواست گفتگو با چهار تکه 1024 توکنی حدود 5,000 توکن می‌فرستد. سطوح رایگان با محدودیت پایین توکن در دقیقه ممکن است این را رد کنند. آنگاه FreeLLMAPI ارائه‌دهنده بعدی را امتحان می‌کند.

عیب‌یابی

مشکلعلتراه‌حل
Unknown model 'auto'از کلاس OpenAI استفاده کرده‌ایداز OpenAILike استفاده کنید
درخواست‌ها به /v1/completions می‌روندis_chat_model تنظیم نشده استis_chat_model=True را تنظیم کنید
عامل ابزارها را صدا نمی‌زندis_function_calling_model خاموش است، یا مدل فراخوانی ابزار نداردآن را روی True تنظیم کنید و از یک پروفایل ابزار استفاده کنید
خطای 429 در ورود دادهخانواده embedding روی همه ارائه‌دهندگان به حد خود رسیده استدسته‌های بزرگ‌تر استفاده کنید، منتظر Retry-After بمانید و دوباره اجرا کنید
پاسخ‌های بد بعد از تغییر مدل embeddingبردارهای دو خانواده در یک فهرستفهرست ذخیره‌شده را حذف کنید و دوباره بسازید
خطای طول زمینهcontext_window از مدلی که پاسخ داده بزرگ‌تر استمقدار کوچک‌تری تنظیم کنید یا از یک پروفایل زمینه بلند استفاده کنید

برای دیدن اینکه کدام ارائه‌دهنده به یک درخواست پاسخ داده، از داشبورد FreeLLMAPI استفاده کنید. صفحه Analytics درخواست‌ها، تأخیر و خطاها را برای هر ارائه‌دهنده و مدل نشان می‌دهد. هر پاسخ هم یک هدر X-Routed-Via دارد. اگر مسیریاب ارائه‌دهنده را تغییر داده باشد، هدر X-Fallback-Trail هر تلاش ناموفق و دلیل آن را نشان می‌دهد.

هر یک از این‌ها را با یک کلید استفاده کنید. FreeLLMAPI یک روتر متن‌باز و میزبانی‌شده روی سرور خودتان است. این روتر همه این سطوح رایگان را پشت یک نقطه پایانی سازگار با OpenAI قرار می‌دهد و وقتی یک سرویس به محدودیت نرخ برسد، به سرویس بعدی منتقل می‌شود. مرور کاتالوگ یا اجرای زنده.

پرسش‌های متداول

آیا می‌توانم LlamaIndex را با یک LLM رایگان استفاده کنم؟

بله. از OpenAILike با api_base تنظیم‌شده روی یک نشانی سازگار با OpenAI استفاده کنید. FreeLLMAPI یک نشانی برای چند سطح رایگان ارائه‌دهنده می‌دهد. هر سطح محدودیت‌های خودش را دارد.

تفاوت OpenAI و OpenAILike در LlamaIndex چیست؟

کلاس OpenAI نام مدل‌ها را با مدل‌های OpenAI بررسی می‌کند. OpenAILike هر نام مدلی را می‌پذیرد. پنجره زمینه و پرچم‌های گفتگو و فراخوانی تابع را خودتان تنظیم می‌کنید.

کدام مدل embedding رایگان برای LlamaIndex بهترین است؟

خانواده‌ای را انتخاب کنید که درخواست رایگان کافی برای ورود داده شما داشته باشد و آن را برای کل فهرست نگه دارید. خانواده bge-m3 روی چند ارائه‌دهنده رایگان است، پس جایگزینی می‌تواند بین آن‌ها جابه‌جا شود.

آیا FunctionAgent با مدل‌های رایگان کار می‌کند؟

بله، اگر مدل از فراخوانی ابزار پشتیبانی کند و is_function_calling_model=True را تنظیم کنید. از یک پروفایل زنجیره پشتیبان استفاده کنید که فقط مدل‌های با فراخوانی ابزار دارد.

چگونه هنگام ساخت یک فهرست LlamaIndex از محدودیت‌های نرخ دوری کنم؟

از تکه‌های بزرگ استفاده کنید، embed_batch_size را روی 16 یا بیشتر تنظیم کنید، فهرست را پایدار نگه دارید و پوشه‌های بزرگ را در بخش‌ها وارد کنید.

راهنماهای مرتبط

منابع

همه راهنماها · مرور همه مدل‌های رایگان