Безкоштовний LLM для LlamaIndex
LlamaIndex має два класи для API, сумісних з OpenAI: OpenAILike для чату і OpenAILikeEmbedding для ембедінгів. Цей посібник спрямовує обидва на FreeLLMAPI, який об'єднує 45 безкоштовних рівнів провайдерів за одним ключем. Ви створюєте індекс генерації з доповненням пошуком (RAG), запитуєте його і додаєте агента. Код враховує ліміти частоти.
Код, назви моделей і мітки живого каталогу показано англійською.
Встановіть пакети
Встановіть FreeLLMAPI і додайте безкоштовні ключі від двох або більше провайдерів на сторінці Keys панелі керування. Скопіюйте уніфікований ключ. Потім встановіть пакети LlamaIndex.
Встановлення
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Не використовуйте звичайний клас OpenAI з llama-index-llms-openai з назвами моделей, які OpenAI не знає. Цей клас перевіряє назви моделей і розміри контексту за списком моделей OpenAI. OpenAILike цього не робить, тому ці значення ви задаєте самі.
Налаштуйте LLM і модель ембедінгів
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: без нього LlamaIndex надсилає запити на застарілу кінцеву точку доповнень.
- context_window: LlamaIndex використовує це значення, щоб вирішити, скільки знайдених фрагментів вміщується в промпт. З
autoмаршрутизатор може обирати різні моделі. Використовуйте найменше вікно контексту у вашому ланцюжку. - is_function_calling_model=True: встановлюйте лише тоді, коли ваш ланцюжок має моделі з tool calling.
- embed_batch_size: кожен пакет це один запит. Більші пакети використовують менше запитів за хвилину.
Промпт RAG містить кілька знайдених фрагментів, тому модель для чату потребує місця для них. Створіть профіль ланцюжка резервних моделей з моделями довгого контексту для RAG. Потім встановіть model="auto:<profile>" і підніміть context_window до найменшого вікна в цьому профілі. Ці безкоштовні моделі мають найбільші вікна контексту на сьогодні:
| Модель | Безкоштовно на | Контекст | Безкоштовні ліміти (найкращі) | Інструменти | Зображення |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Ні | Ні |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 запитів/хв 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Так | Так |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 запитів/хв 50 запитів/добу Shared rate limit | Так | Ні |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Ні | Ні |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 запитів/добу Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | Ні | Ні |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
Показано 8 із 115 відповідних безкоштовних моделей. Переглянути всі моделі.
Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.
Щоб один користувач залишався на одній моделі, надсилайте заголовок X-Session-Id. OpenAILike приймає default_headers, наприклад default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI утримує сесію на одній моделі 30 хвилин. Так відповіді в одній розмові мають однаковий стиль.
Створіть і запитуйте індекс RAG
Скрипт читає файли з папки, створює ембедінги, зберігає індекс і відповідає на запитання. Запустіть його один раз, щоб створити індекс. Наступні запуски завантажують збережений індекс і не створюють ембедінги для файлів знову.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage і створіть індекс знову.Ці моделі ембедінгів безкоштовні в сьогоднішньому каталозі. Стовпець розмірностей показує розмір вектора для кожного сімейства.
| Модель | Постачальник | Розмірність | Макс. вхід | Безкоштовний ліміт |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.
Додайте агента з FunctionAgent
FunctionAgent використовує tool calling. Ви можете передати йому движок запитів як інструмент і додати власні функції Python.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())Для роботи агента обирайте моделі з tool calling. Створіть профіль ланцюжка резервних моделей лише з цими моделями і використовуйте auto:<profile> як назву моделі.
| Модель | Безкоштовно на | Контекст | Безкоштовні ліміти (найкращі) | Інструменти | Зображення |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 запитів/хв 1 req/min per model | Так | Ні |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 запитів/хв 40 RPM | Так | Так |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Так | Так |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Так | Ні |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Так | Так |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Так | Так |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 запитів/хв 50 запитів/добу 50 req/day account-wide (1,000 after a $10 purchase) | Так | Так |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 запитів/хв 50 запитів/добу Shared rate limit | Так | Ні |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 запитів/хв 250 запитів/добу 70,000 токенів/хв ~6M | Так | Так |
Показано 10 із 109 відповідних безкоштовних моделей. Переглянути всі моделі.
Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.
Тримайте індексацію в межах безкоштовних лімітів
Індексація надсилає багато запитів на ембедінги за короткий час. Безкоштовні рівні ембедінгів мають низькі ліміти. Наприклад, деякі дозволяють 10 запитів за хвилину, а інші рахують виклики за місяць. Сплануйте першу індексацію, перш ніж її почати.
- Використовуйте великі фрагменти. Менше фрагментів означає менше векторів і менше запитів. Добрий початок це розмір фрагмента близько 1 024 токенів.
- Використовуйте пакети. Встановіть
embed_batch_sizeна 16 або більше. Тоді один запит містить багато фрагментів. - Зберігайте індекс. Збережіть індекс після першого запуску. Не створюйте ембедінги для тих самих файлів знову.
- Залиште повторні спроби увімкненими.
OpenAILikeEmbeddingза замовчуванням повторює спробу до 10 разів. Залиште це значення для довгих завдань індексації. - Індексуйте частинами. Для тисяч файлів індексуйте одну папку за раз.
Запити дешевші за індексацію. Кожен запит використовує один запит ембедінгу і один запит чату. Запит до чату з чотирма фрагментами по 1 024 токени надсилає близько 5 000 токенів. Безкоштовні рівні з низькими лімітами токенів за хвилину можуть його відхилити. Тоді FreeLLMAPI пробує наступного провайдера.
Усунення несправностей
| Проблема | Причина | Рішення |
|---|---|---|
Unknown model 'auto' | Ви використали клас OpenAI | Використовуйте OpenAILike |
Запити йдуть на /v1/completions | is_chat_model не задано | Встановіть is_chat_model=True |
| Агент не викликає інструменти | is_function_calling_model вимкнено або модель не має tool calling | Встановіть True і використовуйте профіль з інструментами |
| Помилка 429 під час індексації | Сімейство ембедінгів досягло ліміту у всіх провайдерів | Використовуйте більші пакети, дочекайтеся Retry-After і запустіть знову |
| Погані відповіді після зміни моделі ембедінгів | Вектори з двох сімейств в одному індексі | Видаліть збережений індекс і створіть його знову |
| Помилка довжини контексту | context_window більший за модель, яка відповіла | Встановіть менше значення або використовуйте профіль довгого контексту |
Щоб побачити, який провайдер відповів на запит, використовуйте панель керування FreeLLMAPI. Сторінка Analytics показує запити, затримку і помилки для кожного провайдера і моделі. Кожна відповідь також має заголовок X-Routed-Via. Якщо маршрутизатор змінив провайдера, заголовок X-Fallback-Trail називає кожну невдалу спробу і причину.
Часті запитання
Чи можна використовувати LlamaIndex з безкоштовним LLM?
Так. Використовуйте OpenAILike з api_base, який вказує на URL, сумісний з OpenAI. FreeLLMAPI дає один URL для багатьох безкоштовних рівнів провайдерів. Кожен рівень має власні ліміти.
Яка різниця між OpenAI і OpenAILike у LlamaIndex?
Клас OpenAI перевіряє назви моделей за моделями OpenAI. OpenAILike приймає будь-яку назву моделі. Ви самі задаєте вікно контексту і прапорці для чату і викликів функцій.
Яка безкоштовна модель ембедінгів найкраща для LlamaIndex?
Оберіть сімейство з достатньою кількістю безкоштовних запитів для вашої індексації і тримайте його для всього індексу. Сімейство bge-m3 безкоштовне у кількох провайдерів, тож резервний перехід може переходити між ними.
Чи працює FunctionAgent з безкоштовними моделями?
Так, якщо модель підтримує tool calling і ви встановили is_function_calling_model=True. Використовуйте профіль ланцюжка резервних моделей, що містить лише моделі з tool calling.
Як уникнути лімітів частоти під час створення індексу LlamaIndex?
Використовуйте великі фрагменти, встановіть embed_batch_size на 16 або більше, зберігайте індекс і індексуйте великі папки частинами.
Схожі посібники
- Безкоштовний LLM API для RAG
- Безкоштовний API ембедінгів
- Безкоштовний LLM API для LangChain
- Безкоштовний LLM API на Python
- Безкоштовний LLM API з контекстом 1 мільйон токенів
Джерела
- LlamaIndex: llama-index-llms-openai-like README (перевірено 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (перевірено 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (перевірено 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (перевірено 20 November 2026)