Бесплатный LLM для LlamaIndex
LlamaIndex имеет два класса для API, совместимых с OpenAI: OpenAILike для чата и OpenAILikeEmbedding для эмбеддингов. Это руководство направляет оба класса на FreeLLMAPI, который объединяет 45 бесплатных уровней провайдеров за одним ключом. Вы строите индекс генерации с дополнением через поиск (RAG), запрашиваете его и добавляете агента. Код учитывает лимиты частоты.
Код, названия моделей и метки живого каталога показаны на английском языке.
Установите пакеты
Установите FreeLLMAPI и добавьте бесплатные ключи от двух или более провайдеров на странице Keys панели управления. Скопируйте единый ключ. Затем установите пакеты LlamaIndex.
Установка
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Не используйте обычный класс OpenAI из llama-index-llms-openai с именами моделей, которые OpenAI не знает. Этот класс проверяет имена моделей и размеры контекста по списку моделей OpenAI. OpenAILike этого не делает, поэтому эти значения вы задаёте сами.
Настройте LLM и модель эмбеддингов
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: без этого параметра LlamaIndex отправляет запросы на устаревший эндпоинт completions.
- context_window: LlamaIndex использует это значение, чтобы решить, сколько найденных фрагментов помещается в промпт. С
autoмаршрутизатор может выбирать разные модели. Используйте наименьшее окно контекста в вашей цепочке. - is_function_calling_model=True: задавайте, только если в вашей цепочке есть модели с вызовом инструментов.
- embed_batch_size: каждый пакет это один запрос. Большие пакеты расходуют меньше запросов в минуту.
Промпт RAG содержит несколько найденных фрагментов, поэтому модели для чата нужно место для них. Создайте профиль цепочки запасных моделей с моделями длинного контекста для RAG. Затем задайте model="auto:<profile>" и увеличьте context_window до наименьшего окна в этом профиле. Сегодня у этих бесплатных моделей самые большие окна контекста:
| Модель | Бесплатно в | Контекст | Бесплатные лимиты (лучшее предложение) | Инструменты | Зрение |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Нет | Нет |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 запр./мин 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Да | Да |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 запр./мин 50 запр./день Shared rate limit | Да | Нет |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Нет | Нет |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 запр./день Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | Нет | Нет |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
Показано 8 из 115 подходящих бесплатных моделей. Смотреть все модели.
Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.
Чтобы один пользователь оставался на одной модели, отправляйте заголовок X-Session-Id. OpenAILike принимает default_headers, например default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI держит сессию на одной модели 30 минут. Так ответы в одном чате сохраняют один стиль.
Постройте индекс RAG и запросите его
Скрипт читает файлы из папки, получает эмбеддинги, сохраняет индекс и отвечает на вопрос. Запустите его один раз, чтобы построить индекс. Последующие запуски загружают сохранённый индекс и не получают эмбеддинги файлов заново.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage и постройте индекс заново.Эти модели эмбеддингов бесплатны в сегодняшнем каталоге. Столбец dimensions показывает размер вектора каждого семейства.
| Модель | Провайдер | Размерности | Макс. вход | Бесплатный лимит |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.
Добавьте агента с FunctionAgent
FunctionAgent использует вызов инструментов. Вы можете передать ему движок запросов как инструмент и добавить свои функции на Python.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())Для работы агента выбирайте модели с вызовом инструментов. Создайте профиль цепочки запасных моделей только с этими моделями и используйте auto:<profile> как имя модели.
| Модель | Бесплатно в | Контекст | Бесплатные лимиты (лучшее предложение) | Инструменты | Зрение |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 запр./мин 1 req/min per model | Да | Нет |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 запр./мин 40 RPM | Да | Да |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Да | Да |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Да | Нет |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Да | Да |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Да | Да |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 запр./мин 50 запр./день 50 req/day account-wide (1,000 after a $10 purchase) | Да | Да |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 запр./мин 50 запр./день Shared rate limit | Да | Нет |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 запр./мин 250 запр./день 70,000 токенов/мин ~6M | Да | Да |
Показано 10 из 109 подходящих бесплатных моделей. Смотреть все модели.
Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.
Уложите загрузку в бесплатные лимиты
Загрузка отправляет много запросов эмбеддингов за короткое время. У бесплатных уровней эмбеддингов низкие лимиты. Например, некоторые разрешают 10 запросов в минуту, а другие считают вызовы в месяц. Спланируйте первую загрузку до её запуска.
- Используйте большие фрагменты. Меньше фрагментов означает меньше векторов и меньше запросов. Размер фрагмента около 1,024 токенов хорошее начало.
- Используйте пакеты. Задайте
embed_batch_sizeравным 16 или больше. Тогда один запрос несёт много фрагментов. - Сохраняйте индекс. Сохраните индекс после первого запуска. Не получайте эмбеддинги тех же файлов снова.
- Оставьте повторные попытки включёнными.
OpenAILikeEmbeddingпо умолчанию повторяет запрос до 10 раз. Оставьте это значение для долгих задач загрузки. - Загружайте по частям. Для тысяч файлов загружайте по одной папке за раз.
Запросы дешевле загрузки. Каждый запрос использует один запрос эмбеддинга и один запрос чата. Запрос чата с четырьмя фрагментами по 1,024 токена отправляет около 5,000 токенов. Бесплатные уровни с низким лимитом токенов в минуту могут его отклонить. Тогда FreeLLMAPI пробует следующего провайдера.
Устранение неполадок
| Проблема | Причина | Решение |
|---|---|---|
Unknown model 'auto' | Вы использовали класс OpenAI | Используйте OpenAILike |
Запросы идут на /v1/completions | Не задан is_chat_model | Задайте is_chat_model=True |
| Агент не вызывает инструменты | is_function_calling_model выключен или модель не поддерживает вызов инструментов | Задайте True и используйте профиль с инструментами |
| Ошибка 429 во время загрузки | Семейство эмбеддингов достигло лимита у всех провайдеров | Используйте большие пакеты, дождитесь Retry-After и запустите снова |
| Плохие ответы после смены модели эмбеддингов | Векторы из двух семейств в одном индексе | Удалите сохранённый индекс и постройте его заново |
| Ошибка длины контекста | context_window больше, чем у модели, которая ответила | Задайте меньшее значение или используйте профиль длинного контекста |
Чтобы узнать, какой провайдер ответил на запрос, используйте панель управления FreeLLMAPI. На странице Analytics показаны запросы, задержка и ошибки для каждого провайдера и модели. Каждый ответ также содержит заголовок X-Routed-Via. Если маршрутизатор сменил провайдера, заголовок X-Fallback-Trail называет каждую неудачную попытку и её причину.
Часто задаваемые вопросы
Можно ли использовать LlamaIndex с бесплатным LLM?
Да. Используйте OpenAILike с api_base, указывающим на URL, совместимый с OpenAI. FreeLLMAPI даёт один URL для многих бесплатных уровней провайдеров. У каждого уровня свои лимиты.
В чём разница между OpenAI и OpenAILike в LlamaIndex?
Класс OpenAI проверяет имена моделей по моделям OpenAI. OpenAILike принимает любое имя модели. Окно контекста и флаги чата и вызова функций вы задаёте сами.
Какая бесплатная модель эмбеддингов лучше всего подходит для LlamaIndex?
Выберите семейство с достаточным числом бесплатных запросов для вашей загрузки и сохраняйте его для всего индекса. Семейство bge-m3 бесплатно у нескольких провайдеров, поэтому переключение может проходить между ними.
Работает ли FunctionAgent с бесплатными моделями?
Да, если модель поддерживает вызов инструментов и вы задали is_function_calling_model=True. Используйте профиль цепочки запасных моделей, в котором есть только модели с вызовом инструментов.
Как избежать лимитов частоты при построении индекса LlamaIndex?
Используйте большие фрагменты, задайте embed_batch_size равным 16 или больше, сохраняйте индекс и загружайте большие папки по частям.
Похожие руководства
- Бесплатный LLM API для RAG
- Бесплатный API эмбеддингов
- Бесплатный LLM API для LangChain
- Бесплатный LLM API на Python
- Бесплатный LLM API с контекстом 1 миллион токенов
Источники
- LlamaIndex: llama-index-llms-openai-like README (проверено 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (проверено 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (проверено 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (проверено 20 November 2026)