Главная / Руководства / Бесплатный LLM для LlamaIndex

Бесплатный LLM для LlamaIndex

LlamaIndex имеет два класса для API, совместимых с OpenAI: OpenAILike для чата и OpenAILikeEmbedding для эмбеддингов. Это руководство направляет оба класса на FreeLLMAPI, который объединяет 45 бесплатных уровней провайдеров за одним ключом. Вы строите индекс генерации с дополнением через поиск (RAG), запрашиваете его и добавляете агента. Код учитывает лимиты частоты.

Код, названия моделей и метки живого каталога показаны на английском языке.

Установите пакеты

Установите FreeLLMAPI и добавьте бесплатные ключи от двух или более провайдеров на странице Keys панели управления. Скопируйте единый ключ. Затем установите пакеты LlamaIndex.

Установка

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Не используйте обычный класс OpenAI из llama-index-llms-openai с именами моделей, которые OpenAI не знает. Этот класс проверяет имена моделей и размеры контекста по списку моделей OpenAI. OpenAILike этого не делает, поэтому эти значения вы задаёте сами.

Настройте LLM и модель эмбеддингов

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: без этого параметра LlamaIndex отправляет запросы на устаревший эндпоинт completions.
  • context_window: LlamaIndex использует это значение, чтобы решить, сколько найденных фрагментов помещается в промпт. С auto маршрутизатор может выбирать разные модели. Используйте наименьшее окно контекста в вашей цепочке.
  • is_function_calling_model=True: задавайте, только если в вашей цепочке есть модели с вызовом инструментов.
  • embed_batch_size: каждый пакет это один запрос. Большие пакеты расходуют меньше запросов в минуту.

Промпт RAG содержит несколько найденных фрагментов, поэтому модели для чата нужно место для них. Создайте профиль цепочки запасных моделей с моделями длинного контекста для RAG. Затем задайте model="auto:<profile>" и увеличьте context_window до наименьшего окна в этом профиле. Сегодня у этих бесплатных моделей самые большие окна контекста:

Бесплатные модели с самыми большими окнами контекста
МодельБесплатно вКонтекстБесплатные лимиты (лучшее предложение)ИнструментыЗрение
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsНетНет
Gemini 3.8 FlashAPINex, Google AI Studio1M5 запр./мин
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
ДаДа
Gemini 3.7 FlashGoogle AI Studio1M10 запр./мин
20 запр./день
250,000 токенов/мин
~3M
ДаДа
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 запр./мин
50 запр./день
Shared rate limit
ДаНет
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetНетНет
Gemini 3.6 FlashGoogle AI Studio1M10 запр./мин
20 запр./день
250,000 токенов/мин
~3M
ДаДа
GLM-5.2ModelScope, Router91M100 запр./день
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
НетНет
Gemini 3.5 FlashGoogle AI Studio1M10 запр./мин
20 запр./день
250,000 токенов/мин
~3M
ДаДа

Показано 8 из 115 подходящих бесплатных моделей. Смотреть все модели.

Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.

Чтобы один пользователь оставался на одной модели, отправляйте заголовок X-Session-Id. OpenAILike принимает default_headers, например default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI держит сессию на одной модели 30 минут. Так ответы в одном чате сохраняют один стиль.

Постройте индекс RAG и запросите его

Скрипт читает файлы из папки, получает эмбеддинги, сохраняет индекс и отвечает на вопрос. Запустите его один раз, чтобы построить индекс. Последующие запуски загружают сохранённый индекс и не получают эмбеддинги файлов заново.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
Важно: используйте одно семейство эмбеддингов для всего индекса. FreeLLMAPI никогда не меняет модель эмбеддингов при переключении. Он переходит только между провайдерами, которые обслуживают то же семейство. Если вы меняете семейство, удалите ./storage и постройте индекс заново.

Эти модели эмбеддингов бесплатны в сегодняшнем каталоге. Столбец dimensions показывает размер вектора каждого семейства.

МодельПровайдерРазмерностиМакс. входБесплатный лимит
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.

Добавьте агента с FunctionAgent

FunctionAgent использует вызов инструментов. Вы можете передать ему движок запросов как инструмент и добавить свои функции на Python.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

Для работы агента выбирайте модели с вызовом инструментов. Создайте профиль цепочки запасных моделей только с этими моделями и используйте auto:<profile> как имя модели.

Бесплатные модели с вызовом инструментов и контекстом 128K+
МодельБесплатно вКонтекстБесплатные лимиты (лучшее предложение)ИнструментыЗрение
GLM 5.3UnoRouter1M1 запр./мин
1 req/min per model
ДаНет
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 запр./мин
40 RPM
ДаДа
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaДаДа
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceДаНет
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditДаДа
Gemini 3.7 FlashGoogle AI Studio1M10 запр./мин
20 запр./день
250,000 токенов/мин
~3M
ДаДа
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditДаДа
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 запр./мин
50 запр./день
50 req/day account-wide (1,000 after a $10 purchase)
ДаДа
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 запр./мин
50 запр./день
Shared rate limit
ДаНет
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 запр./мин
250 запр./день
70,000 токенов/мин
~6M
ДаДа

Показано 10 из 109 подходящих бесплатных моделей. Смотреть все модели.

Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.

Уложите загрузку в бесплатные лимиты

Загрузка отправляет много запросов эмбеддингов за короткое время. У бесплатных уровней эмбеддингов низкие лимиты. Например, некоторые разрешают 10 запросов в минуту, а другие считают вызовы в месяц. Спланируйте первую загрузку до её запуска.

  • Используйте большие фрагменты. Меньше фрагментов означает меньше векторов и меньше запросов. Размер фрагмента около 1,024 токенов хорошее начало.
  • Используйте пакеты. Задайте embed_batch_size равным 16 или больше. Тогда один запрос несёт много фрагментов.
  • Сохраняйте индекс. Сохраните индекс после первого запуска. Не получайте эмбеддинги тех же файлов снова.
  • Оставьте повторные попытки включёнными. OpenAILikeEmbedding по умолчанию повторяет запрос до 10 раз. Оставьте это значение для долгих задач загрузки.
  • Загружайте по частям. Для тысяч файлов загружайте по одной папке за раз.

Запросы дешевле загрузки. Каждый запрос использует один запрос эмбеддинга и один запрос чата. Запрос чата с четырьмя фрагментами по 1,024 токена отправляет около 5,000 токенов. Бесплатные уровни с низким лимитом токенов в минуту могут его отклонить. Тогда FreeLLMAPI пробует следующего провайдера.

Устранение неполадок

ПроблемаПричинаРешение
Unknown model 'auto'Вы использовали класс OpenAIИспользуйте OpenAILike
Запросы идут на /v1/completionsНе задан is_chat_modelЗадайте is_chat_model=True
Агент не вызывает инструментыis_function_calling_model выключен или модель не поддерживает вызов инструментовЗадайте True и используйте профиль с инструментами
Ошибка 429 во время загрузкиСемейство эмбеддингов достигло лимита у всех провайдеровИспользуйте большие пакеты, дождитесь Retry-After и запустите снова
Плохие ответы после смены модели эмбеддинговВекторы из двух семейств в одном индексеУдалите сохранённый индекс и постройте его заново
Ошибка длины контекстаcontext_window больше, чем у модели, которая ответилаЗадайте меньшее значение или используйте профиль длинного контекста

Чтобы узнать, какой провайдер ответил на запрос, используйте панель управления FreeLLMAPI. На странице Analytics показаны запросы, задержка и ошибки для каждого провайдера и модели. Каждый ответ также содержит заголовок X-Routed-Via. Если маршрутизатор сменил провайдера, заголовок X-Fallback-Trail называет каждую неудачную попытку и её причину.

Используйте каждую из этих моделей через один ключ. FreeLLMAPI это маршрутизатор с открытым исходным кодом, который работает на вашем сервере. Он объединяет все эти бесплатные тарифы за одной конечной точкой, совместимой с OpenAI, и переключается на другой провайдер, когда достигнут лимит запросов. Открыть каталог или перейти.

Часто задаваемые вопросы

Можно ли использовать LlamaIndex с бесплатным LLM?

Да. Используйте OpenAILike с api_base, указывающим на URL, совместимый с OpenAI. FreeLLMAPI даёт один URL для многих бесплатных уровней провайдеров. У каждого уровня свои лимиты.

В чём разница между OpenAI и OpenAILike в LlamaIndex?

Класс OpenAI проверяет имена моделей по моделям OpenAI. OpenAILike принимает любое имя модели. Окно контекста и флаги чата и вызова функций вы задаёте сами.

Какая бесплатная модель эмбеддингов лучше всего подходит для LlamaIndex?

Выберите семейство с достаточным числом бесплатных запросов для вашей загрузки и сохраняйте его для всего индекса. Семейство bge-m3 бесплатно у нескольких провайдеров, поэтому переключение может проходить между ними.

Работает ли FunctionAgent с бесплатными моделями?

Да, если модель поддерживает вызов инструментов и вы задали is_function_calling_model=True. Используйте профиль цепочки запасных моделей, в котором есть только модели с вызовом инструментов.

Как избежать лимитов частоты при построении индекса LlamaIndex?

Используйте большие фрагменты, задайте embed_batch_size равным 16 или больше, сохраняйте индекс и загружайте большие папки по частям.

Похожие руководства

Источники

Все руководства · Смотреть все бесплатные модели