Головна / Посібники / Безкоштовний LLM для LlamaIndex

Безкоштовний LLM для LlamaIndex

LlamaIndex має два класи для API, сумісних з OpenAI: OpenAILike для чату і OpenAILikeEmbedding для ембедінгів. Цей посібник спрямовує обидва на FreeLLMAPI, який об'єднує 45 безкоштовних рівнів провайдерів за одним ключем. Ви створюєте індекс генерації з доповненням пошуком (RAG), запитуєте його і додаєте агента. Код враховує ліміти частоти.

Код, назви моделей і мітки живого каталогу показано англійською.

Встановіть пакети

Встановіть FreeLLMAPI і додайте безкоштовні ключі від двох або більше провайдерів на сторінці Keys панелі керування. Скопіюйте уніфікований ключ. Потім встановіть пакети LlamaIndex.

Встановлення

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Не використовуйте звичайний клас OpenAI з llama-index-llms-openai з назвами моделей, які OpenAI не знає. Цей клас перевіряє назви моделей і розміри контексту за списком моделей OpenAI. OpenAILike цього не робить, тому ці значення ви задаєте самі.

Налаштуйте LLM і модель ембедінгів

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: без нього LlamaIndex надсилає запити на застарілу кінцеву точку доповнень.
  • context_window: LlamaIndex використовує це значення, щоб вирішити, скільки знайдених фрагментів вміщується в промпт. З auto маршрутизатор може обирати різні моделі. Використовуйте найменше вікно контексту у вашому ланцюжку.
  • is_function_calling_model=True: встановлюйте лише тоді, коли ваш ланцюжок має моделі з tool calling.
  • embed_batch_size: кожен пакет це один запит. Більші пакети використовують менше запитів за хвилину.

Промпт RAG містить кілька знайдених фрагментів, тому модель для чату потребує місця для них. Створіть профіль ланцюжка резервних моделей з моделями довгого контексту для RAG. Потім встановіть model="auto:<profile>" і підніміть context_window до найменшого вікна в цьому профілі. Ці безкоштовні моделі мають найбільші вікна контексту на сьогодні:

Безкоштовні моделі з найбільшими вікнами контексту
МодельБезкоштовно наКонтекстБезкоштовні ліміти (найкращі)ІнструментиЗображення
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsНіНі
Gemini 3.8 FlashAPINex, Google AI Studio1M5 запитів/хв
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
ТакТак
Gemini 3.7 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 запитів/хв
50 запитів/добу
Shared rate limit
ТакНі
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetНіНі
Gemini 3.6 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
GLM-5.2ModelScope, Router91M100 запитів/добу
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
НіНі
Gemini 3.5 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак

Показано 8 із 115 відповідних безкоштовних моделей. Переглянути всі моделі.

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

Щоб один користувач залишався на одній моделі, надсилайте заголовок X-Session-Id. OpenAILike приймає default_headers, наприклад default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI утримує сесію на одній моделі 30 хвилин. Так відповіді в одній розмові мають однаковий стиль.

Створіть і запитуйте індекс RAG

Скрипт читає файли з папки, створює ембедінги, зберігає індекс і відповідає на запитання. Запустіть його один раз, щоб створити індекс. Наступні запуски завантажують збережений індекс і не створюють ембедінги для файлів знову.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
Важливо: використовуйте одне сімейство ембедінгів для всього індексу. FreeLLMAPI ніколи не змінює модель ембедінгів під час резервного переходу. Він переходить лише між провайдерами, які обслуговують те саме сімейство. Якщо ви змінюєте сімейство, видаліть ./storage і створіть індекс знову.

Ці моделі ембедінгів безкоштовні в сьогоднішньому каталозі. Стовпець розмірностей показує розмір вектора для кожного сімейства.

МодельПостачальникРозмірністьМакс. вхідБезкоштовний ліміт
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

Додайте агента з FunctionAgent

FunctionAgent використовує tool calling. Ви можете передати йому движок запитів як інструмент і додати власні функції Python.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

Для роботи агента обирайте моделі з tool calling. Створіть профіль ланцюжка резервних моделей лише з цими моделями і використовуйте auto:<profile> як назву моделі.

Безкоштовні моделі з tool calling і контекстом 128K+
МодельБезкоштовно наКонтекстБезкоштовні ліміти (найкращі)ІнструментиЗображення
GLM 5.3UnoRouter1M1 запитів/хв
1 req/min per model
ТакНі
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 запитів/хв
40 RPM
ТакТак
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaТакТак
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceТакНі
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditТакТак
Gemini 3.7 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditТакТак
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 запитів/хв
50 запитів/добу
50 req/day account-wide (1,000 after a $10 purchase)
ТакТак
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 запитів/хв
50 запитів/добу
Shared rate limit
ТакНі
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 запитів/хв
250 запитів/добу
70,000 токенів/хв
~6M
ТакТак

Показано 10 із 109 відповідних безкоштовних моделей. Переглянути всі моделі.

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

Тримайте індексацію в межах безкоштовних лімітів

Індексація надсилає багато запитів на ембедінги за короткий час. Безкоштовні рівні ембедінгів мають низькі ліміти. Наприклад, деякі дозволяють 10 запитів за хвилину, а інші рахують виклики за місяць. Сплануйте першу індексацію, перш ніж її почати.

  • Використовуйте великі фрагменти. Менше фрагментів означає менше векторів і менше запитів. Добрий початок це розмір фрагмента близько 1 024 токенів.
  • Використовуйте пакети. Встановіть embed_batch_size на 16 або більше. Тоді один запит містить багато фрагментів.
  • Зберігайте індекс. Збережіть індекс після першого запуску. Не створюйте ембедінги для тих самих файлів знову.
  • Залиште повторні спроби увімкненими. OpenAILikeEmbedding за замовчуванням повторює спробу до 10 разів. Залиште це значення для довгих завдань індексації.
  • Індексуйте частинами. Для тисяч файлів індексуйте одну папку за раз.

Запити дешевші за індексацію. Кожен запит використовує один запит ембедінгу і один запит чату. Запит до чату з чотирма фрагментами по 1 024 токени надсилає близько 5 000 токенів. Безкоштовні рівні з низькими лімітами токенів за хвилину можуть його відхилити. Тоді FreeLLMAPI пробує наступного провайдера.

Усунення несправностей

ПроблемаПричинаРішення
Unknown model 'auto'Ви використали клас OpenAIВикористовуйте OpenAILike
Запити йдуть на /v1/completionsis_chat_model не заданоВстановіть is_chat_model=True
Агент не викликає інструментиis_function_calling_model вимкнено або модель не має tool callingВстановіть True і використовуйте профіль з інструментами
Помилка 429 під час індексаціїСімейство ембедінгів досягло ліміту у всіх провайдерівВикористовуйте більші пакети, дочекайтеся Retry-After і запустіть знову
Погані відповіді після зміни моделі ембедінгівВектори з двох сімейств в одному індексіВидаліть збережений індекс і створіть його знову
Помилка довжини контекстуcontext_window більший за модель, яка відповілаВстановіть менше значення або використовуйте профіль довгого контексту

Щоб побачити, який провайдер відповів на запит, використовуйте панель керування FreeLLMAPI. Сторінка Analytics показує запити, затримку і помилки для кожного провайдера і моделі. Кожна відповідь також має заголовок X-Routed-Via. Якщо маршрутизатор змінив провайдера, заголовок X-Fallback-Trail називає кожну невдалу спробу і причину.

Використовуйте кожну з цих моделей через один ключ. FreeLLMAPI це маршрутизатор з відкритим кодом, який ви розгортаєте самі. Він об'єднує всі ці безкоштовні тарифи за однією кінцевою точкою, сумісною з OpenAI, і переходить до наступного, коли один з них досягає ліміту. Переглянути каталог або або почніть роботу.

Часті запитання

Чи можна використовувати LlamaIndex з безкоштовним LLM?

Так. Використовуйте OpenAILike з api_base, який вказує на URL, сумісний з OpenAI. FreeLLMAPI дає один URL для багатьох безкоштовних рівнів провайдерів. Кожен рівень має власні ліміти.

Яка різниця між OpenAI і OpenAILike у LlamaIndex?

Клас OpenAI перевіряє назви моделей за моделями OpenAI. OpenAILike приймає будь-яку назву моделі. Ви самі задаєте вікно контексту і прапорці для чату і викликів функцій.

Яка безкоштовна модель ембедінгів найкраща для LlamaIndex?

Оберіть сімейство з достатньою кількістю безкоштовних запитів для вашої індексації і тримайте його для всього індексу. Сімейство bge-m3 безкоштовне у кількох провайдерів, тож резервний перехід може переходити між ними.

Чи працює FunctionAgent з безкоштовними моделями?

Так, якщо модель підтримує tool calling і ви встановили is_function_calling_model=True. Використовуйте профіль ланцюжка резервних моделей, що містить лише моделі з tool calling.

Як уникнути лімітів частоти під час створення індексу LlamaIndex?

Використовуйте великі фрагменти, встановіть embed_batch_size на 16 або більше, зберігайте індекс і індексуйте великі папки частинами.

Схожі посібники

Джерела

Усі посібники · Переглянути всі безкоштовні моделі