Бесплатный LLM API для RAG
Генерация с извлечением (RAG) требует два API: модель эмбеддингов, чтобы найти нужный текст, и модель чата, чтобы написать ответ. Оба доступны на бесплатных тарифах. FreeLLMAPI дает один ключ, совместимый с OpenAI, для 41 бесплатных моделей эмбеддингов и 487 бесплатных моделей чата с переключением между провайдерами. Это руководство показывает бесплатные модели для каждого шага и полный конвейер на Python.
Код, названия моделей и метки живого каталога показаны на английском языке.
Конвейер RAG на бесплатных тарифах
| Шаг | API | Что важно на бесплатном тарифе |
|---|---|---|
| 1. Разделите документы на фрагменты | Нет (локальный код) | Нет |
| 2. Получите эмбеддинг каждого фрагмента | /v1/embeddings | Много запросов в начале. На некоторых бесплатных тарифах эмбеддингов разрешено 10 запросов в минуту. |
| 3. Получите эмбеддинг вопроса | /v1/embeddings | Один запрос на вопрос |
| 4. Найдите лучшие фрагменты | Нет (локальный векторный поиск) | Нет |
| 5. Переранжируйте фрагменты (необязательно) | /v1/chat/completions | Один дополнительный запрос чата на вопрос |
| 6. Напишите ответ | /v1/chat/completions | Большие промпты. Действуют лимиты токенов в минуту. |
Шаг 2 самый дорогой по лимитам. Его выполняют один раз для каждого документа. Сохраняйте векторы и позже получайте эмбеддинги только для новых или измененных документов.
Установка FreeLLMAPI и пакетов Python
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>Выберите бесплатную модель эмбеддингов
Выберите одно семейство эмбеддингов и используйте его для всего индекса. Векторы из двух моделей несовместимы. FreeLLMAPI защищает от смешивания векторов: переключение эмбеддингов никогда не меняет модель. Оно переходит только между провайдерами, которые обслуживают то же семейство.
| Модель | Провайдер | Размерности | Макс. вход | Бесплатный лимит |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.
- Несколько провайдеров для одного семейства: семейство, например
bge-m3, бесплатно у нескольких провайдеров. Тогда переключению есть куда перейти. - Максимальный вход: фрагменты длиннее максимального входа обрезаются или отклоняются. Делайте фрагменты меньше этого значения.
- Языки: для текста не на английском используйте многоязычное семейство, например
bge-m3. Семейства с-en-в названии предназначены для английского. - Размерность: большие векторы занимают больше места. Для небольшого индекса это не проблема.
Полный код RAG на Python
Скрипт делит текстовые файлы на фрагменты, получает их эмбеддинги пакетами и сохраняет векторы с помощью NumPy. Затем он отвечает на вопрос с помощью лучших фрагментов и выводит источники. Он повторяет запрос, когда лимит его останавливает.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))Для более чем нескольких тысяч фрагментов замените поиск NumPy на векторную базу данных. Вызовы эмбеддингов и чата остаются прежними.
Пользователи часто задают один и тот же вопрос снова. FreeLLMAPI имеет кэш ответов, который включается по желанию, для одинаковых запросов. Попадание в кэш не расходует квоту провайдера. Включить или выключить кэш для одного запроса можно заголовком X-FreeLLM-Cache: on или off. Используйте temperature=0, чтобы один и тот же вопрос давал один и тот же запрос.
Добавьте шаг переранжирования
Векторный поиск находит похожий текст, но лучший фрагмент не всегда самый подходящий для ответа. Шаг переранжирования заново сортирует кандидатов. В документации FreeLLMAPI не описана отдельная конечная точка переранжирования. Можно использовать быструю модель чата как переранжировщик. Извлеките 15 кандидатов и оставьте лучших 5.
LLM-переранжирование с auto:fast
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]Шаг переранжирования добавляет один запрос чата на вопрос. Если ваши бесплатные лимиты невелики, пропустите его. Лучшее разбиение на фрагменты часто помогает больше, чем переранжирование.
Длинный контекст: когда извлечение не нужно
Сегодня у 56 бесплатных предложений моделей окно контекста составляет 1 миллион токенов или больше. Если ваши документы небольшие, можно отправить все их в промпте и пропустить векторный индекс. Так проще, но каждый вопрос тогда отправляет много токенов.
| Модель | Бесплатно в | Контекст | Бесплатные лимиты (лучшее предложение) | Инструменты | Зрение |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Нет | Нет |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 запр./мин 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Да | Да |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 запр./мин 50 запр./день Shared rate limit | Да | Нет |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Нет | Нет |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Нет | Нет |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 запр./мин 20 запр./день 250,000 токенов/мин ~3M | Да | Да |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 запр./мин 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Нет | Нет |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR ещё +3 | 1M | 200 запр./день 200 rpd | Да | Нет |
Показано 10 из 35 подходящих бесплатных моделей. Смотреть все модели.
Актуальные данные из каталога FreeLLMAPI (версия 2026.11.19, проверено 2026-11-19). Бесплатные лимиты часто меняются. Каталог проверяется каждый день.
- Используйте длинный контекст для нескольких документов, для вопросов, которым нужен полный текст, или для одного отчета.
- Используйте извлечение для многих документов, частых вопросов или когда бесплатные лимиты токенов в минуту низкие.
- Комбинируйте подходы: извлеките 20 или больше фрагментов и отправьте их модели с длинным контекстом.
Большой промпт может не пройти у провайдера с низким лимитом токенов в минуту. Тогда FreeLLMAPI пробует следующего провайдера. Чтобы контролировать, какие модели получают большие промпты, создайте профиль цепочки переключения только из моделей с длинным контекстом. Используйте его как auto:<profile>.
Лимиты и устранение неполадок
| Проблема | Причина | Решение |
|---|---|---|
| Загрузка останавливается с ошибкой 429 | Семейство эмбеддингов достигло лимита у всех провайдеров | Используйте большие пакеты, дождитесь Retry-After, загружайте по частям |
| Плохие результаты после изменения | В индексе векторы из двух семейств | Получите эмбеддинги всех фрагментов заново одним семейством |
| Ошибка о длине входа | Фрагмент длиннее максимального входа семейства | Используйте фрагменты меньшего размера |
| Ответ игнорирует источники | Модель отвечает из собственных знаний | Используйте temperature=0 и строгий системный промпт |
| Ошибка длины контекста при ответе | Слишком много или слишком длинных фрагментов | Уменьшите k или используйте профиль с длинным контекстом |
| Стиль ответов меняется | Маршрутизатор выбрал другую модель | Отправляйте заголовок X-Session-Id или закрепите модель |
У бесплатных тарифов нет SLA. Самые сильные модели первыми достигают дневных лимитов, а многие лимиты сбрасываются в полночь по UTC. Проверяйте свой конвейер на тех моделях, которые цепочка будет использовать на самом деле.
Часто задаваемые вопросы
Есть ли бесплатный API для RAG?
Да. Несколько провайдеров имеют бесплатные тарифы эмбеддингов и чата. FreeLLMAPI обслуживает оба через один ключ, совместимый с OpenAI, с переключением между провайдерами.
Какая бесплатная модель эмбеддингов лучше всего для RAG?
Выберите семейство, которое бесплатно у нескольких провайдеров и подходит вашим языкам. Для многоязычного текста частый выбор это bge-m3. Используйте одно семейство для всего индекса.
Есть ли бесплатный API переранжирования?
В документации FreeLLMAPI нет конечной точки переранжирования. Можно переранжировать с помощью быстрой модели чата, как показано на этой странице, или пропустить шаг переранжирования.
Нужен ли RAG, если у бесплатной модели контекст 1 миллион токенов?
Для нескольких небольших документов нет. Для многих документов или частых вопросов извлечение отправляет меньше токенов на запрос и остается в рамках бесплатных лимитов.
Можно ли поменять модель эмбеддингов позже?
Да, но нужно заново получить эмбеддинги всех фрагментов. Векторы из двух моделей несовместимы, поэтому не смешивайте их в одном индексе.
Похожие руководства
- Бесплатный API эмбеддингов
- Бесплатный LLM API с контекстом 1 миллион токенов
- Бесплатный LLM для LlamaIndex
- Бесплатный LLM API для LangChain
- Бесплатный LLM API на Python
Источники
- FreeLLMAPI docs: embeddings (families and failover rules) (проверено 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (проверено 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (проверено 20 November 2026)