Безкоштовний LLM API для RAG
Генерація з доповненням пошуком (RAG) потребує двох API: моделі ембеддингів, щоб знайти потрібний текст, і чат-моделі, щоб написати відповідь. Обидва доступні на безкоштовних тарифах. FreeLLMAPI надає один ключ, сумісний з OpenAI, для 41 безкоштовних моделей ембеддингів і 487 безкоштовних чат-моделей, з резервним перемиканням між провайдерами. Цей посібник показує безкоштовні моделі для кожного кроку і повний конвеєр на Python.
Код, назви моделей і мітки живого каталогу показано англійською.
Конвеєр RAG на безкоштовних тарифах
| Крок | API | Ризик безкоштовного тарифу |
|---|---|---|
| 1. Розбийте документи на фрагменти | Немає (локальний код) | Немає |
| 2. Створіть ембеддинг для кожного фрагмента | /v1/embeddings | Багато запитів на початку. Деякі безкоштовні тарифи ембеддингів дозволяють 10 запитів за хвилину. |
| 3. Створіть ембеддинг для питання | /v1/embeddings | Один запит на питання |
| 4. Знайдіть найкращі фрагменти | Немає (локальний векторний пошук) | Немає |
| 5. Переранжуйте фрагменти (необов'язково) | /v1/chat/completions | Один додатковий запит до чату на питання |
| 6. Напишіть відповідь | /v1/chat/completions | Великі промпти. Діють ліміти токенів за хвилину. |
Крок 2 найбільш витратний за квотою. Ви виконуєте його один раз для кожного документа. Зберігайте вектори і пізніше створюйте ембеддинги лише для нових або змінених документів.
Встановіть FreeLLMAPI і пакети Python
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>Виберіть безкоштовну модель ембеддингів
Виберіть одну родину ембеддингів і залишайте її для всього індексу. Вектори з двох моделей несумісні. FreeLLMAPI захищає вас від змішаних векторів: резервне перемикання ембеддингів ніколи не змінює модель. Воно переходить лише між провайдерами, які надають ту саму родину.
| Модель | Постачальник | Розмірність | Макс. вхід | Безкоштовний ліміт |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.
- Кілька провайдерів для однієї родини: родина, наприклад
bge-m3, безкоштовна у кількох провайдерів. Тоді резервне перемикання має куди перейти. - Максимальний вхід: фрагменти довші за максимальний вхід обрізаються або відхиляються. Робіть фрагменти меншими за це значення.
- Мови: для тексту не англійською використовуйте багатомовну родину, наприклад
bge-m3. Родини з-en-у назві призначені для англійської. - Розмірності: більші вектори займають більше сховища. Для малого індексу це не проблема.
Повний код RAG на Python
Скрипт розбиває текстові файли на фрагменти, створює для них ембеддинги пакетами і зберігає вектори за допомогою NumPy. Потім він відповідає на питання, використовуючи найкращі фрагменти, і наводить джерела. Він повторює спробу, коли ліміт зупиняє запит.
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))Для більш ніж кількох тисяч фрагментів замініть пошук NumPy векторною базою даних. Виклики ембеддингів і чату залишаються такими самими.
Користувачі часто ставлять те саме питання знову. FreeLLMAPI має кеш відповідей для однакових запитів, який потрібно увімкнути. Попадання в кеш не використовує квоту провайдера. Можна увімкнути або вимкнути кеш для одного запиту заголовком X-FreeLLM-Cache: on або off. Використовуйте temperature=0, щоб те саме питання давало той самий запит.
Додайте крок переранжування
Векторний пошук знаходить схожий текст, але найкращий фрагмент не завжди є найкращою відповіддю. Крок переранжування сортує кандидатів знову. Документація FreeLLMAPI не описує окремої кінцевої точки переранжування. Можна використати швидку чат-модель як переранжувальник. Отримайте 15 кандидатів і залиште найкращі 5.
Переранжування LLM з auto:fast
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]Крок переранжування додає один запит до чату на питання. Якщо ваші безкоштовні ліміти малі, пропустіть його. Краще розбиття на фрагменти часто допомагає більше, ніж переранжування.
Довгий контекст: коли пошук не потрібен
Сьогодні 56 безкоштовних пропозицій моделей мають вікно контексту 1 мільйон токенів або більше. Якщо ваші документи малі, можна надіслати всі їх у промпті і пропустити векторний індекс. Це простіше, але кожне питання тоді надсилає багато токенів.
| Модель | Безкоштовно на | Контекст | Безкоштовні ліміти (найкращі) | Інструменти | Зображення |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Ні | Ні |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 запитів/хв 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Так | Так |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 запитів/хв 50 запитів/добу Shared rate limit | Так | Ні |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Ні | Ні |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Ні | Ні |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 запитів/хв 20 запитів/добу 250,000 токенів/хв ~3M | Так | Так |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 запитів/хв 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Ні | Ні |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR +ще 3 | 1M | 200 запитів/добу 200 rpd | Так | Ні |
Показано 10 із 35 відповідних безкоштовних моделей. Переглянути всі моделі.
Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.
- Використовуйте довгий контекст для кількох документів, для питань, які потребують повного тексту, або для одного звіту.
- Використовуйте пошук для багатьох документів, частих питань або коли безкоштовні ліміти токенів за хвилину малі.
- Поєднуйте їх: знайдіть 20 або більше фрагментів і надішліть їх до моделі з довгим контекстом.
Великий промпт може не пройти на провайдері з малим лімітом токенів за хвилину. Тоді FreeLLMAPI пробує наступного провайдера. Щоб контролювати, які моделі отримують великі промпти, створіть профіль ланцюжка резервних моделей лише з моделями з довгим контекстом. Використовуйте його як auto:<profile>.
Ліміти і усунення несправностей
| Проблема | Причина | Рішення |
|---|---|---|
| Індексація зупиняється з помилкою 429 | Родина ембеддингів досягла ліміту у всіх провайдерів | Використовуйте більші пакети, чекайте на Retry-After, індексуйте частинами |
| Погані результати після зміни | В індексі є вектори з двох родин | Створіть ембеддинги для всіх фрагментів знову однією родиною |
| Помилка про довжину вхідних даних | Фрагмент довший за максимальний вхід родини | Використовуйте менші фрагменти |
| Відповідь ігнорує джерела | Модель відповідає зі своїх знань | Використовуйте temperature=0 і суворий системний промпт |
| Помилка довжини контексту у відповіді | Занадто багато або надто довгих фрагментів | Зменште k або використайте профіль довгого контексту |
| Стиль відповідей змінюється | Маршрутизатор вибрав іншу модель | Надішліть заголовок X-Session-Id або закріпіть модель |
Безкоштовні тарифи не мають SLA. Найсильніші моделі першими досягають добових лімітів, а багато лімітів скидаються о півночі UTC. Тестуйте свій конвеєр з моделями, які ваш ланцюжок справді використовуватиме.
Часті запитання
Чи є безкоштовний API для RAG?
Так. Кілька провайдерів мають безкоштовні тарифи для ембеддингів і чату. FreeLLMAPI надає обидва через один ключ, сумісний з OpenAI, з резервним перемиканням між провайдерами.
Яка безкоштовна модель ембеддингів найкраща для RAG?
Виберіть родину, яка безкоштовна у кількох провайдерів і підходить для ваших мов. Для багатомовного тексту типовий вибір це bge-m3. Залиште одну родину для всього індексу.
Чи є безкоштовний API переранжування?
Документація FreeLLMAPI не описує кінцевої точки переранжування. Можна переранжувати за допомогою швидкої чат-моделі, як показано на цій сторінці, або пропустити крок переранжування.
Чи потрібен RAG, якщо безкоштовна модель має 1 мільйон токенів контексту?
Для кількох малих документів ні. Для багатьох документів або частих питань пошук надсилає менше токенів на запит і залишається в межах безкоштовних лімітів.
Чи можна змінити модель ембеддингів пізніше?
Так, але треба створити ембеддинги для всіх фрагментів знову. Вектори з двох моделей несумісні, тому не змішуйте їх в одному індексі.
Схожі посібники
- Безкоштовний API ембедінгів
- Безкоштовний LLM API з контекстом 1 мільйон токенів
- Безкоштовний LLM для LlamaIndex
- Безкоштовний LLM API для LangChain
- Безкоштовний LLM API на Python
Джерела
- FreeLLMAPI docs: embeddings (families and failover rules) (перевірено 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (перевірено 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (перевірено 20 November 2026)