Головна / Посібники / Безкоштовний LLM API для RAG

Безкоштовний LLM API для RAG

Генерація з доповненням пошуком (RAG) потребує двох API: моделі ембеддингів, щоб знайти потрібний текст, і чат-моделі, щоб написати відповідь. Обидва доступні на безкоштовних тарифах. FreeLLMAPI надає один ключ, сумісний з OpenAI, для 41 безкоштовних моделей ембеддингів і 487 безкоштовних чат-моделей, з резервним перемиканням між провайдерами. Цей посібник показує безкоштовні моделі для кожного кроку і повний конвеєр на Python.

Код, назви моделей і мітки живого каталогу показано англійською.

Конвеєр RAG на безкоштовних тарифах

КрокAPIРизик безкоштовного тарифу
1. Розбийте документи на фрагментиНемає (локальний код)Немає
2. Створіть ембеддинг для кожного фрагмента/v1/embeddingsБагато запитів на початку. Деякі безкоштовні тарифи ембеддингів дозволяють 10 запитів за хвилину.
3. Створіть ембеддинг для питання/v1/embeddingsОдин запит на питання
4. Знайдіть найкращі фрагментиНемає (локальний векторний пошук)Немає
5. Переранжуйте фрагменти (необов'язково)/v1/chat/completionsОдин додатковий запит до чату на питання
6. Напишіть відповідь/v1/chat/completionsВеликі промпти. Діють ліміти токенів за хвилину.

Крок 2 найбільш витратний за квотою. Ви виконуєте його один раз для кожного документа. Зберігайте вектори і пізніше створюйте ембеддинги лише для нових або змінених документів.

Встановіть FreeLLMAPI і пакети Python

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>

Виберіть безкоштовну модель ембеддингів

Виберіть одну родину ембеддингів і залишайте її для всього індексу. Вектори з двох моделей несумісні. FreeLLMAPI захищає вас від змішаних векторів: резервне перемикання ембеддингів ніколи не змінює модель. Воно переходить лише між провайдерами, які надають ту саму родину.

МодельПостачальникРозмірністьМакс. вхідБезкоштовний ліміт
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

  • Кілька провайдерів для однієї родини: родина, наприклад bge-m3, безкоштовна у кількох провайдерів. Тоді резервне перемикання має куди перейти.
  • Максимальний вхід: фрагменти довші за максимальний вхід обрізаються або відхиляються. Робіть фрагменти меншими за це значення.
  • Мови: для тексту не англійською використовуйте багатомовну родину, наприклад bge-m3. Родини з -en- у назві призначені для англійської.
  • Розмірності: більші вектори займають більше сховища. Для малого індексу це не проблема.

Повний код RAG на Python

Скрипт розбиває текстові файли на фрагменти, створює для них ембеддинги пакетами і зберігає вектори за допомогою NumPy. Потім він відповідає на питання, використовуючи найкращі фрагменти, і наводить джерела. Він повторює спробу, коли ліміт зупиняє запит.

rag.py

import json
import os
import pathlib
import time

import numpy as np
import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,
    timeout=90,
)
EMBED_MODEL = "bge-m3"   # keep one family for the whole index
CHAT_MODEL = "auto"      # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")

def with_retry(fn, *args, **kwargs):
    for attempt in range(6):
        try:
            return fn(*args, **kwargs)
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
    raise RuntimeError("Rate limited on every provider")

def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
    step = size - overlap
    return [text[i:i + size] for i in range(0, max(len(text), 1), step)]

def embed(texts: list[str], batch: int = 32) -> np.ndarray:
    out = []
    for i in range(0, len(texts), batch):
        resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
        out.extend(d.embedding for d in resp.data)
    vecs = np.array(out, dtype=np.float32)
    return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)

def build(folder: str) -> None:
    chunks = []
    for path in sorted(pathlib.Path(folder).rglob("*.md")):
        for part in chunk(path.read_text(encoding="utf-8")):
            if part.strip():
                chunks.append({"source": str(path), "text": part})
    INDEX.mkdir(exist_ok=True)
    np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
    (INDEX / "chunks.json").write_text(json.dumps(chunks))

def answer(question: str, k: int = 5) -> str:
    vecs = np.load(INDEX / "vectors.npy")
    chunks = json.loads((INDEX / "chunks.json").read_text())
    q = embed([question])[0]
    top = np.argsort(vecs @ q)[::-1][:k]
    context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
    resp = with_retry(
        client.chat.completions.create,
        model=CHAT_MODEL,
        temperature=0,
        messages=[
            {"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
            {"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
        ],
    )
    return resp.choices[0].message.content

if __name__ == "__main__":
    if not (INDEX / "vectors.npy").exists():
        build("docs")
    print(answer("How do I rotate the API keys?"))

Для більш ніж кількох тисяч фрагментів замініть пошук NumPy векторною базою даних. Виклики ембеддингів і чату залишаються такими самими.

Користувачі часто ставлять те саме питання знову. FreeLLMAPI має кеш відповідей для однакових запитів, який потрібно увімкнути. Попадання в кеш не використовує квоту провайдера. Можна увімкнути або вимкнути кеш для одного запиту заголовком X-FreeLLM-Cache: on або off. Використовуйте temperature=0, щоб те саме питання давало той самий запит.

Додайте крок переранжування

Векторний пошук знаходить схожий текст, але найкращий фрагмент не завжди є найкращою відповіддю. Крок переранжування сортує кандидатів знову. Документація FreeLLMAPI не описує окремої кінцевої точки переранжування. Можна використати швидку чат-модель як переранжувальник. Отримайте 15 кандидатів і залиште найкращі 5.

Переранжування LLM з auto:fast

def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
    listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
    resp = with_retry(
        client.chat.completions.create,
        model="auto:fast",
        temperature=0,
        messages=[{
            "role": "user",
            "content": (
                f"Question: {question}\n\nPassages:\n{listing}\n\n"
                f"Return the numbers of the {keep} most useful passages, best first, "
                "as a JSON list of integers. Return only the list."
            ),
        }],
    )
    try:
        ids = json.loads(resp.choices[0].message.content.strip())
        return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
    except (json.JSONDecodeError, AttributeError):
        return list(range(min(keep, len(candidates))))  # fall back to vector order


# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]

Крок переранжування додає один запит до чату на питання. Якщо ваші безкоштовні ліміти малі, пропустіть його. Краще розбиття на фрагменти часто допомагає більше, ніж переранжування.

Довгий контекст: коли пошук не потрібен

Сьогодні 56 безкоштовних пропозицій моделей мають вікно контексту 1 мільйон токенів або більше. Якщо ваші документи малі, можна надіслати всі їх у промпті і пропустити векторний індекс. Це простіше, але кожне питання тоді надсилає багато токенів.

Безкоштовні моделі з найбільшими вікнами контексту
МодельБезкоштовно наКонтекстБезкоштовні ліміти (найкращі)ІнструментиЗображення
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsНіНі
Gemini 3.8 FlashAPINex, Google AI Studio1M5 запитів/хв
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
ТакТак
Gemini 3.7 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 запитів/хв
50 запитів/добу
Shared rate limit
ТакНі
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetНіНі
Gemini 3.6 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
GLM 5.2Router91M10,000 credits/month (~$1), shared; account-anniversary resetНіНі
Gemini 3.5 FlashGoogle AI Studio1M10 запитів/хв
20 запитів/добу
250,000 токенів/хв
~3M
ТакТак
DeepSeek V4 ProAPINex, Router91M5 запитів/хв
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
НіНі
Nemotron 3 Ultra 550BGizmo, Kilo Gateway, LLMTR +ще 31M200 запитів/добу
200 rpd
ТакНі

Показано 10 із 35 відповідних безкоштовних моделей. Переглянути всі моделі.

Дані в реальному часі з каталогу FreeLLMAPI (версія 2026.11.19, перевірено 2026-11-19). Безкоштовні ліміти часто змінюються. Каталог перевіряється щодня.

  • Використовуйте довгий контекст для кількох документів, для питань, які потребують повного тексту, або для одного звіту.
  • Використовуйте пошук для багатьох документів, частих питань або коли безкоштовні ліміти токенів за хвилину малі.
  • Поєднуйте їх: знайдіть 20 або більше фрагментів і надішліть їх до моделі з довгим контекстом.

Великий промпт може не пройти на провайдері з малим лімітом токенів за хвилину. Тоді FreeLLMAPI пробує наступного провайдера. Щоб контролювати, які моделі отримують великі промпти, створіть профіль ланцюжка резервних моделей лише з моделями з довгим контекстом. Використовуйте його як auto:<profile>.

Ліміти і усунення несправностей

ПроблемаПричинаРішення
Індексація зупиняється з помилкою 429Родина ембеддингів досягла ліміту у всіх провайдерівВикористовуйте більші пакети, чекайте на Retry-After, індексуйте частинами
Погані результати після зміниВ індексі є вектори з двох родинСтворіть ембеддинги для всіх фрагментів знову однією родиною
Помилка про довжину вхідних данихФрагмент довший за максимальний вхід родиниВикористовуйте менші фрагменти
Відповідь ігнорує джерелаМодель відповідає зі своїх знаньВикористовуйте temperature=0 і суворий системний промпт
Помилка довжини контексту у відповідіЗанадто багато або надто довгих фрагментівЗменште k або використайте профіль довгого контексту
Стиль відповідей змінюєтьсяМаршрутизатор вибрав іншу модельНадішліть заголовок X-Session-Id або закріпіть модель

Безкоштовні тарифи не мають SLA. Найсильніші моделі першими досягають добових лімітів, а багато лімітів скидаються о півночі UTC. Тестуйте свій конвеєр з моделями, які ваш ланцюжок справді використовуватиме.

Використовуйте кожну з цих моделей через один ключ. FreeLLMAPI це маршрутизатор з відкритим кодом, який ви розгортаєте самі. Він об'єднує всі ці безкоштовні тарифи за однією кінцевою точкою, сумісною з OpenAI, і переходить до наступного, коли один з них досягає ліміту. Переглянути каталог або або почніть роботу.

Часті запитання

Чи є безкоштовний API для RAG?

Так. Кілька провайдерів мають безкоштовні тарифи для ембеддингів і чату. FreeLLMAPI надає обидва через один ключ, сумісний з OpenAI, з резервним перемиканням між провайдерами.

Яка безкоштовна модель ембеддингів найкраща для RAG?

Виберіть родину, яка безкоштовна у кількох провайдерів і підходить для ваших мов. Для багатомовного тексту типовий вибір це bge-m3. Залиште одну родину для всього індексу.

Чи є безкоштовний API переранжування?

Документація FreeLLMAPI не описує кінцевої точки переранжування. Можна переранжувати за допомогою швидкої чат-моделі, як показано на цій сторінці, або пропустити крок переранжування.

Чи потрібен RAG, якщо безкоштовна модель має 1 мільйон токенів контексту?

Для кількох малих документів ні. Для багатьох документів або частих питань пошук надсилає менше токенів на запит і залишається в межах безкоштовних лімітів.

Чи можна змінити модель ембеддингів пізніше?

Так, але треба створити ембеддинги для всіх фрагментів знову. Вектори з двох моделей несумісні, тому не змішуйте їх в одному індексі.

Схожі посібники

Джерела

Усі посібники · Переглянути всі безкоштовні моделі