RAG向けの無料LLM API
検索拡張生成(RAG)には、2つのAPIが必要です。関連するテキストを探す埋め込みモデルと、回答を書くチャットモデルです。どちらも無料ティアで利用できます。FreeLLMAPIは、41件の無料の埋め込みモデルと487件の無料のチャットモデルに、1つのOpenAI互換キーを提供します。プロバイダー間のフェイルオーバーも行います。このガイドでは、各手順の無料モデルと、完全なPythonのパイプラインを示します。
コード、モデル名、ライブのカタログラベルは英語で表示します。
無料ティアでのRAGのパイプライン
| 手順 | API | 無料ティアの注意点 |
|---|---|---|
| 1. 文書をチャンクに分割する | なし(ローカルのコード) | なし |
| 2. 各チャンクを埋め込む | /v1/embeddings | 開始時に多数のリクエスト。一部の無料の埋め込みティアは、毎分10リクエストを許可します。 |
| 3. 質問を埋め込む | /v1/embeddings | 質問ごとに1リクエスト |
| 4. 上位のチャンクを見つける | なし(ローカルのベクトル検索) | なし |
| 5. チャンクを再ランク付けする(任意) | /v1/chat/completions | 質問ごとに、チャットのリクエストが1つ追加されます |
| 6. 回答を書く | /v1/chat/completions | 大きなプロンプト。毎分のトークン数の制限が適用されます。 |
手順2が最もコストの高い手順です。文書ごとに1回行ってください。ベクトルを保存し、後では新規または変更された文書だけを埋め込んでください。
FreeLLMAPIとPythonパッケージをインストールする
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai numpy
export FREELLMAPI_API_KEY=<unified-key>無料の埋め込みモデルを選ぶ
1つの埋め込みファミリーを選び、インデックス全体で使い続けてください。2つのモデルのベクトルには互換性がありません。FreeLLMAPIは、ベクトルの混在から保護します。埋め込みのフェイルオーバーは、モデルを変更しません。同じファミリーを提供するプロバイダーの間でのみ移動します。
| モデル | プロバイダー | 次元数 | 最大入力 | 無料枠 |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。
- 1つのファミリーに対する複数のプロバイダー:
bge-m3などのファミリーは、複数のプロバイダーで無料です。そのため、フェイルオーバーの移動先があります。 - 最大入力: 最大入力より長いチャンクは、切り取られるか拒否されます。チャンクは、この値より小さくしてください。
- 言語: 英語以外のテキストには、
bge-m3などの多言語のファミリーを使ってください。名前に-en-を含むファミリーは、英語用です。 - 次元: ベクトルが大きいほど、多くの保存容量を使います。小さいインデックスでは、これは問題になりません。
Pythonによる完全なRAGのコード
このスクリプトは、テキストファイルをチャンクに分割し、バッチで埋め込み、NumPyでベクトルを保存します。次に、上位のチャンクを使って質問に回答し、出典を示します。制限によってリクエストが止まると、再試行します。
rag.py
import json
import os
import pathlib
import time
import numpy as np
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3,
timeout=90,
)
EMBED_MODEL = "bge-m3" # keep one family for the whole index
CHAT_MODEL = "auto" # or a long-context profile: auto:<profile>
INDEX = pathlib.Path("index")
def with_retry(fn, *args, **kwargs):
for attempt in range(6):
try:
return fn(*args, **kwargs)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
time.sleep(min(int(header) if header.isdigit() else 2 ** attempt, 120))
raise RuntimeError("Rate limited on every provider")
def chunk(text: str, size: int = 1500, overlap: int = 200) -> list[str]:
step = size - overlap
return [text[i:i + size] for i in range(0, max(len(text), 1), step)]
def embed(texts: list[str], batch: int = 32) -> np.ndarray:
out = []
for i in range(0, len(texts), batch):
resp = with_retry(client.embeddings.create, model=EMBED_MODEL, input=texts[i:i + batch])
out.extend(d.embedding for d in resp.data)
vecs = np.array(out, dtype=np.float32)
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
def build(folder: str) -> None:
chunks = []
for path in sorted(pathlib.Path(folder).rglob("*.md")):
for part in chunk(path.read_text(encoding="utf-8")):
if part.strip():
chunks.append({"source": str(path), "text": part})
INDEX.mkdir(exist_ok=True)
np.save(INDEX / "vectors.npy", embed([c["text"] for c in chunks]))
(INDEX / "chunks.json").write_text(json.dumps(chunks))
def answer(question: str, k: int = 5) -> str:
vecs = np.load(INDEX / "vectors.npy")
chunks = json.loads((INDEX / "chunks.json").read_text())
q = embed([question])[0]
top = np.argsort(vecs @ q)[::-1][:k]
context = "\n\n".join(f"[{n + 1}] ({chunks[i]['source']})\n{chunks[i]['text']}" for n, i in enumerate(top))
resp = with_retry(
client.chat.completions.create,
model=CHAT_MODEL,
temperature=0,
messages=[
{"role": "system", "content": "Answer only from the sources. Cite them as [1], [2]. If the sources do not answer, say so."},
{"role": "user", "content": f"Sources:\n{context}\n\nQuestion: {question}"},
],
)
return resp.choices[0].message.content
if __name__ == "__main__":
if not (INDEX / "vectors.npy").exists():
build("docs")
print(answer("How do I rotate the API keys?"))数千を超えるチャンクでは、NumPyの検索をベクトルデータベースに置き換えてください。埋め込みとチャットの呼び出しは、変わりません。
ユーザーは、同じ質問を何度もすることがよくあります。FreeLLMAPIには、同一のリクエストに対する、任意で有効にできるレスポンスキャッシュがあります。キャッシュのヒットは、プロバイダーの割り当て量を使いません。X-FreeLLM-Cache: onまたはoffヘッダーで、1つのリクエストのキャッシュを有効または無効にできます。同じ質問が同じリクエストになるように、temperature=0を使ってください。
リランクの手順を追加する
ベクトル検索は、似たテキストを見つけますが、上位のチャンクが常に最良の回答とは限りません。リランクの手順は、候補を並べ替えます。FreeLLMAPIのドキュメントには、専用のリランクのエンドポイントは記載されていません。リランカーとして、高速なチャットモデルを使えます。候補を15件取得し、最良の5件を残してください。
auto:fastによるLLMのリランク
def rerank(question: str, candidates: list[str], keep: int = 5) -> list[int]:
listing = "\n".join(f"{n}: {c[:400]}" for n, c in enumerate(candidates))
resp = with_retry(
client.chat.completions.create,
model="auto:fast",
temperature=0,
messages=[{
"role": "user",
"content": (
f"Question: {question}\n\nPassages:\n{listing}\n\n"
f"Return the numbers of the {keep} most useful passages, best first, "
"as a JSON list of integers. Return only the list."
),
}],
)
try:
ids = json.loads(resp.choices[0].message.content.strip())
return [i for i in ids if isinstance(i, int) and 0 <= i < len(candidates)][:keep]
except (json.JSONDecodeError, AttributeError):
return list(range(min(keep, len(candidates)))) # fall back to vector order
# Use it in answer(): take 15 candidates, keep the best 5
# top = np.argsort(vecs @ q)[::-1][:15]
# best = rerank(question, [chunks[i]["text"] for i in top])
# top = [top[i] for i in best]リランクの手順は、質問ごとにチャットのリクエストを1つ追加します。無料の制限が厳しい場合は、省略してください。チャンク分割を改善する方が、リランクの手順より役立つことが多いです。
長いコンテキスト: 検索が不要な場合
現在、56件の無料モデルの提供は、100万トークン以上のコンテキストウィンドウを持ちます。文書が小さい場合は、すべての文書をプロンプトに送り、ベクトルインデックスを省略できます。これはより単純ですが、各質問で多くのトークンを送ることになります。
| モデル | 無料で利用可能 | コンテキスト | 無料枠の上限(最良の条件) | ツール | 画像入力 |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | いいえ | いいえ |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 リクエスト/分 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | はい | はい |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 リクエスト/分 20 リクエスト/日 250,000 トークン/分 ~3M | はい | はい |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 リクエスト/分 50 リクエスト/日 Shared rate limit | はい | いいえ |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | いいえ | いいえ |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 リクエスト/分 20 リクエスト/日 250,000 トークン/分 ~3M | はい | はい |
| GLM 5.2 | Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | いいえ | いいえ |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 リクエスト/分 20 リクエスト/日 250,000 トークン/分 ~3M | はい | はい |
| DeepSeek V4 Pro | APINex, Router9 | 1M | 5 リクエスト/分 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | いいえ | いいえ |
| Nemotron 3 Ultra 550B | Gizmo, Kilo Gateway, LLMTR ほか 3 件 | 1M | 200 リクエスト/日 200 rpd | はい | いいえ |
一致する無料モデル 35 件のうち 10 件を表示しています。 すべてのモデルを見る.
FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。
- 長いコンテキストを使う: 少数の文書、全文が必要な質問、または1つのレポートに使ってください。
- 検索を使う: 多数の文書、頻繁な質問、または無料の毎分トークン数の制限が低い場合に使ってください。
- 組み合わせる: 20個以上のチャンクを取得し、長いコンテキストのモデルに送ってください。
大きなプロンプトは、毎分のトークン数の制限が低いプロバイダーで失敗することがあります。その場合、FreeLLMAPIは次のプロバイダーを試します。大きいプロンプトを受け取るモデルを制御するには、長いコンテキストのモデルだけを含むフォールバックチェーンのプロファイルを作成してください。これをauto:<profile>として使ってください。
制限とトラブルシューティング
| 問題 | 原因 | 対処 |
|---|---|---|
| 取り込みが429で止まります | 埋め込みファミリーが、すべてのプロバイダーで制限に達しています | より大きいバッチを使い、Retry-Afterを待ち、部分ごとに取り込んでください |
| 変更後に結果が悪くなります | インデックスに、2つのファミリーのベクトルがあります | 1つのファミリーで、すべてのチャンクを埋め込み直してください |
| 入力の長さに関するエラー | チャンクが、ファミリーの最大入力より長いです | より小さいチャンクを使ってください |
| 回答が出典を無視します | モデルが、自身の知識から回答しています | temperature=0と、厳格なシステムプロンプトを使ってください |
| 回答でコンテキスト長のエラー | チャンクが多すぎるか、長すぎます | kを下げるか、長いコンテキストのプロファイルを使ってください |
| 回答のスタイルが変わります | ルーターが別のモデルを選択しました | X-Session-Idヘッダーを送るか、モデルを固定してください |
無料ティアには、SLAがありません。最も強いモデルは、最初に1日の上限に達します。多くの制限は、UTCの午前0時にリセットされます。チェーンが実際に使うモデルで、パイプラインをテストしてください。
よくある質問
RAG向けの無料のAPIはありますか?
はい。複数のプロバイダーが、無料の埋め込みとチャットのティアを提供しています。FreeLLMAPIは、両方を1つのOpenAI互換キーで提供し、プロバイダー間でフェイルオーバーします。
RAGに最適な無料の埋め込みモデルはどれですか?
複数のプロバイダーで無料で、お使いの言語に合うファミリーを選んでください。多言語のテキストには、bge-m3が一般的な選択肢です。インデックス全体で1つのファミリーを使い続けてください。
無料のリランクAPIはありますか?
FreeLLMAPIのドキュメントには、リランクのエンドポイントは記載されていません。このページに示すように、高速なチャットモデルでリランクするか、リランクの手順を省略できます。
無料モデルが100万トークンのコンテキストを持つ場合、RAGは必要ですか?
少数の小さい文書なら必要ありません。多数の文書や頻繁な質問では、検索によって1リクエストあたりのトークンが減り、無料の制限内に収まります。
後で埋め込みモデルを変更できますか?
はい。ただし、すべてのチャンクを埋め込み直す必要があります。2つのモデルのベクトルには互換性がないため、1つのインデックスに混在させないでください。
関連ガイド
- 無料のEmbeddings API
- 100万トークンのコンテキストを持つ無料LLM API
- LlamaIndexで使う無料LLM
- LangChain 向けの無料 LLM API
- PythonでのLLM API無料利用
出典
- FreeLLMAPI docs: embeddings (families and failover rules) (確認日 20 November 2026)
- FreeLLMAPI docs: routing strategies and response headers (確認日 20 November 2026)
- OpenAI Python SDK: embeddings, errors and retries (確認日 20 November 2026)