LlamaIndexで使う無料LLM
LlamaIndexには、OpenAI互換のAPI向けのクラスが2つあります。チャット用の OpenAILike と、埋め込み用の OpenAILikeEmbedding です。このガイドでは、両方をFreeLLMAPIに向けます。FreeLLMAPIは、45 個のプロバイダーの無料枠を1つのキーにまとめます。検索拡張生成 (RAG) のインデックスを作成し、クエリを実行し、エージェントを追加します。コードはレート制限を処理します。
コード、モデル名、ライブのカタログラベルは英語で表示します。
パッケージをインストールする
FreeLLMAPIをインストールし、ダッシュボードのKeysページで、2つ以上のプロバイダーの無料キーを追加してください。統合キーをコピーします。次に、LlamaIndexのパッケージをインストールします。
インストール
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>普通の OpenAI クラス (llama-index-llms-openai 由来) は、OpenAIが知らないモデル名と一緒に使わないでください。このクラスは、モデル名とコンテキストサイズを、OpenAIのモデルの一覧と照合します。OpenAILike は照合しないため、これらの値は自分で設定します。
LLMと埋め込みモデルを設定する
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: これがないと、LlamaIndexは従来の補完エンドポイントにリクエストを送ります。
- context_window: LlamaIndexは、この値を使って、取得したチャンクがプロンプトに収まる数を決めます。
autoを使うと、ルーターが異なるモデルを選ぶことがあります。チェーン内で最も小さいコンテキストウィンドウを使ってください。 - is_function_calling_model=True: チェーンにツール呼び出しに対応したモデルがある場合のみ設定してください。
- embed_batch_size: 各バッチは1回のリクエストです。バッチが大きいほど、1分あたりのリクエスト数が減ります。
RAGのプロンプトには、取得した複数のチャンクが含まれるため、チャットモデルには十分な余地が必要です。RAG向けに、長いコンテキストのモデルを含むフォールバックチェーンのプロファイルを作成してください。そのうえで model="auto:<profile>" を設定し、context_window をそのプロファイル内で最も小さいウィンドウに上げてください。現在、次の無料モデルが最も大きいコンテキストウィンドウを持ちます:
| モデル | 無料で利用可能 | コンテキスト | 無料枠の上限(最良の条件) | ツール | 画像入力 |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | いいえ | いいえ |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 リクエスト/分 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | はい | はい |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 リクエスト/分 20 リクエスト/日 250,000 トークン/分 ~3M | はい | はい |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 リクエスト/分 50 リクエスト/日 Shared rate limit | はい | いいえ |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | いいえ | いいえ |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 リクエスト/分 20 リクエスト/日 250,000 トークン/分 ~3M | はい | はい |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 リクエスト/日 Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | いいえ | いいえ |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 リクエスト/分 20 リクエスト/日 250,000 トークン/分 ~3M | はい | はい |
一致する無料モデル 115 件のうち 8 件を表示しています。 すべてのモデルを見る.
FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。
1人のユーザーを1つのモデルに固定するには、X-Session-Id ヘッダーを送ります。OpenAILike は default_headers を受け付けます。たとえば default_headers={"X-Session-Id": "user-42"} です。FreeLLMAPIは、セッションを30分間同じモデルに割り当てます。これにより、1つのチャットの中で回答の文体が揃います。
RAGインデックスを作成し、クエリを実行する
このスクリプトは、フォルダーからファイルを読み込み、埋め込みを作成し、インデックスを保存して、質問に答えます。インデックスを作成するには一度実行してください。以降の実行では、保存したインデックスを読み込み、ファイルを再び埋め込むことはありません。
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage を削除してから、インデックスを作成し直してください。今日のカタログで、次の埋め込みモデルが無料です。次元の列には、各ファミリーのベクトルのサイズを示しています。
| モデル | プロバイダー | 次元数 | 最大入力 | 無料枠 |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。
FunctionAgentでエージェントを追加する
FunctionAgent はツール呼び出しを使います。クエリエンジンをツールとして渡し、独自のPython関数を追加できます。
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())エージェントの作業には、ツール呼び出しに対応したモデルを選んでください。ツール呼び出しのモデルだけを含むフォールバックチェーンのプロファイルを作成し、モデル名として auto:<profile> を使ってください。
| モデル | 無料で利用可能 | コンテキスト | 無料枠の上限(最良の条件) | ツール | 画像入力 |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 リクエスト/分 1 req/min per model | はい | いいえ |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 リクエスト/分 40 RPM | はい | はい |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | はい | はい |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | はい | いいえ |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | はい | はい |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 リクエスト/分 20 リクエスト/日 250,000 トークン/分 ~3M | はい | はい |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | はい | はい |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 リクエスト/分 50 リクエスト/日 50 req/day account-wide (1,000 after a $10 purchase) | はい | はい |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 リクエスト/分 50 リクエスト/日 Shared rate limit | はい | いいえ |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 リクエスト/分 250 リクエスト/日 70,000 トークン/分 ~6M | はい | はい |
一致する無料モデル 109 件のうち 10 件を表示しています。 すべてのモデルを見る.
FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。
無料の上限内で取り込みを行う
取り込みでは、短い時間に多くの埋め込みリクエストを送ります。無料の埋め込み枠の上限は低いです。たとえば、1分あたり10リクエストのものもあれば、呼び出し回数を毎月数えるものもあります。取り込みを始める前に、最初の取り込みを計画してください。
- 大きなチャンクを使います。チャンクが少ないほど、ベクトルとリクエストが少なくなります。チャンクサイズは、1,024トークン前後から始めると良いでしょう。
- バッチを使います。
embed_batch_sizeを16以上に設定してください。そうすると、1回のリクエストで多くのチャンクを送れます。 - インデックスを保存します。最初の実行後にインデックスを永続化してください。同じファイルを再び埋め込まないでください。
- リトライを有効にしておきます。
OpenAILikeEmbeddingは既定で最大10回リトライします。長い取り込みジョブでは、この値を維持してください。 - 分けて取り込みます。数千のファイルがある場合は、フォルダーを1つずつ取り込んでください。
クエリは、取り込みより少ないコストで済みます。各クエリは、埋め込みリクエストを1回と、チャットリクエストを1回使います。1,024トークンのチャンクを4つ含むチャットリクエストは、約5,000トークンを送ります。1分あたりのトークン数の上限が低い無料枠では、これが拒否されることがあります。その場合、FreeLLMAPIは次のプロバイダーを試します。
トラブルシューティング
| 問題 | 原因 | 対処 |
|---|---|---|
Unknown model 'auto' | OpenAI クラスを使った | OpenAILike を使ってください |
リクエストが /v1/completions に届く | is_chat_model が設定されていない | is_chat_model=True を設定してください |
| エージェントがツールを呼び出さない | is_function_calling_model がオフか、モデルがツール呼び出しに対応していない | True に設定し、ツール用のプロファイルを使ってください |
| 取り込み中のエラー429 | 埋め込みファミリーが、すべてのプロバイダーで上限に達している | バッチを大きくし、Retry-After を待ってから、もう一度実行してください |
| 埋め込みモデルを変えた後に回答が不正確になる | 1つのインデックスに2つのファミリーのベクトルがある | 保存したインデックスを削除し、作り直してください |
| コンテキストの長さに関するエラー | context_window が、回答したモデルより大きい | より小さい値を設定するか、長いコンテキストのプロファイルを使ってください |
どのプロバイダーがリクエストに応答したかを確認するには、FreeLLMAPIのダッシュボードを使ってください。Analyticsページには、プロバイダーとモデルごとのリクエスト、レイテンシ、エラーが表示されます。各レスポンスには、X-Routed-Via ヘッダーもあります。ルーターがプロバイダーを切り替えた場合、X-Fallback-Trail ヘッダーには、失敗した各試行とその理由が示されます。
よくある質問
LlamaIndexで無料のLLMを使えますか。
はい。api_base をOpenAI互換のURLに設定して、OpenAILike を使ってください。FreeLLMAPIは、多くの無料プロバイダー枠に対して1つのURLを提供します。各枠には、それぞれ上限があります。
LlamaIndexで、OpenAIとOpenAILikeの違いは何ですか。
OpenAI クラスは、モデル名をOpenAIのモデルと照合します。OpenAILike は、任意のモデル名を受け付けます。コンテキストウィンドウと、チャットおよびファンクション呼び出しのフラグは、自分で設定します。
無料の埋め込みモデルで、LlamaIndexに最適なものはどれですか。
取り込みに十分な無料のリクエストがあるファミリーを選び、インデックス全体でそれを使い続けてください。bge-m3 ファミリーは複数のプロバイダーで無料なので、フェイルオーバーはそれらの間で移動できます。
FunctionAgentは無料のモデルで動作しますか。
はい。モデルがツール呼び出しに対応しており、is_function_calling_model=True を設定すれば動作します。ツール呼び出しのモデルだけを含むフォールバックチェーンのプロファイルを使ってください。
LlamaIndexのインデックスを作成するとき、レート制限を避けるにはどうすればよいですか。
大きなチャンクを使い、embed_batch_size を16以上に設定し、インデックスを保存し、大きなフォルダーは分けて取り込んでください。
関連ガイド
- RAG向けの無料LLM API
- 無料のEmbeddings API
- LangChain 向けの無料 LLM API
- PythonでのLLM API無料利用
- 100万トークンのコンテキストを持つ無料LLM API
出典
- LlamaIndex: llama-index-llms-openai-like README (確認日 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (確認日 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (確認日 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (確認日 20 November 2026)