ホーム / ガイド / LlamaIndexで使う無料LLM

LlamaIndexで使う無料LLM

LlamaIndexには、OpenAI互換のAPI向けのクラスが2つあります。チャット用の OpenAILike と、埋め込み用の OpenAILikeEmbedding です。このガイドでは、両方をFreeLLMAPIに向けます。FreeLLMAPIは、45 個のプロバイダーの無料枠を1つのキーにまとめます。検索拡張生成 (RAG) のインデックスを作成し、クエリを実行し、エージェントを追加します。コードはレート制限を処理します。

コード、モデル名、ライブのカタログラベルは英語で表示します。

パッケージをインストールする

FreeLLMAPIをインストールし、ダッシュボードのKeysページで、2つ以上のプロバイダーの無料キーを追加してください。統合キーをコピーします。次に、LlamaIndexのパッケージをインストールします。

インストール

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

普通の OpenAI クラス (llama-index-llms-openai 由来) は、OpenAIが知らないモデル名と一緒に使わないでください。このクラスは、モデル名とコンテキストサイズを、OpenAIのモデルの一覧と照合します。OpenAILike は照合しないため、これらの値は自分で設定します。

LLMと埋め込みモデルを設定する

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: これがないと、LlamaIndexは従来の補完エンドポイントにリクエストを送ります。
  • context_window: LlamaIndexは、この値を使って、取得したチャンクがプロンプトに収まる数を決めます。auto を使うと、ルーターが異なるモデルを選ぶことがあります。チェーン内で最も小さいコンテキストウィンドウを使ってください。
  • is_function_calling_model=True: チェーンにツール呼び出しに対応したモデルがある場合のみ設定してください。
  • embed_batch_size: 各バッチは1回のリクエストです。バッチが大きいほど、1分あたりのリクエスト数が減ります。

RAGのプロンプトには、取得した複数のチャンクが含まれるため、チャットモデルには十分な余地が必要です。RAG向けに、長いコンテキストのモデルを含むフォールバックチェーンのプロファイルを作成してください。そのうえで model="auto:<profile>" を設定し、context_window をそのプロファイル内で最も小さいウィンドウに上げてください。現在、次の無料モデルが最も大きいコンテキストウィンドウを持ちます:

最も大きいコンテキストウィンドウを持つ無料モデル
モデル無料で利用可能コンテキスト無料枠の上限(最良の条件)ツール画像入力
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsいいえいいえ
Gemini 3.8 FlashAPINex, Google AI Studio1M5 リクエスト/分
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
はいはい
Gemini 3.7 FlashGoogle AI Studio1M10 リクエスト/分
20 リクエスト/日
250,000 トークン/分
~3M
はいはい
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 リクエスト/分
50 リクエスト/日
Shared rate limit
はいいいえ
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetいいえいいえ
Gemini 3.6 FlashGoogle AI Studio1M10 リクエスト/分
20 リクエスト/日
250,000 トークン/分
~3M
はいはい
GLM-5.2ModelScope, Router91M100 リクエスト/日
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
いいえいいえ
Gemini 3.5 FlashGoogle AI Studio1M10 リクエスト/分
20 リクエスト/日
250,000 トークン/分
~3M
はいはい

一致する無料モデル 115 件のうち 8 件を表示しています。 すべてのモデルを見る.

FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。

1人のユーザーを1つのモデルに固定するには、X-Session-Id ヘッダーを送ります。OpenAILike は default_headers を受け付けます。たとえば default_headers={"X-Session-Id": "user-42"} です。FreeLLMAPIは、セッションを30分間同じモデルに割り当てます。これにより、1つのチャットの中で回答の文体が揃います。

RAGインデックスを作成し、クエリを実行する

このスクリプトは、フォルダーからファイルを読み込み、埋め込みを作成し、インデックスを保存して、質問に答えます。インデックスを作成するには一度実行してください。以降の実行では、保存したインデックスを読み込み、ファイルを再び埋め込むことはありません。

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
重要: インデックス全体で、1つの埋め込みファミリーを使ってください。FreeLLMAPIは、フェイルオーバー中に埋め込みモデルを変更しません。同じファミリーを提供するプロバイダーの間でのみ移動します。ファミリーを変更する場合は、./storage を削除してから、インデックスを作成し直してください。

今日のカタログで、次の埋め込みモデルが無料です。次元の列には、各ファミリーのベクトルのサイズを示しています。

モデルプロバイダー次元数最大入力無料枠
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。

FunctionAgentでエージェントを追加する

FunctionAgent はツール呼び出しを使います。クエリエンジンをツールとして渡し、独自のPython関数を追加できます。

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

エージェントの作業には、ツール呼び出しに対応したモデルを選んでください。ツール呼び出しのモデルだけを含むフォールバックチェーンのプロファイルを作成し、モデル名として auto:<profile> を使ってください。

ツール呼び出しと128K以上のコンテキストを持つ無料モデル
モデル無料で利用可能コンテキスト無料枠の上限(最良の条件)ツール画像入力
GLM 5.3UnoRouter1M1 リクエスト/分
1 req/min per model
はいいいえ
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 リクエスト/分
40 RPM
はいはい
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaはいはい
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceはいいいえ
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditはいはい
Gemini 3.7 FlashGoogle AI Studio1M10 リクエスト/分
20 リクエスト/日
250,000 トークン/分
~3M
はいはい
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditはいはい
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 リクエスト/分
50 リクエスト/日
50 req/day account-wide (1,000 after a $10 purchase)
はいはい
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 リクエスト/分
50 リクエスト/日
Shared rate limit
はいいいえ
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 リクエスト/分
250 リクエスト/日
70,000 トークン/分
~6M
はいはい

一致する無料モデル 109 件のうち 10 件を表示しています。 すべてのモデルを見る.

FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。

無料の上限内で取り込みを行う

取り込みでは、短い時間に多くの埋め込みリクエストを送ります。無料の埋め込み枠の上限は低いです。たとえば、1分あたり10リクエストのものもあれば、呼び出し回数を毎月数えるものもあります。取り込みを始める前に、最初の取り込みを計画してください。

  • 大きなチャンクを使います。チャンクが少ないほど、ベクトルとリクエストが少なくなります。チャンクサイズは、1,024トークン前後から始めると良いでしょう。
  • バッチを使います。embed_batch_size を16以上に設定してください。そうすると、1回のリクエストで多くのチャンクを送れます。
  • インデックスを保存します。最初の実行後にインデックスを永続化してください。同じファイルを再び埋め込まないでください。
  • リトライを有効にしておきます。OpenAILikeEmbedding は既定で最大10回リトライします。長い取り込みジョブでは、この値を維持してください。
  • 分けて取り込みます。数千のファイルがある場合は、フォルダーを1つずつ取り込んでください。

クエリは、取り込みより少ないコストで済みます。各クエリは、埋め込みリクエストを1回と、チャットリクエストを1回使います。1,024トークンのチャンクを4つ含むチャットリクエストは、約5,000トークンを送ります。1分あたりのトークン数の上限が低い無料枠では、これが拒否されることがあります。その場合、FreeLLMAPIは次のプロバイダーを試します。

トラブルシューティング

問題原因対処
Unknown model 'auto'OpenAI クラスを使ったOpenAILike を使ってください
リクエストが /v1/completions に届くis_chat_model が設定されていないis_chat_model=True を設定してください
エージェントがツールを呼び出さないis_function_calling_model がオフか、モデルがツール呼び出しに対応していないTrue に設定し、ツール用のプロファイルを使ってください
取り込み中のエラー429埋め込みファミリーが、すべてのプロバイダーで上限に達しているバッチを大きくし、Retry-After を待ってから、もう一度実行してください
埋め込みモデルを変えた後に回答が不正確になる1つのインデックスに2つのファミリーのベクトルがある保存したインデックスを削除し、作り直してください
コンテキストの長さに関するエラーcontext_window が、回答したモデルより大きいより小さい値を設定するか、長いコンテキストのプロファイルを使ってください

どのプロバイダーがリクエストに応答したかを確認するには、FreeLLMAPIのダッシュボードを使ってください。Analyticsページには、プロバイダーとモデルごとのリクエスト、レイテンシ、エラーが表示されます。各レスポンスには、X-Routed-Via ヘッダーもあります。ルーターがプロバイダーを切り替えた場合、X-Fallback-Trail ヘッダーには、失敗した各試行とその理由が示されます。

これらすべてを 1 つのキーで利用できます。 FreeLLMAPI は、オープンソースのセルフホスト型ルーターです。これらの無料枠すべてを 1 つの OpenAI 互換エンドポイントの背後にまとめ、レート制限に達した場合は自動的に別のプロバイダーへ切り替えます。 カタログを見る または 公開.

よくある質問

LlamaIndexで無料のLLMを使えますか。

はい。api_base をOpenAI互換のURLに設定して、OpenAILike を使ってください。FreeLLMAPIは、多くの無料プロバイダー枠に対して1つのURLを提供します。各枠には、それぞれ上限があります。

LlamaIndexで、OpenAIとOpenAILikeの違いは何ですか。

OpenAI クラスは、モデル名をOpenAIのモデルと照合します。OpenAILike は、任意のモデル名を受け付けます。コンテキストウィンドウと、チャットおよびファンクション呼び出しのフラグは、自分で設定します。

無料の埋め込みモデルで、LlamaIndexに最適なものはどれですか。

取り込みに十分な無料のリクエストがあるファミリーを選び、インデックス全体でそれを使い続けてください。bge-m3 ファミリーは複数のプロバイダーで無料なので、フェイルオーバーはそれらの間で移動できます。

FunctionAgentは無料のモデルで動作しますか。

はい。モデルがツール呼び出しに対応しており、is_function_calling_model=True を設定すれば動作します。ツール呼び出しのモデルだけを含むフォールバックチェーンのプロファイルを使ってください。

LlamaIndexのインデックスを作成するとき、レート制限を避けるにはどうすればよいですか。

大きなチャンクを使い、embed_batch_size を16以上に設定し、インデックスを保存し、大きなフォルダーは分けて取り込んでください。

関連ガイド

出典

すべてのガイド · 無料モデルをすべて見る