LangChain 向けの無料 LLM API
LangChain は、ChatOpenAI と OpenAIEmbeddings を通じて OpenAI 互換の API に接続します。変更するのはベース URL とキーだけです。このガイドでは、両方のクラスを FreeLLMAPI に向けます。FreeLLMAPI は、45 件の無料プロバイダー枠を 1 つのキーにまとめます。以下のコードは Python と JavaScript で動作し、レート制限を処理します。
コード、モデル名、ライブのカタログラベルは英語で表示します。
ゲートウェイとパッケージを設定する
FreeLLMAPI をインストールし、ダッシュボードの Keys ページで 2 つ以上のプロバイダーの無料キーを追加します。統合キーをコピーします。コードはこのキーのみを使用します。プロバイダーのキーは FreeLLMAPI に保存されたままです。
FreeLLMAPI と LangChain のパッケージをインストールする
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zod環境変数
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>model="auto" を使うと、ルーターがモデルを選択します。ルーティング戦略も使用できます。例: auto:fast または auto:smart。auto:coding などの名前付きプロファイルや、カタログの固定のモデル ID も使用できます。
キーで現在呼び出せるモデルを確認するには、GET /v1/models?execution_status=ready をリクエストします。完全な一覧には、キーがないモデルも含まれます。ステータスが exhausted のモデルにはキーがありますが、現時点ではすべてのキーが上限に達しています。このステータスは、クールダウンが終わるとクリアされます。
現在回答できるモデルを一覧表示する
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"ChatOpenAI でチャットする
Python では、base_url と api_key を設定します。max_retries の値は OpenAI クライアントに渡されます。このクライアントは、指数バックオフで 429 エラーと 5xx エラーを再試行します。
Python: チャットとストリーミング
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)JavaScript では、ベース URL を configuration.baseURL に設定します。configuration オブジェクトは、公式の OpenAI SDK クライアントに渡されます。
JavaScript: チャットとストリーミング
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}x-routed-via ヘッダーには、回答したプロバイダーとモデルが表示されます。ルーターがプロバイダーを切り替えた場合、x-fallback-trail には失敗した各試行と理由が表示されます。
ツールとエージェント
FreeLLMAPI は、OpenAI 形式の tools を各プロバイダーに渡し、tool_calls を OpenAI 形式で返します。Gemini の場合は、リクエストを Google の形式に変換し、応答を元の形式に戻します。1 回の呼び出しには bind_tools を、ツールを実行するループには create_agent を使用します。
Python: bind_tools と create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);ツール呼び出しに対応している無料モデルは一部のみです。auto を使う場合は、ツール呼び出し対応のモデルをフォールバックチェーンに残すか、エージェント用のプロファイルを作成してください。現在ツールに対応している無料モデルは次のとおりです。
| モデル | 無料で利用可能 | コンテキスト | 無料枠の上限(最良の条件) | ツール | 画像入力 |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 リクエスト/分 1 req/min per model | はい | いいえ |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 リクエスト/分 40 RPM | はい | はい |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | はい | はい |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | はい | いいえ |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | はい | はい |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 リクエスト/分 20 リクエスト/日 250,000 トークン/分 ~3M | はい | はい |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | はい | はい |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 リクエスト/分 50 リクエスト/日 50 req/day account-wide (1,000 after a $10 purchase) | はい | はい |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 リクエスト/分 50 リクエスト/日 Shared rate limit | はい | いいえ |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 リクエスト/分 250 リクエスト/日 70,000 トークン/分 ~6M | はい | はい |
一致する無料モデル 109 件のうち 10 件を表示しています。 すべてのモデルを見る.
FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。
OpenAIEmbeddings による埋め込み
既定では、Python の OpenAIEmbeddings は、OpenAI のトークナイザーでテキストを分割し、トークンを送信します。ほかのプロバイダーの多くは、生のテキストを必要とします。テキストを送信するには、check_embedding_ctx_length=False を設定します。
Python: 埋め込み
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: 埋め込み
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);FreeLLMAPI の埋め込みのフェイルオーバーでは、モデルが変わることはありません。同じファミリーを提供するプロバイダーの間でのみ切り替わります。これにより、1 つのベクトルストア内のすべてのベクトルの互換性が保たれます。ファミリーを 1 つ選び、そのまま使用してください。本日の無料の埋め込みモデルは次のとおりです。
| モデル | プロバイダー | 次元数 | 最大入力 | 無料枠 |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。
構造化出力、セッション、モデルの選択
with_structured_output は、テキストの代わりに Pydantic オブジェクトを返します。既定では、LangChain はこのために関数呼び出しを使用します。この方式は、ツールに対応するすべての無料モデルで動作します。
Python: 構造化出力
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)method="json_schema" を auto と一緒に使用しないでください。厳密な JSON スキーマ出力に対応していない無料プロバイダーがあり、ルーターはリクエストごとに異なるプロバイダーを選ぶことがあるためです。
FreeLLMAPI は、会話を 30 分間 1 つのモデルに保持します。会話は X-Session-Id ヘッダーから識別されます。ヘッダーがない場合は、最初のユーザーメッセージのハッシュを使用します。多数のユーザーがいるチャットアプリでは、ユーザーごとに 1 つのセッション ID を送信してください。
Python: ユーザーごとに 1 つのセッション
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)アプリの各部分に、モデル文字列を選択してください。
| アプリ内のタスク | モデル文字列 | 理由 |
|---|---|---|
| ユーザー向けのチャット回答 | auto | ダッシュボードで設定したチェーンに従う |
| ツールを使うエージェント | auto:<profile> | ツール呼び出し対応のモデルのみを含むプロファイル |
| 分類、ルーティング、短い要約 | auto:fast | 計測した速度でモデルを順位付けする |
| 高度な推論のステップ | auto:smart | 知能の高さでモデルを順位付けする |
| 繰り返し実行できる必要があるテスト | 固定のモデル ID | 毎回同じモデルを使うが、そのモデルの上限に達すると停止する |
無料枠には SLA がありません。レイテンシーは日中に変動し、最も高性能なモデルは 1 日の上限に最初に達します。チェーンで実際に使用するモデルで、チェーンをテストしてください。
レート制限と再試行
FreeLLMAPI は、プロバイダーが 429 を返すと、次のプロバイダーを試します。コードが 429 を受け取るのは、チェーン内のすべてのキーが上限に達している場合のみです。その場合、レスポンスには Retry-After ヘッダーが含まれます。多くの 1 日の上限は、UTC の深夜にリセットされます。
バッチジョブでは、with_retry を使用して 2 つ目の再試行層を追加します。これは、指数バックオフとジッターを使って、実行可能なチェーン全体を再試行します。
Python: レート制限時にチェーンを再試行する
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| 問題 | 原因 | 対処 |
|---|---|---|
openai.AuthenticationError | 統合キーが誤っている | Keys ページからキーを再度コピーする |
すべての呼び出しで openai.NotFoundError | ベース URL に /v1 がない | http://localhost:3001/v1 を使用する |
openai.RateLimitError | チェーン内のすべてのキーが上限に達している | プロバイダーを追加するか、max_concurrency を減らすか、Retry-After を待つ |
| トークンまたは入力の種類に関する埋め込みエラー | LangChain がテキストではなくトークンを送信している | check_embedding_ctx_length=False を設定する |
tool_calls が空 | モデルがツールに対応していない | ツールの表のモデル、またはツール用のプロファイルを使用する |
| 推論テキストがない | ChatOpenAI は標準の OpenAI フィールドのみを保持する | 回答は content で読み取る。プロバイダーの追加フィールドは保持されない |
よくある質問
無料 LLM API を LangChain で使用できますか?
はい。OpenAI 互換の API はすべて ChatOpenAI で動作します。base_url を http://localhost:3001/v1 に、api_key を FreeLLMAPI の統合キーに設定します。ルーターは無料のプロバイダー枠を使用します。
LangChain の ChatOpenAI でカスタムのベース URL を設定するには?
Python では、ChatOpenAI に base_url を渡します。JavaScript では、コンストラクターに configuration: { baseURL } を渡します。Python では、環境変数 OPENAI_BASE_URL も使用できます。
LangChain のエージェントは無料モデルで動作しますか?
モデルがツール呼び出しに対応していれば動作します。ChatOpenAI のモデルで create_agent を使用し、ツール呼び出し対応のモデルを FreeLLMAPI のチェーンに残してください。
OpenAI 以外のプロバイダーで OpenAIEmbeddings が失敗するのはなぜですか?
既定では、トークン ID が送信されます。ほかのプロバイダーの多くは生のテキストを必要とします。Python で check_embedding_ctx_length=False を設定してください。
LangChain で 429 エラーを処理するには?
ChatOpenAI に max_retries を設定し、バッチジョブではチェーンに with_retry を追加してください。FreeLLMAPI は、コードが 429 を受け取る前に、すでに次のプロバイダーに切り替えています。
関連ガイド
- LlamaIndexで使う無料LLM
- PythonでのLLM API無料利用
- RAG向けの無料LLM API
- 無料のEmbeddings API
- 関数呼び出しに対応した無料 LLM API
- AIエージェント向けの無料LLM API
出典
- LangChain docs: ChatOpenAI integration (Python) (確認日 20 November 2026)
- LangChain docs: ChatOpenAI integration (JavaScript) (確認日 20 November 2026)
- LangChain docs: agents and create_agent (確認日 20 November 2026)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (確認日 20 November 2026)
- OpenAI Python SDK: retries and errors (確認日 20 November 2026)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (確認日 20 November 2026)