PythonでのLLM API無料利用
公式の openai Pythonパッケージは、OpenAI互換のAPIならどれでも動作します。変更するのは、ベースURLとキーだけです。このガイドでは、FreeLLMAPIを使います。FreeLLMAPIは、45 個のプロバイダーの無料枠を1つのキーにまとめ、上限によってリクエストが止まると次のプロバイダーに切り替えます。以下の各例は完全で、そのまま実行できます。
コード、モデル名、ライブのカタログラベルは英語で表示します。
セットアップ
FreeLLMAPIをインストールします。Dockerで動作します。http://localhost:3001 でダッシュボードを開き、Keysページで2つ以上のプロバイダーの無料キーを追加して、統合キーをコピーしてください。次に、Pythonパッケージをインストールします。
Pythonのコードでは、統合キーだけを使います。プロバイダーのキーはFreeLLMAPIに残り、そのデータベースで暗号化されます。プロバイダーのキーを変更または追加しても、コードの変更は不要です。
インストール
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)モデル auto は、ダッシュボードのフォールバックチェーンに従います。auto:fast、auto:smart、auto:reliable、auto:coding などのプロファイル、または固定のモデルIDも使えます。
ストリーミングとレスポンスヘッダー
回答をストリーミングする
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()各レスポンスには、回答したプロバイダーとモデルを示す X-Routed-Via ヘッダーがあります。SDKでヘッダーを読むには、with_raw_response を使い、通常のオブジェクトを得るために parse() を呼び出してください。
ルーティングのヘッダーを読む
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)ツール呼び出し
OpenAI形式の tools を送ります。ルーターは、それをOpenAI互換のプロバイダーにそのまま渡し、Geminiのためには変換します。回答は、すべてのプロバイダーで同じ形式で返ります。
1回のツール呼び出しと最終的な回答
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)一部のプロバイダーは、ツール呼び出しをプレーンテキストとして返します。FreeLLMAPIは、これらの回答を実際の tool_calls に変換するため、コードは1つの形式だけを読めばよくなります。msg.tool_calls を確認してから msg.content を読んでください。モデルはツールを使わずに回答することもあるからです。
ツール呼び出しに対応したモデルを使ってください。次の無料モデルは、ツールに対応しており、現在の実測の速度が最も速いモデルです:
| モデル | 無料で利用可能 | コンテキスト | 無料枠の上限(最良の条件) | ツール | 画像入力 |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 リクエスト/分 250 リクエスト/日 70,000 トークン/分 ~6M | はい | はい |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 リクエスト/分 50 リクエスト/日 50 req/day account-wide (1,000 after a $10 purchase) | はい | いいえ |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq ほか 1 件 | 131K | 30 リクエスト/分 1,000 リクエスト/日 8,000 トークン/分 200,000 トークン/日 ~6M | はい | いいえ |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM ほか 1 件 | 131K | 30 リクエスト/分 1,000 リクエスト/日 8,000 トークン/分 200,000 トークン/日 ~6M | はい | いいえ |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 リクエスト/分 1,000 リクエスト/日 8,000 トークン/分 200,000 トークン/日 ~6M | はい | いいえ |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 リクエスト/分 20 リクエスト/日 250,000 トークン/分 ~3M | はい | はい |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | はい | はい |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 リクエスト/分 5,000 リクエスト/日 500,000 トークン/日 500K tokens/day · 5,000 req/day | はい | はい |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 リクエスト/日 200 rpd | はい | いいえ |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 リクエスト/分 20 リクエスト/日 250,000 トークン/分 ~3M | はい | はい |
一致する無料モデル 146 件のうち 10 件を表示しています。 すべてのモデルを見る.
FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。
無料の上限内で非同期バッチを行う
AsyncOpenAI は、多くのリクエストを同時に送ります。無料枠は1分あたりのリクエスト数を制限するため、セマフォで同時実行数を制限してください。この例では、すべてのプロバイダーが上限に達したときにもリトライします。
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())ルーターが429を返すのは、チェーン内のすべてのキーが上限に達したときだけです。そのとき、レスポンスには Retry-After ヘッダーがあります。大きなバッチでは、セマフォの値を小さくし、プロバイダーのキーを増やすと最も良い結果が得られます。
タスクごとにモデル文字列を選ぶ
モデル文字列は、ルーターがモデルを選ぶ方法を指定します。呼び出しごとに異なる文字列を使えます。ダッシュボードを変更する必要はありません。
| タスク | モデル文字列 | 理由 |
|---|---|---|
| ユーザー向けのチャットの回答 | auto | ダッシュボードで設定したフォールバックチェーンに従います |
| 分類、抽出、短い要約 | auto:fast | 有効なモデルを、実測の速度で並べます |
| 難しい質問、コードレビュー、計画 | auto:smart | 有効なモデルを、知能の高さで並べます |
| 必ず完了すべきスケジュールジョブ | auto:reliable | 有効なモデルを、最近の成功率で並べます |
| 1つのアプリ用の独立したチェーン | auto:<profile> | 名前付きのフォールバックチェーンを使います |
| 繰り返し実行できる必要があるテスト | 固定のモデルID | 毎回同じモデルですが、そのモデルの上限に達すると止まります |
今すぐキーで呼び出せるモデルを確認するには、フィルターを付けてモデル一覧をリクエストしてください。完全な一覧には、まだキーがないモデルも含まれます。
今回答できるモデルを一覧表示する
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])ステータスが exhausted のモデルには、キーがありますが、現在はすべてが上限に達しています。このステータスは、クールダウンが終わるとクリアされます。ステータスが needsKey のモデルには、有効なキーがありません。
会話では、X-Session-Id ヘッダーを extra_headers と一緒に送ってください。そうすると、FreeLLMAPIはその会話を30分間同じモデルに割り当てます。ヘッダーがない場合は、最初のユーザーメッセージのハッシュをセッションのキーとして使います。
埋め込み
テキストを埋め込む
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")埋め込みのフェイルオーバーでは、モデルは変わりません。同じファミリーを提供するプロバイダーの間でのみ移動するため、ベクトルの互換性は保たれます。値 auto は、ダッシュボードで設定した既定のファミリーを使います。
多くのテキストを、1つの input リストにまとめて送ってください。32個のテキストを含む1回のリクエストは、無料の上限から1回分だけを使い、32回分は使いません。各テキストは、ファミリーの最大入力未満に保ってください。ファミリー名をベクトルと一緒に保存し、後でクエリを同じファミリーで埋め込めるようにしてください。
エラーと対処
| 例外 | 原因 | 対処 |
|---|---|---|
openai.AuthenticationError | 統合キーが誤っています | Keysページからキーをコピーし直してください |
openai.APIConnectionError | FreeLLMAPIが起動していないか、ポートが誤っています | ブラウザーで http://localhost:3001 を開いてください |
openai.NotFoundError | ベースURLに /v1 がありません | http://localhost:3001/v1 を使ってください |
openai.RateLimitError | チェーン内のすべてのキーが上限に達しています | プロバイダーを追加するか、同時実行数を下げるか、Retry-After を待ってください |
openai.BadRequestError (auto:name を指定した場合) | プロファイル名が存在しません | ダッシュボードでプロファイル名を確認してください |
画像を付けた openai.UnprocessableEntityError (422) | チェーンにビジョンモデルがありません | フォールバックチェーンでビジョンモデルを有効にしてください |
無料枠にはSLAがありません。遅延は時間帯によって変わります。最も強力なモデルが最初に1日の上限に達し、多くの上限は UTC の午前0時にリセットされます。固定の時間内に応答しなければならないサービスには、無料のゲートウェイを使わないでください。
よくある質問
Python向けの無料LLM APIはありますか。
はい。openai Pythonパッケージで動作する無料枠を持つプロバイダーは多くあります。FreeLLMAPIは、それらを1つのベースURLと1つのキーにまとめ、プロバイダー間のフェイルオーバーを行います。
別のベースURLで、Pythonのopenaiライブラリを使うにはどうすればよいですか。
OpenAI() または AsyncOpenAI() に base_url を渡してください。たとえば base_url="http://localhost:3001/v1" です。ゲートウェイのキーは api_key として渡してください。
Pythonでレート制限のエラーを処理するにはどうすればよいですか。
クライアントに max_retries を設定してください。openai.RateLimitError を捕捉し、Retry-After ヘッダーを読んで待機します。asyncio のセマフォで同時実行数を制限してください。
Pythonで無料のLLM APIを使ったストリーミングは動作しますか。
はい。stream=True を渡し、chunk.choices[0].delta.content を読んでください。FreeLLMAPIは、すべてのプロバイダーに対してOpenAI形式でストリーミングします。
無料のLLM APIで、Pythonの非同期処理を使えますか。
はい。同じ base_url とキーで AsyncOpenAI を使ってください。無料枠は1分あたりのリクエスト数を制限するため、並列リクエストは少なく保ってください。
関連ガイド
- 無料の OpenAI 互換 API の Base URL
- LangChain 向けの無料 LLM API
- AIエージェント向けの無料LLM API
- 関数呼び出しに対応した無料 LLM API
- 無料LLM APIのレート制限
出典
- OpenAI Python SDK README (async, retries, raw responses, errors) (確認日 20 November 2026)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (確認日 20 November 2026)
- FreeLLMAPI docs: degraded mode and failover (確認日 20 November 2026)