ホーム / ガイド / PythonでのLLM API無料利用

PythonでのLLM API無料利用

公式の openai Pythonパッケージは、OpenAI互換のAPIならどれでも動作します。変更するのは、ベースURLとキーだけです。このガイドでは、FreeLLMAPIを使います。FreeLLMAPIは、45 個のプロバイダーの無料枠を1つのキーにまとめ、上限によってリクエストが止まると次のプロバイダーに切り替えます。以下の各例は完全で、そのまま実行できます。

コード、モデル名、ライブのカタログラベルは英語で表示します。

セットアップ

FreeLLMAPIをインストールします。Dockerで動作します。http://localhost:3001 でダッシュボードを開き、Keysページで2つ以上のプロバイダーの無料キーを追加して、統合キーをコピーしてください。次に、Pythonパッケージをインストールします。

Pythonのコードでは、統合キーだけを使います。プロバイダーのキーはFreeLLMAPIに残り、そのデータベースで暗号化されます。プロバイダーのキーを変更または追加しても、コードの変更は不要です。

インストール

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

モデル auto は、ダッシュボードのフォールバックチェーンに従います。auto:fast、auto:smart、auto:reliable、auto:coding などのプロファイル、または固定のモデルIDも使えます。

ストリーミングとレスポンスヘッダー

回答をストリーミングする

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

各レスポンスには、回答したプロバイダーとモデルを示す X-Routed-Via ヘッダーがあります。SDKでヘッダーを読むには、with_raw_response を使い、通常のオブジェクトを得るために parse() を呼び出してください。

ルーティングのヘッダーを読む

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

ツール呼び出し

OpenAI形式の tools を送ります。ルーターは、それをOpenAI互換のプロバイダーにそのまま渡し、Geminiのためには変換します。回答は、すべてのプロバイダーで同じ形式で返ります。

1回のツール呼び出しと最終的な回答

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

一部のプロバイダーは、ツール呼び出しをプレーンテキストとして返します。FreeLLMAPIは、これらの回答を実際の tool_calls に変換するため、コードは1つの形式だけを読めばよくなります。msg.tool_calls を確認してから msg.content を読んでください。モデルはツールを使わずに回答することもあるからです。

ツール呼び出しに対応したモデルを使ってください。次の無料モデルは、ツールに対応しており、現在の実測の速度が最も速いモデルです:

ツール呼び出しに対応した高速な無料モデル
モデル無料で利用可能コンテキスト無料枠の上限(最良の条件)ツール画像入力
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 リクエスト/分
250 リクエスト/日
70,000 トークン/分
~6M
はいはい
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 リクエスト/分
50 リクエスト/日
50 req/day account-wide (1,000 after a $10 purchase)
はいいいえ
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq ほか 1 件131K30 リクエスト/分
1,000 リクエスト/日
8,000 トークン/分
200,000 トークン/日
~6M
はいいいえ
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM ほか 1 件131K30 リクエスト/分
1,000 リクエスト/日
8,000 トークン/分
200,000 トークン/日
~6M
はいいいえ
GPT-OSS Safeguard 20BGroq131K30 リクエスト/分
1,000 リクエスト/日
8,000 トークン/分
200,000 トークン/日
~6M
はいいいえ
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 リクエスト/分
20 リクエスト/日
250,000 トークン/分
~3M
はいはい
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditはいはい
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 リクエスト/分
5,000 リクエスト/日
500,000 トークン/日
500K tokens/day · 5,000 req/day
はいはい
Nemotron 3.5 Lightning 30BRequesty1M200 リクエスト/日
200 rpd
はいいいえ
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 リクエスト/分
20 リクエスト/日
250,000 トークン/分
~3M
はいはい

一致する無料モデル 146 件のうち 10 件を表示しています。 すべてのモデルを見る.

FreeLLMAPI カタログのライブデータ(バージョン 2026.11.19、確認日 2026-11-19)。無料枠の上限は頻繁に変わります。カタログは毎日確認されます。

無料の上限内で非同期バッチを行う

AsyncOpenAI は、多くのリクエストを同時に送ります。無料枠は1分あたりのリクエスト数を制限するため、セマフォで同時実行数を制限してください。この例では、すべてのプロバイダーが上限に達したときにもリトライします。

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

ルーターが429を返すのは、チェーン内のすべてのキーが上限に達したときだけです。そのとき、レスポンスには Retry-After ヘッダーがあります。大きなバッチでは、セマフォの値を小さくし、プロバイダーのキーを増やすと最も良い結果が得られます。

タスクごとにモデル文字列を選ぶ

モデル文字列は、ルーターがモデルを選ぶ方法を指定します。呼び出しごとに異なる文字列を使えます。ダッシュボードを変更する必要はありません。

タスクモデル文字列理由
ユーザー向けのチャットの回答autoダッシュボードで設定したフォールバックチェーンに従います
分類、抽出、短い要約auto:fast有効なモデルを、実測の速度で並べます
難しい質問、コードレビュー、計画auto:smart有効なモデルを、知能の高さで並べます
必ず完了すべきスケジュールジョブauto:reliable有効なモデルを、最近の成功率で並べます
1つのアプリ用の独立したチェーンauto:<profile>名前付きのフォールバックチェーンを使います
繰り返し実行できる必要があるテスト固定のモデルID毎回同じモデルですが、そのモデルの上限に達すると止まります

今すぐキーで呼び出せるモデルを確認するには、フィルターを付けてモデル一覧をリクエストしてください。完全な一覧には、まだキーがないモデルも含まれます。

今回答できるモデルを一覧表示する

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

ステータスが exhausted のモデルには、キーがありますが、現在はすべてが上限に達しています。このステータスは、クールダウンが終わるとクリアされます。ステータスが needsKey のモデルには、有効なキーがありません。

会話では、X-Session-Id ヘッダーを extra_headers と一緒に送ってください。そうすると、FreeLLMAPIはその会話を30分間同じモデルに割り当てます。ヘッダーがない場合は、最初のユーザーメッセージのハッシュをセッションのキーとして使います。

埋め込み

テキストを埋め込む

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

埋め込みのフェイルオーバーでは、モデルは変わりません。同じファミリーを提供するプロバイダーの間でのみ移動するため、ベクトルの互換性は保たれます。値 auto は、ダッシュボードで設定した既定のファミリーを使います。

多くのテキストを、1つの input リストにまとめて送ってください。32個のテキストを含む1回のリクエストは、無料の上限から1回分だけを使い、32回分は使いません。各テキストは、ファミリーの最大入力未満に保ってください。ファミリー名をベクトルと一緒に保存し、後でクエリを同じファミリーで埋め込めるようにしてください。

エラーと対処

例外原因対処
openai.AuthenticationError統合キーが誤っていますKeysページからキーをコピーし直してください
openai.APIConnectionErrorFreeLLMAPIが起動していないか、ポートが誤っていますブラウザーで http://localhost:3001 を開いてください
openai.NotFoundErrorベースURLに /v1 がありませんhttp://localhost:3001/v1 を使ってください
openai.RateLimitErrorチェーン内のすべてのキーが上限に達していますプロバイダーを追加するか、同時実行数を下げるか、Retry-After を待ってください
openai.BadRequestError (auto:name を指定した場合)プロファイル名が存在しませんダッシュボードでプロファイル名を確認してください
画像を付けた openai.UnprocessableEntityError (422)チェーンにビジョンモデルがありませんフォールバックチェーンでビジョンモデルを有効にしてください

無料枠にはSLAがありません。遅延は時間帯によって変わります。最も強力なモデルが最初に1日の上限に達し、多くの上限は UTC の午前0時にリセットされます。固定の時間内に応答しなければならないサービスには、無料のゲートウェイを使わないでください。

これらすべてを 1 つのキーで利用できます。 FreeLLMAPI は、オープンソースのセルフホスト型ルーターです。これらの無料枠すべてを 1 つの OpenAI 互換エンドポイントの背後にまとめ、レート制限に達した場合は自動的に別のプロバイダーへ切り替えます。 カタログを見る または 公開.

よくある質問

Python向けの無料LLM APIはありますか。

はい。openai Pythonパッケージで動作する無料枠を持つプロバイダーは多くあります。FreeLLMAPIは、それらを1つのベースURLと1つのキーにまとめ、プロバイダー間のフェイルオーバーを行います。

別のベースURLで、Pythonのopenaiライブラリを使うにはどうすればよいですか。

OpenAI() または AsyncOpenAI() に base_url を渡してください。たとえば base_url="http://localhost:3001/v1" です。ゲートウェイのキーは api_key として渡してください。

Pythonでレート制限のエラーを処理するにはどうすればよいですか。

クライアントに max_retries を設定してください。openai.RateLimitError を捕捉し、Retry-After ヘッダーを読んで待機します。asyncio のセマフォで同時実行数を制限してください。

Pythonで無料のLLM APIを使ったストリーミングは動作しますか。

はい。stream=True を渡し、chunk.choices[0].delta.content を読んでください。FreeLLMAPIは、すべてのプロバイダーに対してOpenAI形式でストリーミングします。

無料のLLM APIで、Pythonの非同期処理を使えますか。

はい。同じ base_url とキーで AsyncOpenAI を使ってください。無料枠は1分あたりのリクエスト数を制限するため、並列リクエストは少なく保ってください。

関連ガイド

出典

すべてのガイド · 無料モデルをすべて見る