خانه / راهنماها / API رایگان LLM در Python

API رایگان LLM در Python

بسته رسمی Python با نام openai با هر API سازگار با OpenAI کار می‌کند. شما نشانی پایه و کلید را تغییر می‌دهید. این راهنما از FreeLLMAPI استفاده می‌کند که 45 سطح رایگان ارائه‌دهنده را پشت یک کلید گردآوری می‌کند و وقتی یک محدودیت درخواستی را متوقف کند، به ارائه‌دهنده بعدی می‌رود. هر مثال زیر کامل است و همان‌طور که هست اجرا می‌شود.

کد، نام مدل‌ها و برچسب‌های زندهٔ کاتالوگ به زبان انگلیسی نمایش داده می‌شوند.

راه‌اندازی

FreeLLMAPI را نصب کنید. این برنامه در Docker اجرا می‌شود. داشبورد را در http://localhost:3001 باز کنید، کلیدهای رایگان دو یا چند ارائه‌دهنده را در صفحه Keys اضافه کنید و کلید یکپارچه را کپی کنید. سپس بسته Python را نصب کنید.

کد Python شما فقط از کلید یکپارچه استفاده می‌کند. کلیدهای ارائه‌دهندگان در FreeLLMAPI و در پایگاه داده رمزشده آن می‌مانند. اگر کلید یک ارائه‌دهنده را تغییر دهید یا کلید جدید اضافه کنید، کد خود را تغییر نمی‌دهید.

نصب

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

مدل auto از زنجیره پشتیبان شما در داشبورد پیروی می‌کند. همچنین می‌توانید از auto:fast، auto:smart یا auto:reliable استفاده کنید، یا یک پروفایل مانند auto:coding، یا یک شناسه مدل ثابت.

استریم و هدرهای پاسخ

استریم پاسخ

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

هر پاسخ یک هدر X-Routed-Via دارد که ارائه‌دهنده و مدلی را نشان می‌دهد که پاسخ داده است. برای خواندن هدرها با SDK، از with_raw_response استفاده کنید و parse() را صدا بزنید تا شیء معمولی را بگیرید.

خواندن هدرهای مسیریابی

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

فراخوانی ابزار

tools به سبک OpenAI بفرستید. مسیریاب آن‌ها را به ارائه‌دهندگان سازگار با OpenAI می‌دهد و برای Gemini ترجمه می‌کند. پاسخ برای همه ارائه‌دهندگان در یک قالب برمی‌گردد.

یک فراخوانی ابزار و پاسخ نهایی

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

برخی ارائه‌دهندگان فراخوانی ابزار را به صورت متن ساده برمی‌گردانند. FreeLLMAPI این پاسخ‌ها را به tool_calls واقعی تبدیل می‌کند، پس کد شما یک قالب را می‌خواند. همیشه msg.tool_calls را پیش از خواندن msg.content بررسی کنید، زیرا یک مدل ممکن است بدون ابزار هم پاسخ دهد.

از یک مدل با فراخوانی ابزار استفاده کنید. این مدل‌های رایگان ابزار را پشتیبانی می‌کنند و امروز بیشترین سرعت اندازه‌گیری‌شده را دارند:

مدل‌های رایگان سریع با فراخوانی ابزار
مدلرایگان درمتن ورودیمحدودیت‌های رایگان (بهترین پیشنهاد)ابزارهابینایی
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 درخواست در دقیقه
250 درخواست در روز
70,000 توکن در دقیقه
~6M
بلهبله
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 درخواست در دقیقه
50 درخواست در روز
50 req/day account-wide (1,000 after a $10 purchase)
بلهخیر
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq +1 مورد دیگر131K30 درخواست در دقیقه
1,000 درخواست در روز
8,000 توکن در دقیقه
200,000 توکن در روز
~6M
بلهخیر
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM +1 مورد دیگر131K30 درخواست در دقیقه
1,000 درخواست در روز
8,000 توکن در دقیقه
200,000 توکن در روز
~6M
بلهخیر
GPT-OSS Safeguard 20BGroq131K30 درخواست در دقیقه
1,000 درخواست در روز
8,000 توکن در دقیقه
200,000 توکن در روز
~6M
بلهخیر
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 درخواست در دقیقه
20 درخواست در روز
250,000 توکن در دقیقه
~3M
بلهبله
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditبلهبله
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 درخواست در دقیقه
5,000 درخواست در روز
500,000 توکن در روز
500K tokens/day · 5,000 req/day
بلهبله
Nemotron 3.5 Lightning 30BRequesty1M200 درخواست در روز
200 rpd
بلهخیر
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 درخواست در دقیقه
20 درخواست در روز
250,000 توکن در دقیقه
~3M
بلهبله

نمایش 10 مدل رایگان مطابق از 146 مدل. مشاهده همه مدل‌ها.

داده‌های زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسی‌شده در 2026-11-19). محدودیت‌های رایگان اغلب تغییر می‌کنند. کاتالوگ هر روز بررسی می‌شود.

دسته‌های async در محدودیت‌های رایگان

AsyncOpenAI درخواست‌های زیادی را همزمان می‌فرستد. سطوح رایگان درخواست در دقیقه را محدود می‌کنند، پس همزمانی را با semaphore محدود کنید. این مثال وقتی همه ارائه‌دهندگان به حد خود رسیده باشند هم دوباره تلاش می‌کند.

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

مسیریاب فقط وقتی همه کلیدهای زنجیره به حد خود رسیده باشند، خطای 429 برمی‌گرداند. پاسخ آنگاه هدر Retry-After دارد. مقدار کوچک semaphore و کلیدهای ارائه‌دهنده بیشتر، برای دسته‌های بزرگ بهترین نتیجه را می‌دهند.

انتخاب رشته مدل برای هر کار

رشته مدل به مسیریاب می‌گوید چگونه مدل را انتخاب کند. می‌توانید در هر فراخوانی رشته متفاوتی استفاده کنید. لازم نیست داشبورد را تغییر دهید.

کاررشته مدلدلیل
پاسخ‌های گفتگو برای کاربرانautoاز زنجیره پشتیبانی که در داشبورد تنظیم کرده‌اید پیروی می‌کند
دسته‌بندی، استخراج، خلاصه‌های کوتاهauto:fastمدل‌های فعال را بر اساس سرعت اندازه‌گیری‌شده رتبه‌بندی می‌کند
پرسش‌های سخت، بررسی کد، برنامه‌ریزیauto:smartمدل‌های فعال را بر اساس هوش رتبه‌بندی می‌کند
کارهای زمان‌بندی‌شده که باید تمام شوندauto:reliableمدل‌های فعال را بر اساس نرخ اخیر موفقیت رتبه‌بندی می‌کند
یک زنجیره جداگانه برای یک برنامهauto:<profile>از یک زنجیره پشتیبان نام‌دار استفاده می‌کند
آزمون‌هایی که باید قابل تکرار باشندیک شناسه مدل ثابتهر بار همان مدل، اما وقتی به محدودیت آن مدل برسد متوقف می‌شود

برای دیدن مدل‌هایی که کلیدهای شما هم‌اکنون می‌توانند صدا بزنند، فهرست مدل‌ها را با فیلتر درخواست کنید. فهرست کامل شامل مدل‌هایی هم می‌شود که هنوز کلید ندارند.

فهرست مدل‌هایی که هم‌اکنون می‌توانند پاسخ دهند

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

مدلی با وضعیت exhausted کلید دارد، اما همه آن‌ها هم‌اکنون به یک محدودیت رسیده‌اند. این وضعیت وقتی دوره انتظار تمام شود پاک می‌شود. مدلی با وضعیت needsKey کلید فعال ندارد.

برای یک گفتگو، هدر X-Session-Id را با extra_headers بفرستید. آنگاه FreeLLMAPI آن گفتگو را 30 دقیقه روی یک مدل نگه می‌دارد. بدون این هدر، از یک هش پیام اول کاربر به عنوان کلید جلسه استفاده می‌کند.

Embedding

Embedding متن

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

جایگزینی embedding هرگز مدل را تغییر نمی‌دهد. فقط بین ارائه‌دهندگانی جابه‌جا می‌شود که همان خانواده را سرویس می‌دهند، پس بردارهای شما سازگار می‌مانند. مقدار auto از خانواده پیش‌فرضی استفاده می‌کند که در داشبورد تنظیم کرده‌اید.

متن‌های زیادی را در یک فهرست input بفرستید. یک درخواست با 32 متن، یک درخواست از محدودیت رایگان مصرف می‌کند، نه 32. هر متن را زیر حداکثر ورودی خانواده نگه دارید. نام خانواده را کنار بردارهایتان ذخیره کنید تا بعداً پرس‌وجوها را با همان خانواده embedding کنید.

خطاها و راه‌حل‌ها

استثناعلتراه‌حل
openai.AuthenticationErrorکلید یکپارچه اشتباه استکلید را دوباره از صفحه Keys کپی کنید
openai.APIConnectionErrorFreeLLMAPI اجرا نمی‌شود، یا پورت اشتباه استhttp://localhost:3001 را در مرورگر باز کنید
openai.NotFoundErrorنشانی پایه /v1 ندارداز http://localhost:3001/v1 استفاده کنید
openai.RateLimitErrorهمه کلیدهای زنجیره به حد خود رسیده‌اندارائه‌دهندگان اضافه کنید، همزمانی را کم کنید، یا منتظر Retry-After بمانید
openai.BadRequestError با auto:nameنام پروفایل وجود نداردنام پروفایل را در داشبورد بررسی کنید
openai.UnprocessableEntityError (422) همراه با تصویرهیچ مدل بینایی در زنجیره شما نیستیک مدل بینایی را در زنجیره پشتیبان فعال کنید

سطوح رایگان SLA ندارند. تأخیر در طول روز تغییر می‌کند. قوی‌ترین مدل‌ها زودتر به محدودیت‌های روزانه خود می‌رسند و بسیاری از محدودیت‌ها در نیمه‌شب UTC بازنشانی می‌شوند. برای سرویسی که باید در زمان مشخصی پاسخ دهد، از یک دروازه رایگان استفاده نکنید.

هر یک از این‌ها را با یک کلید استفاده کنید. FreeLLMAPI یک روتر متن‌باز و میزبانی‌شده روی سرور خودتان است. این روتر همه این سطوح رایگان را پشت یک نقطه پایانی سازگار با OpenAI قرار می‌دهد و وقتی یک سرویس به محدودیت نرخ برسد، به سرویس بعدی منتقل می‌شود. مرور کاتالوگ یا اجرای زنده.

پرسش‌های متداول

آیا یک API رایگان LLM برای Python وجود دارد؟

بله. بسیاری از ارائه‌دهندگان سطوح رایگانی دارند که با بسته openai در Python کار می‌کند. FreeLLMAPI آن‌ها را پشت یک نشانی پایه و یک کلید ترکیب می‌کند، با جایگزینی بین ارائه‌دهندگان.

چگونه کتابخانه openai در Python را با یک نشانی پایه متفاوت استفاده کنم؟

base_url را به OpenAI() یا AsyncOpenAI() بدهید، برای مثال base_url="http://localhost:3001/v1". کلید دروازه خود را به عنوان api_key بدهید.

چگونه خطاهای محدودیت نرخ را در Python مدیریت کنم؟

مقدار max_retries را روی کلاینت تنظیم کنید. openai.RateLimitError را بگیرید، هدر Retry-After را بخوانید و صبر کنید. همزمانی را با asyncio semaphore محدود کنید.

آیا استریم با API های رایگان LLM در Python کار می‌کند؟

بله. stream=True را بدهید و chunk.choices[0].delta.content را بخوانید. FreeLLMAPI برای هر ارائه‌دهنده در قالب OpenAI استریم می‌کند.

آیا می‌توانم Python با async را با یک API رایگان LLM استفاده کنم؟

بله. از AsyncOpenAI با همان base_url و کلید استفاده کنید. تعداد درخواست‌های موازی را کم نگه دارید، چون سطوح رایگان درخواست در دقیقه را محدود می‌کنند.

راهنماهای مرتبط

منابع

همه راهنماها · مرور همه مدل‌های رایگان