হোম / গাইড / Python-এ বিনামূল্যের LLM API

Python-এ বিনামূল্যের LLM API

অফিশিয়াল openai Python প্যাকেজ যেকোনো OpenAI-compatible API-র সঙ্গে কাজ করে। আপনি base URL ও কী বদলান। এই গাইড FreeLLMAPI ব্যবহার করে, যা একটি কীর পেছনে 45টি বিনামূল্যের প্রোভাইডার টিয়ার একত্র করে এবং কোনো সীমা অনুরোধ আটকে দিলে পরের প্রোভাইডারে চলে যায়। নিচের প্রতিটি উদাহরণ সম্পূর্ণ এবং যেমন আছে তেমনই চলে।

কোড, মডেলের নাম এবং লাইভ ক্যাটালগের লেবেল ইংরেজিতে দেখানো হয়।

সেটআপ

FreeLLMAPI ইনস্টল করুন। এটি Docker-এ চলে। http://localhost:3001-এ ড্যাশবোর্ড খুলুন, Keys পেজে দুই বা তার বেশি প্রোভাইডার থেকে ফ্রি কী যোগ করুন এবং unified key কপি করুন। তারপর Python প্যাকেজ ইনস্টল করুন।

আপনার Python কোড শুধু unified key ব্যবহার করে। প্রোভাইডার কী FreeLLMAPI-তে থাকে, তার ডাটাবেসে এনক্রিপ্টেড অবস্থায়। আপনি প্রোভাইডার কী বদলালে বা যোগ করলে আপনার কোড বদলাতে হয় না।

ইনস্টল

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

মডেল auto ড্যাশবোর্ডের আপনার fallback চেইন অনুসরণ করে। আপনি auto:fast, auto:smart বা auto:reliable, auto:coding-এর মতো একটি profile, অথবা একটি নির্দিষ্ট model ID-ও ব্যবহার করতে পারেন।

Streaming ও response হেডার

উত্তর stream করুন

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

প্রতিটি response-এ একটি X-Routed-Via হেডার থাকে, যেখানে উত্তরদাতা প্রোভাইডার ও মডেল দেখানো হয়। SDK দিয়ে হেডার পড়তে with_raw_response ব্যবহার করুন এবং সাধারণ object পেতে parse() কল করুন।

রাউটিং হেডার পড়ুন

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

Tool calling

OpenAI-স্টাইলের tools পাঠান। রাউটার সেগুলো OpenAI-compatible প্রোভাইডারকে দেয় এবং Gemini-এর জন্য অনুবাদ করে। প্রতিটি প্রোভাইডারের জন্য উত্তর একই ফরম্যাটে ফেরত আসে।

একটি tool call এবং চূড়ান্ত উত্তর

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

কিছু প্রোভাইডার tool call সাধারণ টেক্সট হিসেবে ফেরত দেয়। FreeLLMAPI এই উত্তরগুলোকে প্রকৃত tool_calls-এ রূপান্তর করে, তাই আপনার কোড একটি ফরম্যাট পড়ে। সবসময় প্রথমে msg.tool_calls দেখুন, তারপর msg.content পড়ুন, কারণ মডেল tool ছাড়াও উত্তর দিতে পারে।

tool calling সহ একটি মডেল ব্যবহার করুন। এই বিনামূল্যের মডেলগুলো tools সমর্থন করে এবং আজ মাপা গতিতে সবচেয়ে দ্রুত:

tool calling সহ দ্রুত বিনামূল্যের মডেল
মডেলবিনামূল্যেকনটেক্সটবিনামূল্যের সীমা (সেরা অফার)টুলভিশন
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 অনুরোধ/মিনিট
250 অনুরোধ/দিন
70,000 টোকেন/মিনিট
~6M
হ্যাঁহ্যাঁ
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 অনুরোধ/মিনিট
50 অনুরোধ/দিন
50 req/day account-wide (1,000 after a $10 purchase)
হ্যাঁনা
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq +আরও 1131K30 অনুরোধ/মিনিট
1,000 অনুরোধ/দিন
8,000 টোকেন/মিনিট
200,000 টোকেন/দিন
~6M
হ্যাঁনা
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM +আরও 1131K30 অনুরোধ/মিনিট
1,000 অনুরোধ/দিন
8,000 টোকেন/মিনিট
200,000 টোকেন/দিন
~6M
হ্যাঁনা
GPT-OSS Safeguard 20BGroq131K30 অনুরোধ/মিনিট
1,000 অনুরোধ/দিন
8,000 টোকেন/মিনিট
200,000 টোকেন/দিন
~6M
হ্যাঁনা
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 অনুরোধ/মিনিট
20 অনুরোধ/দিন
250,000 টোকেন/মিনিট
~3M
হ্যাঁহ্যাঁ
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditহ্যাঁহ্যাঁ
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 অনুরোধ/মিনিট
5,000 অনুরোধ/দিন
500,000 টোকেন/দিন
500K tokens/day · 5,000 req/day
হ্যাঁহ্যাঁ
Nemotron 3.5 Lightning 30BRequesty1M200 অনুরোধ/দিন
200 rpd
হ্যাঁনা
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 অনুরোধ/মিনিট
20 অনুরোধ/দিন
250,000 টোকেন/মিনিট
~3M
হ্যাঁহ্যাঁ

মিলে যাওয়া 146টি বিনামূল্যের মডেলের মধ্যে 10টি দেখানো হচ্ছে। সব মডেল দেখুন.

FreeLLMAPI ক্যাটালগের লাইভ ডেটা (সংস্করণ 2026.11.19, যাচাই: 2026-11-19)। বিনামূল্যের সীমা প্রায়ই বদলায়। ক্যাটালগ প্রতিদিন যাচাই করা হয়।

বিনামূল্যের সীমার মধ্যে async batch

AsyncOpenAI একই সময়ে অনেক অনুরোধ পাঠায়। ফ্রি টিয়ার প্রতি মিনিটে অনুরোধ সীমিত করে, তাই একটি semaphore দিয়ে একসঙ্গে চলা অনুরোধ সীমিত করুন। উদাহরণে প্রতিটি প্রোভাইডার সীমায় থাকলে আবার চেষ্টাও করা হয়।

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

রাউটার শুধু তখনই 429 ফেরত দেয় যখন চেইনের প্রতিটি কী সীমায় থাকে। তখন response-এ একটি Retry-After হেডার থাকে। বড় batch-এর জন্য ছোট semaphore মান এবং আরও প্রোভাইডার কী সবচেয়ে ভালো ফল দেয়।

প্রতিটি কাজের জন্য একটি model string বেছে নিন

Model string রাউটারকে বলে কীভাবে মডেল বেছে নিতে হবে। আপনি প্রতিটি কলে ভিন্ন string ব্যবহার করতে পারেন। ড্যাশবোর্ড বদলানোর দরকার নেই।

কাজModel stringকারণ
ব্যবহারকারীদের জন্য chat-এর উত্তরautoড্যাশবোর্ডে আপনার সেট করা fallback চেইন অনুসরণ করে
Classification, extraction, ছোট সারাংশauto:fastসক্রিয় মডেলগুলো মাপা গতি অনুযায়ী র‍্যাংক করে
কঠিন প্রশ্ন, code review, পরিকল্পনাauto:smartসক্রিয় মডেলগুলো বুদ্ধিমত্তা অনুযায়ী র‍্যাংক করে
নির্দিষ্ট সময়ে শেষ হওয়া আবশ্যক এমন scheduled jobauto:reliableসক্রিয় মডেলগুলো সাম্প্রতিক সফলতার হার অনুযায়ী র‍্যাংক করে
একটি অ্যাপের জন্য আলাদা চেইনauto:<profile>একটি নামযুক্ত fallback চেইন ব্যবহার করে
পুনরাবৃত্তিযোগ্য হতে হবে এমন পরীক্ষাএকটি নির্দিষ্ট model IDপ্রতিবার একই মডেল, কিন্তু সেই মডেলের সীমায় পৌঁছালে থেমে যায়

আপনার কীগুলো এখন কোন মডেলগুলো কল করতে পারে তা দেখতে একটি ফিল্টারসহ মডেল তালিকার অনুরোধ করুন। সম্পূর্ণ তালিকায় এমন মডেলও থাকে যেগুলোর এখনো কোনো কী নেই।

এখন উত্তর দিতে পারে এমন মডেলের তালিকা

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

exhausted স্ট্যাটাসের একটি মডেলের কী আছে, কিন্তু সবগুলো এখন সীমায়। cooldown শেষ হলে স্ট্যাটাস পরিষ্কার হয়। needsKey স্ট্যাটাসের একটি মডেলের কোনো সক্রিয় কী নেই।

একটি কথোপকথনের জন্য একটি X-Session-Id হেডার পাঠান, extra_headers-এর মাধ্যমে। তখন FreeLLMAPI সেই কথোপকথনকে 30 মিনিট একটি মডেলে রাখে। হেডার না থাকলে এটি প্রথম user বার্তার একটি hash সেশন কী হিসেবে ব্যবহার করে।

Embeddings

text embed করুন

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

Embedding failover কখনো মডেল বদলায় না। এটি শুধু একই family পরিবেশনকারী প্রোভাইডারের মধ্যে সরে, তাই আপনার vector সামঞ্জস্যপূর্ণ থাকে। auto মান ড্যাশবোর্ডে আপনার সেট করা ডিফল্ট family ব্যবহার করে।

একটি input তালিকায় অনেক text পাঠান। 32টি text সহ একটি অনুরোধ বিনামূল্যের সীমা থেকে একটি অনুরোধ নেয়, 32টি নয়। প্রতিটি text family-র সর্বোচ্চ ইনপুটের নিচে রাখুন। আপনার vector-এর সঙ্গে family নাম সংরক্ষণ করুন, যাতে পরে একই family দিয়ে query embed করতে পারেন।

ত্রুটি ও সমাধান

Exceptionকারণসমাধান
openai.AuthenticationErrorভুল unified keyKeys পেজ থেকে কী আবার কপি করুন
openai.APIConnectionErrorFreeLLMAPI চলছে না, অথবা ভুল portব্রাউজারে http://localhost:3001 খুলুন
openai.NotFoundErrorbase URL-এ /v1 নেইhttp://localhost:3001/v1 ব্যবহার করুন
openai.RateLimitErrorচেইনের সব কী সীমায় আছেপ্রোভাইডার যোগ করুন, concurrency কমান, Retry-After-এর জন্য অপেক্ষা করুন
openai.BadRequestError, auto:name সহprofile নামটি নেইড্যাশবোর্ডে profile নাম দেখুন
ছবিসহ openai.UnprocessableEntityError (422)আপনার চেইনে কোনো vision মডেল নেইfallback চেইনে একটি vision মডেল চালু করুন

ফ্রি টিয়ারে কোনো SLA নেই। লেটেন্সি দিনের বিভিন্ন সময়ে বদলায়। সবচেয়ে শক্তিশালী মডেলগুলো আগে তাদের দৈনিক সীমায় পৌঁছায়, এবং অনেক সীমা UTC মধ্যরাতে রিসেট হয়। নির্দিষ্ট সময়ের মধ্যে উত্তর দিতে হবে এমন সার্ভিসের জন্য বিনামূল্যের গেটওয়ে ব্যবহার করবেন না।

একটি কী দিয়ে এর প্রতিটি ব্যবহার করুন। FreeLLMAPI একটি ওপেন-সোর্স, নিজের সার্ভারে চালানো রাউটার। এটি এই সব বিনামূল্যের টিয়ার একটি মাত্র OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টের পেছনে রাখে এবং কোনো একটির সীমা শেষ হলে অন্যটিতে সরে যায়। ক্যাটালগ ব্রাউজ করুন অথবা শুরু করুন.

সাধারণ প্রশ্ন

Python-এর জন্য কি বিনামূল্যের LLM API আছে?

হ্যাঁ। অনেক প্রোভাইডারের বিনামূল্যের টিয়ার আছে যা openai Python প্যাকেজের সঙ্গে কাজ করে। FreeLLMAPI এগুলো একটি base URL ও একটি কীর পেছনে একত্র করে, প্রোভাইডারের মধ্যে failover সহ।

ভিন্ন base URL দিয়ে openai Python লাইব্রেরি কীভাবে ব্যবহার করব?

OpenAI() বা AsyncOpenAI()-এ base_url পাস করুন, যেমন base_url="http://localhost:3001/v1"। আপনার gateway কী api_key হিসেবে পাস করুন।

Python-এ rate limit error কীভাবে সামলাব?

ক্লায়েন্টে max_retries সেট করুন। openai.RateLimitError ধরুন, Retry-After হেডার পড়ুন এবং অপেক্ষা করুন। asyncio semaphore দিয়ে concurrency সীমিত করুন।

বিনামূল্যের LLM API দিয়ে Python-এ কি streaming কাজ করে?

হ্যাঁ। stream=True পাস করুন এবং chunk.choices[0].delta.content পড়ুন। FreeLLMAPI প্রতিটি প্রোভাইডারের জন্য OpenAI ফরম্যাটে স্ট্রিম করে।

বিনামূল্যের LLM API-র সঙ্গে কি async Python ব্যবহার করা যায়?

হ্যাঁ। একই base_url ও কী দিয়ে AsyncOpenAI ব্যবহার করুন। একসঙ্গে চলা অনুরোধ কম রাখুন, কারণ ফ্রি টিয়ার প্রতি মিনিটে অনুরোধ সীমিত করে।

সম্পর্কিত গাইড

উৎস

সব গাইড · সব বিনামূল্যের মডেল দেখুন