Python-এ বিনামূল্যের LLM API
অফিশিয়াল openai Python প্যাকেজ যেকোনো OpenAI-compatible API-র সঙ্গে কাজ করে। আপনি base URL ও কী বদলান। এই গাইড FreeLLMAPI ব্যবহার করে, যা একটি কীর পেছনে 45টি বিনামূল্যের প্রোভাইডার টিয়ার একত্র করে এবং কোনো সীমা অনুরোধ আটকে দিলে পরের প্রোভাইডারে চলে যায়। নিচের প্রতিটি উদাহরণ সম্পূর্ণ এবং যেমন আছে তেমনই চলে।
কোড, মডেলের নাম এবং লাইভ ক্যাটালগের লেবেল ইংরেজিতে দেখানো হয়।
সেটআপ
FreeLLMAPI ইনস্টল করুন। এটি Docker-এ চলে। http://localhost:3001-এ ড্যাশবোর্ড খুলুন, Keys পেজে দুই বা তার বেশি প্রোভাইডার থেকে ফ্রি কী যোগ করুন এবং unified key কপি করুন। তারপর Python প্যাকেজ ইনস্টল করুন।
আপনার Python কোড শুধু unified key ব্যবহার করে। প্রোভাইডার কী FreeLLMAPI-তে থাকে, তার ডাটাবেসে এনক্রিপ্টেড অবস্থায়। আপনি প্রোভাইডার কী বদলালে বা যোগ করলে আপনার কোড বদলাতে হয় না।
ইনস্টল
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)মডেল auto ড্যাশবোর্ডের আপনার fallback চেইন অনুসরণ করে। আপনি auto:fast, auto:smart বা auto:reliable, auto:coding-এর মতো একটি profile, অথবা একটি নির্দিষ্ট model ID-ও ব্যবহার করতে পারেন।
Streaming ও response হেডার
উত্তর stream করুন
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()প্রতিটি response-এ একটি X-Routed-Via হেডার থাকে, যেখানে উত্তরদাতা প্রোভাইডার ও মডেল দেখানো হয়। SDK দিয়ে হেডার পড়তে with_raw_response ব্যবহার করুন এবং সাধারণ object পেতে parse() কল করুন।
রাউটিং হেডার পড়ুন
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)Tool calling
OpenAI-স্টাইলের tools পাঠান। রাউটার সেগুলো OpenAI-compatible প্রোভাইডারকে দেয় এবং Gemini-এর জন্য অনুবাদ করে। প্রতিটি প্রোভাইডারের জন্য উত্তর একই ফরম্যাটে ফেরত আসে।
একটি tool call এবং চূড়ান্ত উত্তর
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)কিছু প্রোভাইডার tool call সাধারণ টেক্সট হিসেবে ফেরত দেয়। FreeLLMAPI এই উত্তরগুলোকে প্রকৃত tool_calls-এ রূপান্তর করে, তাই আপনার কোড একটি ফরম্যাট পড়ে। সবসময় প্রথমে msg.tool_calls দেখুন, তারপর msg.content পড়ুন, কারণ মডেল tool ছাড়াও উত্তর দিতে পারে।
tool calling সহ একটি মডেল ব্যবহার করুন। এই বিনামূল্যের মডেলগুলো tools সমর্থন করে এবং আজ মাপা গতিতে সবচেয়ে দ্রুত:
| মডেল | বিনামূল্যে | কনটেক্সট | বিনামূল্যের সীমা (সেরা অফার) | টুল | ভিশন |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 অনুরোধ/মিনিট 250 অনুরোধ/দিন 70,000 টোকেন/মিনিট ~6M | হ্যাঁ | হ্যাঁ |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 অনুরোধ/মিনিট 50 অনুরোধ/দিন 50 req/day account-wide (1,000 after a $10 purchase) | হ্যাঁ | না |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq +আরও 1 | 131K | 30 অনুরোধ/মিনিট 1,000 অনুরোধ/দিন 8,000 টোকেন/মিনিট 200,000 টোকেন/দিন ~6M | হ্যাঁ | না |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM +আরও 1 | 131K | 30 অনুরোধ/মিনিট 1,000 অনুরোধ/দিন 8,000 টোকেন/মিনিট 200,000 টোকেন/দিন ~6M | হ্যাঁ | না |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 অনুরোধ/মিনিট 1,000 অনুরোধ/দিন 8,000 টোকেন/মিনিট 200,000 টোকেন/দিন ~6M | হ্যাঁ | না |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 অনুরোধ/মিনিট 20 অনুরোধ/দিন 250,000 টোকেন/মিনিট ~3M | হ্যাঁ | হ্যাঁ |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | হ্যাঁ | হ্যাঁ |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 অনুরোধ/মিনিট 5,000 অনুরোধ/দিন 500,000 টোকেন/দিন 500K tokens/day · 5,000 req/day | হ্যাঁ | হ্যাঁ |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 অনুরোধ/দিন 200 rpd | হ্যাঁ | না |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 অনুরোধ/মিনিট 20 অনুরোধ/দিন 250,000 টোকেন/মিনিট ~3M | হ্যাঁ | হ্যাঁ |
মিলে যাওয়া 146টি বিনামূল্যের মডেলের মধ্যে 10টি দেখানো হচ্ছে। সব মডেল দেখুন.
FreeLLMAPI ক্যাটালগের লাইভ ডেটা (সংস্করণ 2026.11.19, যাচাই: 2026-11-19)। বিনামূল্যের সীমা প্রায়ই বদলায়। ক্যাটালগ প্রতিদিন যাচাই করা হয়।
বিনামূল্যের সীমার মধ্যে async batch
AsyncOpenAI একই সময়ে অনেক অনুরোধ পাঠায়। ফ্রি টিয়ার প্রতি মিনিটে অনুরোধ সীমিত করে, তাই একটি semaphore দিয়ে একসঙ্গে চলা অনুরোধ সীমিত করুন। উদাহরণে প্রতিটি প্রোভাইডার সীমায় থাকলে আবার চেষ্টাও করা হয়।
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())রাউটার শুধু তখনই 429 ফেরত দেয় যখন চেইনের প্রতিটি কী সীমায় থাকে। তখন response-এ একটি Retry-After হেডার থাকে। বড় batch-এর জন্য ছোট semaphore মান এবং আরও প্রোভাইডার কী সবচেয়ে ভালো ফল দেয়।
প্রতিটি কাজের জন্য একটি model string বেছে নিন
Model string রাউটারকে বলে কীভাবে মডেল বেছে নিতে হবে। আপনি প্রতিটি কলে ভিন্ন string ব্যবহার করতে পারেন। ড্যাশবোর্ড বদলানোর দরকার নেই।
| কাজ | Model string | কারণ |
|---|---|---|
| ব্যবহারকারীদের জন্য chat-এর উত্তর | auto | ড্যাশবোর্ডে আপনার সেট করা fallback চেইন অনুসরণ করে |
| Classification, extraction, ছোট সারাংশ | auto:fast | সক্রিয় মডেলগুলো মাপা গতি অনুযায়ী র্যাংক করে |
| কঠিন প্রশ্ন, code review, পরিকল্পনা | auto:smart | সক্রিয় মডেলগুলো বুদ্ধিমত্তা অনুযায়ী র্যাংক করে |
| নির্দিষ্ট সময়ে শেষ হওয়া আবশ্যক এমন scheduled job | auto:reliable | সক্রিয় মডেলগুলো সাম্প্রতিক সফলতার হার অনুযায়ী র্যাংক করে |
| একটি অ্যাপের জন্য আলাদা চেইন | auto:<profile> | একটি নামযুক্ত fallback চেইন ব্যবহার করে |
| পুনরাবৃত্তিযোগ্য হতে হবে এমন পরীক্ষা | একটি নির্দিষ্ট model ID | প্রতিবার একই মডেল, কিন্তু সেই মডেলের সীমায় পৌঁছালে থেমে যায় |
আপনার কীগুলো এখন কোন মডেলগুলো কল করতে পারে তা দেখতে একটি ফিল্টারসহ মডেল তালিকার অনুরোধ করুন। সম্পূর্ণ তালিকায় এমন মডেলও থাকে যেগুলোর এখনো কোনো কী নেই।
এখন উত্তর দিতে পারে এমন মডেলের তালিকা
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])exhausted স্ট্যাটাসের একটি মডেলের কী আছে, কিন্তু সবগুলো এখন সীমায়। cooldown শেষ হলে স্ট্যাটাস পরিষ্কার হয়। needsKey স্ট্যাটাসের একটি মডেলের কোনো সক্রিয় কী নেই।
একটি কথোপকথনের জন্য একটি X-Session-Id হেডার পাঠান, extra_headers-এর মাধ্যমে। তখন FreeLLMAPI সেই কথোপকথনকে 30 মিনিট একটি মডেলে রাখে। হেডার না থাকলে এটি প্রথম user বার্তার একটি hash সেশন কী হিসেবে ব্যবহার করে।
Embeddings
text embed করুন
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")Embedding failover কখনো মডেল বদলায় না। এটি শুধু একই family পরিবেশনকারী প্রোভাইডারের মধ্যে সরে, তাই আপনার vector সামঞ্জস্যপূর্ণ থাকে। auto মান ড্যাশবোর্ডে আপনার সেট করা ডিফল্ট family ব্যবহার করে।
একটি input তালিকায় অনেক text পাঠান। 32টি text সহ একটি অনুরোধ বিনামূল্যের সীমা থেকে একটি অনুরোধ নেয়, 32টি নয়। প্রতিটি text family-র সর্বোচ্চ ইনপুটের নিচে রাখুন। আপনার vector-এর সঙ্গে family নাম সংরক্ষণ করুন, যাতে পরে একই family দিয়ে query embed করতে পারেন।
ত্রুটি ও সমাধান
| Exception | কারণ | সমাধান |
|---|---|---|
openai.AuthenticationError | ভুল unified key | Keys পেজ থেকে কী আবার কপি করুন |
openai.APIConnectionError | FreeLLMAPI চলছে না, অথবা ভুল port | ব্রাউজারে http://localhost:3001 খুলুন |
openai.NotFoundError | base URL-এ /v1 নেই | http://localhost:3001/v1 ব্যবহার করুন |
openai.RateLimitError | চেইনের সব কী সীমায় আছে | প্রোভাইডার যোগ করুন, concurrency কমান, Retry-After-এর জন্য অপেক্ষা করুন |
openai.BadRequestError, auto:name সহ | profile নামটি নেই | ড্যাশবোর্ডে profile নাম দেখুন |
ছবিসহ openai.UnprocessableEntityError (422) | আপনার চেইনে কোনো vision মডেল নেই | fallback চেইনে একটি vision মডেল চালু করুন |
ফ্রি টিয়ারে কোনো SLA নেই। লেটেন্সি দিনের বিভিন্ন সময়ে বদলায়। সবচেয়ে শক্তিশালী মডেলগুলো আগে তাদের দৈনিক সীমায় পৌঁছায়, এবং অনেক সীমা UTC মধ্যরাতে রিসেট হয়। নির্দিষ্ট সময়ের মধ্যে উত্তর দিতে হবে এমন সার্ভিসের জন্য বিনামূল্যের গেটওয়ে ব্যবহার করবেন না।
সাধারণ প্রশ্ন
Python-এর জন্য কি বিনামূল্যের LLM API আছে?
হ্যাঁ। অনেক প্রোভাইডারের বিনামূল্যের টিয়ার আছে যা openai Python প্যাকেজের সঙ্গে কাজ করে। FreeLLMAPI এগুলো একটি base URL ও একটি কীর পেছনে একত্র করে, প্রোভাইডারের মধ্যে failover সহ।
ভিন্ন base URL দিয়ে openai Python লাইব্রেরি কীভাবে ব্যবহার করব?
OpenAI() বা AsyncOpenAI()-এ base_url পাস করুন, যেমন base_url="http://localhost:3001/v1"। আপনার gateway কী api_key হিসেবে পাস করুন।
Python-এ rate limit error কীভাবে সামলাব?
ক্লায়েন্টে max_retries সেট করুন। openai.RateLimitError ধরুন, Retry-After হেডার পড়ুন এবং অপেক্ষা করুন। asyncio semaphore দিয়ে concurrency সীমিত করুন।
বিনামূল্যের LLM API দিয়ে Python-এ কি streaming কাজ করে?
হ্যাঁ। stream=True পাস করুন এবং chunk.choices[0].delta.content পড়ুন। FreeLLMAPI প্রতিটি প্রোভাইডারের জন্য OpenAI ফরম্যাটে স্ট্রিম করে।
বিনামূল্যের LLM API-র সঙ্গে কি async Python ব্যবহার করা যায়?
হ্যাঁ। একই base_url ও কী দিয়ে AsyncOpenAI ব্যবহার করুন। একসঙ্গে চলা অনুরোধ কম রাখুন, কারণ ফ্রি টিয়ার প্রতি মিনিটে অনুরোধ সীমিত করে।
সম্পর্কিত গাইড
- ফ্রি OpenAI-সামঞ্জস্যপূর্ণ API বেস URL
- LangChain-এর জন্য বিনামূল্যের LLM API
- AI এজেন্টের জন্য বিনামূল্যের LLM API
- ফাংশন কলিংসহ ফ্রি LLM API
- বিনামূল্যের LLM API রেট লিমিট
উৎস
- OpenAI Python SDK README (async, retries, raw responses, errors) (যাচাই: 20 November 2026)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (যাচাই: 20 November 2026)
- FreeLLMAPI docs: degraded mode and failover (যাচাই: 20 November 2026)