AI এজেন্টের জন্য বিনামূল্যের LLM API
একটি AI এজেন্ট একটি কাজের জন্য অনেক মডেল অনুরোধ পাঠায়। প্রতি ধাপে টুল কলিং ও বড় কনটেক্সট দরকার হয়। একটি বিনামূল্যের টিয়ার এজেন্টকে দ্রুত থামিয়ে দেয়। FreeLLMAPI 45টি বিনামূল্যের প্রোভাইডার টিয়ারকে একটি OpenAI-compatible কী-এর আড়ালে একত্র করে। কোনো সীমা অনুরোধ থামালে এটি পরের প্রোভাইডারে যায়, যাতে এজেন্ট কাজ চালিয়ে যেতে পারে। এই গাইডে টুল কলিং, ধাপ অনুযায়ী রাউটিং, দীর্ঘ সেশন এবং রাউটারের MCP সার্ভার নিয়ে আলোচনা করা হয়েছে।
কোড, মডেলের নাম এবং লাইভ ক্যাটালগের লেবেল ইংরেজিতে দেখানো হয়।
বিনামূল্যের API থেকে এজেন্টের কী দরকার
| প্রয়োজন | কেন | FreeLLMAPI কী করে |
|---|---|---|
| টুল কলিং | এজেন্ট টুল বেছে নেয় এবং চালায় | প্রতিটি প্রোভাইডারে OpenAI-স্টাইলের tools পাঠায়। সাধারণ টেক্সট আকারের টুল কল বাস্তব tool_calls-এ রূপান্তর করে। |
| অনেক অনুরোধ | একটি কাজে 20 থেকে 100 ধাপ লাগতে পারে | প্রতিটি কী-এর কোটা গোনে এবং 429 পেলে পরের কী বা প্রোভাইডারে যায় |
| বড় কনটেক্সট | প্রতি ধাপে টুল ফলাফল ও ইতিহাস বাড়ে | আপনার চেইনের মডেলে রাউট করে। আপনি একটি দীর্ঘ-কনটেক্সট প্রোফাইল তৈরি করতে পারেন। |
| স্থির আচরণ | কাজের মাঝখানে মডেল বদলালে এজেন্ট বিভ্রান্ত হতে পারে | একটি সেশনকে 30 মিনিট ধরে একই মডেলে রাখে। পরিবর্তন হলে ঐচ্ছিক কনটেক্সট হ্যান্ডঅফ। |
| দৃশ্যমানতা | কোন মডেল ব্যর্থ হয়েছে তা জানতে হবে | প্রতিটি উত্তরে X-Routed-Via ও X-Fallback-Trail হেডার |
বিনামূল্যের টিয়ারে সীমা থাকে। ফেইলওভার আপনার কীগুলোর মধ্যে লোড ভাগ করে দেয়, কিন্তু মোট পরিমাণ এখনও বিনামূল্যের সীমাগুলোর যোগফল। এজেন্টের কাজের জন্য চার বা তার বেশি প্রোভাইডারের কী যোগ করুন।
| মডেল | বিনামূল্যে | কনটেক্সট | বিনামূল্যের সীমা (সেরা অফার) | টুল | ভিশন |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 অনুরোধ/মিনিট 1 req/min per model | হ্যাঁ | না |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 অনুরোধ/মিনিট 40 RPM | হ্যাঁ | হ্যাঁ |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | হ্যাঁ | হ্যাঁ |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | হ্যাঁ | না |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | হ্যাঁ | হ্যাঁ |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 অনুরোধ/মিনিট 20 অনুরোধ/দিন 250,000 টোকেন/মিনিট ~3M | হ্যাঁ | হ্যাঁ |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | হ্যাঁ | হ্যাঁ |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 অনুরোধ/মিনিট 50 অনুরোধ/দিন 50 req/day account-wide (1,000 after a $10 purchase) | হ্যাঁ | হ্যাঁ |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 অনুরোধ/মিনিট 50 অনুরোধ/দিন Shared rate limit | হ্যাঁ | না |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 অনুরোধ/মিনিট 250 অনুরোধ/দিন 70,000 টোকেন/মিনিট ~6M | হ্যাঁ | হ্যাঁ |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 অনুরোধ/মিনিট 20 অনুরোধ/দিন 250,000 টোকেন/মিনিট ~3M | হ্যাঁ | হ্যাঁ |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | হ্যাঁ | হ্যাঁ |
মিলে যাওয়া 109টি বিনামূল্যের মডেলের মধ্যে 12টি দেখানো হচ্ছে। সব মডেল দেখুন.
FreeLLMAPI ক্যাটালগের লাইভ ডেটা (সংস্করণ 2026.11.19, যাচাই: 2026-11-19)। বিনামূল্যের সীমা প্রায়ই বদলায়। ক্যাটালগ প্রতিদিন যাচাই করা হয়।
Python-এ একটি সম্পূর্ণ এজেন্ট লুপ
নিচের লুপটি অফিসিয়াল OpenAI SDK ব্যবহার করে। এটি টুল পাঠায়, প্রতিটি টুল কল চালায়, ফলাফল ফেরত পাঠায় এবং মডেল চূড়ান্ত উত্তর দিলে থামে। সর্বোচ্চ ধাপ সংখ্যা পৌঁছালেও এটি থামে।
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: কোটা থাকা পর্যন্ত একটি কাজের সব ধাপ একই মডেলে রাখে।
- Retry-After: প্রতিটি কী সীমায় পৌঁছালে গেটওয়ে এই হেডার সহ 429 ফেরত দেয়। লুপ অপেক্ষা করে আবার চেষ্টা করে।
- টুল ত্রুটি: লুপ ত্রুটিগুলো টুল ফলাফল হিসেবে মডেলে ফেরত পাঠায়। তখন মডেল তার কল সংশোধন করতে পারে।
প্রতিটি ধাপকে সঠিক মডেলে রাউট করুন
এজেন্টের সব ধাপ সমান নয়। একটি পরিকল্পনা ধাপে শক্তিশালী মডেল দরকার। যে ধাপ শুধু একটি ফিল্ড বের করে, তার দ্রুত মডেল দরকার। প্রতি ধরনের ধাপের জন্য আলাদা মডেল স্ট্রিং ব্যবহার করুন। ড্যাশবোর্ড বদলানোর দরকার নেই।
| মডেল স্ট্রিং | মডেল র্যাংক করা হয় | এজেন্টের ব্যবহার |
|---|---|---|
auto:smart | বুদ্ধিমত্তা | পরিকল্পনা, টুল নির্বাচন, চূড়ান্ত উত্তর |
auto:fast | পরিমাপকৃত গতি ও প্রথম বাইটের সময় | এক্সট্র্যাকশন, শ্রেণিবিন্যাস, টুল আউটপুটের সংক্ষিপ্ত সারাংশ |
auto:reliable | সাম্প্রতিক সফলতার হার | নির্ধারিত এজেন্ট যেগুলো অবশ্যই শেষ হতে হবে |
auto:balanced | আগে নির্ভরযোগ্যতা, তারপর গতি ও বুদ্ধিমত্তা | সাধারণ ডিফল্ট |
auto:<profile> | আপনার নির্ধারিত ফলব্যাক চেইন | শুধু টুল-কলিং মডেলের একটি চেইন |
auto:* কৌশলগুলো সব সক্রিয় মডেল র্যাংক করে এবং আপনার চেইনের ক্রম উপেক্ষা করে। টুল সহ অনুরোধে এখনও টুল কলিং সমর্থন করে এমন মডেল দরকার। কিছু সক্রিয় মডেল টুল ভালোভাবে সমর্থন না করলে শুধু টুল-কলিং মডেল নিয়ে একটি প্রোফাইল তৈরি করুন। তারপর টুল ধাপের জন্য auto:<profile> ব্যবহার করুন। অজানা প্রোফাইলের নাম দিলে ত্রুটি 400 ফেরত আসে।
হেডার X-FreeLLM-Task-Type: code একটি অনুরোধের জন্য রাউটিং ওজন গতি থেকে বুদ্ধিমত্তায় সরিয়ে দেয়। এটি একটি নরম পছন্দ। এটি সক্ষমতা যাচাই বা ফলব্যাক চেইন বদলায় না।
দীর্ঘ এজেন্ট সেশন ও মডেল পরিবর্তন
দীর্ঘ কাজের সময় একটি মডেল তার দৈনিক সীমায় পৌঁছাতে পারে। তখন রাউটার অন্য মডেলে যায়। নতুন মডেল পুরো মেসেজের ইতিহাস পায়, কিন্তু সে জানে না যে আগের ধাপগুলো অন্য একটি মডেল করেছে।
মডেল বদলালে একটি ছোট সিস্টেম মেসেজ যোগ করতে কনটেক্সট হ্যান্ডঅফ চালু করুন। মেসেজটি নতুন মডেলকে কাজ চালিয়ে যেতে এবং আগের টুল ফলাফল রাখতে বলে।
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- হ্যান্ডঅফ মেসেজ শুধু তখনই যোগ হয় যখন একটি সেশনের জন্য নির্বাচিত মডেল বদলায়।
- সেশন 3 ঘণ্টা পর্যন্ত মেমোরিতে রাখা হয়। কিছুই ডিস্কে লেখা হয় না।
- সেশনের কী হলো
X-Session-Idহেডার। হেডার না থাকলে এটি প্রথম ব্যবহারকারীর মেসেজের একটি হ্যাশ।
রাউটারকে MCP সার্ভার হিসেবে ব্যবহার করুন
FreeLLMAPI /mcp-এ একটি MCP সার্ভারও। MCP বলতে পারে এমন একটি এজেন্ট একটি টেক্সট কাজ একটি FreeLLMAPI মডেলে পাঠাতে পারে। সেশনের সময় এটি গেটওয়ের অবস্থাও পড়তে পারে: ব্যবহারযোগ্য মডেল ও তাদের প্যারামিটার, প্রোভাইডারের স্বাস্থ্য, ব্যবহার ও ক্যাশ পরিসংখ্যান এবং রাউটিং কৌশল।
নতুন ইনস্টলে MCP সার্ফেস বন্ধ থাকে। ড্যাশবোর্ডে Keys পৃষ্ঠায়, Agent compatibility-এর অধীনে এটি চালু করুন। বন্ধ থাকাকালীন /mcp 403 ফেরত দেয়।
Claude Code-এ MCP সার্ভার যোগ করুন
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Streamable HTTP সহ যেকোনো MCP ক্লায়েন্ট একইভাবে কাজ করে। এটিকে /mcp-এ নির্দেশ করুন এবং একীভূত কী একটি Bearer টোকেন হিসেবে পাঠান। কাজের টুলগুলোর মধ্যে আছে healthcheck, list_models ও ask_freellmapi। ask_freellmapi টুল API-এর একই চ্যাট রুট দিয়ে একটি কাজ চালায়, রাউটিং ও ফলব্যাক সহ।
কোডিং এজেন্টের জন্য FreeLLMAPI-তে সেটআপ কমান্ড আছে, যেগুলো আপনার জন্য ক্লায়েন্ট কনফিগারেশন লেখে। উদাহরণ: npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw ও setup-hermes। প্রতিটি কমান্ড --dry-run সমর্থন করে এবং আগে একটি ব্যাকআপ তৈরি করে।
সমস্যা সমাধান
| সমস্যা | কারণ | সমাধান |
|---|---|---|
| মডেল টেক্সটে উত্তর দেয়, কোনো টুল কল করে না | মডেলের টুল কলিং দুর্বল | শুধু টুল-কলিং মডেল সহ auto:<profile> ব্যবহার করুন |
| এজেন্ট কাজের মাঝখানে আবার শুরু করে | একটি সীমা মডেল বদলাতে বাধ্য করেছে | X-Session-Id পাঠান এবং কনটেক্সট হ্যান্ডঅফ চালু করুন |
| অনেক ধাপের পর 429 ত্রুটি | চেইনের সব কী সীমায় পৌঁছেছে | প্রোভাইডার যোগ করুন, ছোট ধাপের জন্য auto:fast ব্যবহার করুন এবং Retry-After-এর জন্য অপেক্ষা করুন |
auto:name-এ 400 ত্রুটি | প্রোফাইলটি নেই | ড্যাশবোর্ডে প্রোফাইলের নাম যাচাই করুন |
/mcp 403 ফেরত দেয় | MCP সার্ফেস বন্ধ আছে | Keys পৃষ্ঠায় Agent compatibility-র অধীনে এটি চালু করুন |
| কাজের শেষের দিকে কনটেক্সট দৈর্ঘ্যের ত্রুটি | ইতিহাস মডেলের উইন্ডোর চেয়ে বড় | পুরোনো টুল ফলাফলের সারাংশ করুন, বা একটি দীর্ঘ-কনটেক্সট প্রোফাইল ব্যবহার করুন |
সাধারণ প্রশ্ন
AI এজেন্টের জন্য কি বিনামূল্যের LLM API আছে?
হ্যাঁ। কয়েকটি প্রোভাইডারের বিনামূল্যের টিয়ারে টুল কলিং আছে। FreeLLMAPI এগুলোকে একটি OpenAI-compatible কী-এর আড়ালে একত্র করে এবং কোনো সীমা অনুরোধ থামালে পরের প্রোভাইডারে যায়।
টুল কলিংয়ের জন্য কোন বিনামূল্যের LLM সেরা?
টুল কলিং এবং 128K টোকেন বা তার বেশি কনটেক্সট উইন্ডো আছে এমন একটি মডেল ব্যবহার করুন। এই পৃষ্ঠার টেবিলে আজকের সবচেয়ে শক্তিশালী বিনামূল্যের মডেলগুলো দেখানো হয়েছে, যেগুলো এই দুটি নিয়মই পূরণ করে।
আমি কি FreeLLMAPI-কে MCP সার্ভার হিসেবে ব্যবহার করতে পারি?
হ্যাঁ। Keys পৃষ্ঠায় Agent compatibility-র অধীনে MCP সার্ফেস চালু করুন। তারপর আপনার MCP ক্লায়েন্টকে একীভূত কী সহ Bearer টোকেন হিসেবে /mcp-এর সাথে সংযুক্ত করুন।
কীভাবে এজেন্টকে রেট লিমিটে ব্যর্থ হওয়া থেকে থামাব?
আরও প্রোভাইডারের কী যোগ করুন, ছোট ধাপ auto:fast-এ পাঠান, Retry-After হেডার সহ 429-এ আবার চেষ্টা করুন এবং ধাপের সর্বোচ্চ সংখ্যা সেট করুন।
এজেন্ট কাজের মাঝখানে মডেল বদলালে কী হয়?
নতুন মডেল পুরো মেসেজের ইতিহাস পায়। কনটেক্সট হ্যান্ডঅফ চালু থাকলে এটি কাজ চালিয়ে যেতে বলে একটি ছোট নোটও পায়।
সম্পর্কিত গাইড
- ফাংশন কলিংসহ ফ্রি LLM API
- Python-এ বিনামূল্যের LLM API
- LangChain-এর জন্য বিনামূল্যের LLM API
- n8n-এর জন্য ফ্রি LLM API
- Claude Code বিনামূল্যে কীভাবে ব্যবহার করবেন
- বিনামূল্যের LLM API রেট লিমিট
উৎস
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (যাচাই: 20 November 2026)
- FreeLLMAPI docs: clients, MCP server and context handoff (যাচাই: 20 November 2026)
- OpenAI Python SDK: errors and retries (যাচাই: 20 November 2026)
- Claude Code docs: MCP (যাচাই: 20 November 2026)