হোম / গাইড / AI এজেন্টের জন্য বিনামূল্যের LLM API

AI এজেন্টের জন্য বিনামূল্যের LLM API

একটি AI এজেন্ট একটি কাজের জন্য অনেক মডেল অনুরোধ পাঠায়। প্রতি ধাপে টুল কলিং ও বড় কনটেক্সট দরকার হয়। একটি বিনামূল্যের টিয়ার এজেন্টকে দ্রুত থামিয়ে দেয়। FreeLLMAPI 45টি বিনামূল্যের প্রোভাইডার টিয়ারকে একটি OpenAI-compatible কী-এর আড়ালে একত্র করে। কোনো সীমা অনুরোধ থামালে এটি পরের প্রোভাইডারে যায়, যাতে এজেন্ট কাজ চালিয়ে যেতে পারে। এই গাইডে টুল কলিং, ধাপ অনুযায়ী রাউটিং, দীর্ঘ সেশন এবং রাউটারের MCP সার্ভার নিয়ে আলোচনা করা হয়েছে।

কোড, মডেলের নাম এবং লাইভ ক্যাটালগের লেবেল ইংরেজিতে দেখানো হয়।

বিনামূল্যের API থেকে এজেন্টের কী দরকার

প্রয়োজনকেনFreeLLMAPI কী করে
টুল কলিংএজেন্ট টুল বেছে নেয় এবং চালায়প্রতিটি প্রোভাইডারে OpenAI-স্টাইলের tools পাঠায়। সাধারণ টেক্সট আকারের টুল কল বাস্তব tool_calls-এ রূপান্তর করে।
অনেক অনুরোধএকটি কাজে 20 থেকে 100 ধাপ লাগতে পারেপ্রতিটি কী-এর কোটা গোনে এবং 429 পেলে পরের কী বা প্রোভাইডারে যায়
বড় কনটেক্সটপ্রতি ধাপে টুল ফলাফল ও ইতিহাস বাড়েআপনার চেইনের মডেলে রাউট করে। আপনি একটি দীর্ঘ-কনটেক্সট প্রোফাইল তৈরি করতে পারেন।
স্থির আচরণকাজের মাঝখানে মডেল বদলালে এজেন্ট বিভ্রান্ত হতে পারেএকটি সেশনকে 30 মিনিট ধরে একই মডেলে রাখে। পরিবর্তন হলে ঐচ্ছিক কনটেক্সট হ্যান্ডঅফ।
দৃশ্যমানতাকোন মডেল ব্যর্থ হয়েছে তা জানতে হবেপ্রতিটি উত্তরে X-Routed-Via ও X-Fallback-Trail হেডার

বিনামূল্যের টিয়ারে সীমা থাকে। ফেইলওভার আপনার কীগুলোর মধ্যে লোড ভাগ করে দেয়, কিন্তু মোট পরিমাণ এখনও বিনামূল্যের সীমাগুলোর যোগফল। এজেন্টের কাজের জন্য চার বা তার বেশি প্রোভাইডারের কী যোগ করুন।

টুল কলিং ও 128K+ কনটেক্সট সহ বিনামূল্যের মডেল
মডেলবিনামূল্যেকনটেক্সটবিনামূল্যের সীমা (সেরা অফার)টুলভিশন
GLM 5.3UnoRouter1M1 অনুরোধ/মিনিট
1 req/min per model
হ্যাঁনা
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 অনুরোধ/মিনিট
40 RPM
হ্যাঁহ্যাঁ
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaহ্যাঁহ্যাঁ
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceহ্যাঁনা
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditহ্যাঁহ্যাঁ
Gemini 3.7 FlashGoogle AI Studio1M10 অনুরোধ/মিনিট
20 অনুরোধ/দিন
250,000 টোকেন/মিনিট
~3M
হ্যাঁহ্যাঁ
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditহ্যাঁহ্যাঁ
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 অনুরোধ/মিনিট
50 অনুরোধ/দিন
50 req/day account-wide (1,000 after a $10 purchase)
হ্যাঁহ্যাঁ
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 অনুরোধ/মিনিট
50 অনুরোধ/দিন
Shared rate limit
হ্যাঁনা
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 অনুরোধ/মিনিট
250 অনুরোধ/দিন
70,000 টোকেন/মিনিট
~6M
হ্যাঁহ্যাঁ
Gemini 3.6 FlashGoogle AI Studio1M10 অনুরোধ/মিনিট
20 অনুরোধ/দিন
250,000 টোকেন/মিনিট
~3M
হ্যাঁহ্যাঁ
Qwen 3.8 27BCloudflare Workers AI262KShared 10k neurons/dayহ্যাঁহ্যাঁ

মিলে যাওয়া 109টি বিনামূল্যের মডেলের মধ্যে 12টি দেখানো হচ্ছে। সব মডেল দেখুন.

FreeLLMAPI ক্যাটালগের লাইভ ডেটা (সংস্করণ 2026.11.19, যাচাই: 2026-11-19)। বিনামূল্যের সীমা প্রায়ই বদলায়। ক্যাটালগ প্রতিদিন যাচাই করা হয়।

Python-এ একটি সম্পূর্ণ এজেন্ট লুপ

নিচের লুপটি অফিসিয়াল OpenAI SDK ব্যবহার করে। এটি টুল পাঠায়, প্রতিটি টুল কল চালায়, ফলাফল ফেরত পাঠায় এবং মডেল চূড়ান্ত উত্তর দিলে থামে। সর্বোচ্চ ধাপ সংখ্যা পৌঁছালেও এটি থামে।

agent.py

import json
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],  # <unified-key>
    max_retries=3,
)

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
FUNCTIONS = {"get_weather": get_weather}

def call_model(messages, session_id):
    for attempt in range(5):
        try:
            return client.chat.completions.create(
                model="auto:smart",
                messages=messages,
                tools=TOOLS,
                extra_headers={"X-Session-Id": session_id},
            )
        except openai.RateLimitError as err:
            header = err.response.headers.get("retry-after", "")
            wait = int(header) if header.isdigit() else 2 ** attempt
            time.sleep(min(wait, 60))
    raise RuntimeError("All free providers are at their limit")

def run(task: str, session_id: str, max_steps: int = 10) -> str:
    messages = [
        {"role": "system", "content": "Use the tools when they help. Be brief."},
        {"role": "user", "content": task},
    ]
    for _ in range(max_steps):
        msg = call_model(messages, session_id).choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            fn = FUNCTIONS.get(call.function.name)
            try:
                args = json.loads(call.function.arguments or "{}")
                result = fn(**args) if fn else {"error": "unknown tool"}
            except Exception as exc:  # return tool errors to the model
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: too many steps."

print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))
  • X-Session-Id: কোটা থাকা পর্যন্ত একটি কাজের সব ধাপ একই মডেলে রাখে।
  • Retry-After: প্রতিটি কী সীমায় পৌঁছালে গেটওয়ে এই হেডার সহ 429 ফেরত দেয়। লুপ অপেক্ষা করে আবার চেষ্টা করে।
  • টুল ত্রুটি: লুপ ত্রুটিগুলো টুল ফলাফল হিসেবে মডেলে ফেরত পাঠায়। তখন মডেল তার কল সংশোধন করতে পারে।

প্রতিটি ধাপকে সঠিক মডেলে রাউট করুন

এজেন্টের সব ধাপ সমান নয়। একটি পরিকল্পনা ধাপে শক্তিশালী মডেল দরকার। যে ধাপ শুধু একটি ফিল্ড বের করে, তার দ্রুত মডেল দরকার। প্রতি ধরনের ধাপের জন্য আলাদা মডেল স্ট্রিং ব্যবহার করুন। ড্যাশবোর্ড বদলানোর দরকার নেই।

মডেল স্ট্রিংমডেল র‍্যাংক করা হয়এজেন্টের ব্যবহার
auto:smartবুদ্ধিমত্তাপরিকল্পনা, টুল নির্বাচন, চূড়ান্ত উত্তর
auto:fastপরিমাপকৃত গতি ও প্রথম বাইটের সময়এক্সট্র্যাকশন, শ্রেণিবিন্যাস, টুল আউটপুটের সংক্ষিপ্ত সারাংশ
auto:reliableসাম্প্রতিক সফলতার হারনির্ধারিত এজেন্ট যেগুলো অবশ্যই শেষ হতে হবে
auto:balancedআগে নির্ভরযোগ্যতা, তারপর গতি ও বুদ্ধিমত্তাসাধারণ ডিফল্ট
auto:<profile>আপনার নির্ধারিত ফলব্যাক চেইনশুধু টুল-কলিং মডেলের একটি চেইন

auto:* কৌশলগুলো সব সক্রিয় মডেল র‍্যাংক করে এবং আপনার চেইনের ক্রম উপেক্ষা করে। টুল সহ অনুরোধে এখনও টুল কলিং সমর্থন করে এমন মডেল দরকার। কিছু সক্রিয় মডেল টুল ভালোভাবে সমর্থন না করলে শুধু টুল-কলিং মডেল নিয়ে একটি প্রোফাইল তৈরি করুন। তারপর টুল ধাপের জন্য auto:<profile> ব্যবহার করুন। অজানা প্রোফাইলের নাম দিলে ত্রুটি 400 ফেরত আসে।

হেডার X-FreeLLM-Task-Type: code একটি অনুরোধের জন্য রাউটিং ওজন গতি থেকে বুদ্ধিমত্তায় সরিয়ে দেয়। এটি একটি নরম পছন্দ। এটি সক্ষমতা যাচাই বা ফলব্যাক চেইন বদলায় না।

দীর্ঘ এজেন্ট সেশন ও মডেল পরিবর্তন

দীর্ঘ কাজের সময় একটি মডেল তার দৈনিক সীমায় পৌঁছাতে পারে। তখন রাউটার অন্য মডেলে যায়। নতুন মডেল পুরো মেসেজের ইতিহাস পায়, কিন্তু সে জানে না যে আগের ধাপগুলো অন্য একটি মডেল করেছে।

মডেল বদলালে একটি ছোট সিস্টেম মেসেজ যোগ করতে কনটেক্সট হ্যান্ডঅফ চালু করুন। মেসেজটি নতুন মডেলকে কাজ চালিয়ে যেতে এবং আগের টুল ফলাফল রাখতে বলে।

FreeLLMAPI .env

FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
  • হ্যান্ডঅফ মেসেজ শুধু তখনই যোগ হয় যখন একটি সেশনের জন্য নির্বাচিত মডেল বদলায়।
  • সেশন 3 ঘণ্টা পর্যন্ত মেমোরিতে রাখা হয়। কিছুই ডিস্কে লেখা হয় না।
  • সেশনের কী হলো X-Session-Id হেডার। হেডার না থাকলে এটি প্রথম ব্যবহারকারীর মেসেজের একটি হ্যাশ।

রাউটারকে MCP সার্ভার হিসেবে ব্যবহার করুন

FreeLLMAPI /mcp-এ একটি MCP সার্ভারও। MCP বলতে পারে এমন একটি এজেন্ট একটি টেক্সট কাজ একটি FreeLLMAPI মডেলে পাঠাতে পারে। সেশনের সময় এটি গেটওয়ের অবস্থাও পড়তে পারে: ব্যবহারযোগ্য মডেল ও তাদের প্যারামিটার, প্রোভাইডারের স্বাস্থ্য, ব্যবহার ও ক্যাশ পরিসংখ্যান এবং রাউটিং কৌশল।

নতুন ইনস্টলে MCP সার্ফেস বন্ধ থাকে। ড্যাশবোর্ডে Keys পৃষ্ঠায়, Agent compatibility-এর অধীনে এটি চালু করুন। বন্ধ থাকাকালীন /mcp 403 ফেরত দেয়।

Claude Code-এ MCP সার্ভার যোগ করুন

claude mcp add --transport http freellmapi http://localhost:3001/mcp \
  --header "Authorization: Bearer <unified-key>"

Streamable HTTP সহ যেকোনো MCP ক্লায়েন্ট একইভাবে কাজ করে। এটিকে /mcp-এ নির্দেশ করুন এবং একীভূত কী একটি Bearer টোকেন হিসেবে পাঠান। কাজের টুলগুলোর মধ্যে আছে healthcheck, list_models ও ask_freellmapi। ask_freellmapi টুল API-এর একই চ্যাট রুট দিয়ে একটি কাজ চালায়, রাউটিং ও ফলব্যাক সহ।

কোডিং এজেন্টের জন্য FreeLLMAPI-তে সেটআপ কমান্ড আছে, যেগুলো আপনার জন্য ক্লায়েন্ট কনফিগারেশন লেখে। উদাহরণ: npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw ও setup-hermes। প্রতিটি কমান্ড --dry-run সমর্থন করে এবং আগে একটি ব্যাকআপ তৈরি করে।

সমস্যা সমাধান

সমস্যাকারণসমাধান
মডেল টেক্সটে উত্তর দেয়, কোনো টুল কল করে নামডেলের টুল কলিং দুর্বলশুধু টুল-কলিং মডেল সহ auto:<profile> ব্যবহার করুন
এজেন্ট কাজের মাঝখানে আবার শুরু করেএকটি সীমা মডেল বদলাতে বাধ্য করেছেX-Session-Id পাঠান এবং কনটেক্সট হ্যান্ডঅফ চালু করুন
অনেক ধাপের পর 429 ত্রুটিচেইনের সব কী সীমায় পৌঁছেছেপ্রোভাইডার যোগ করুন, ছোট ধাপের জন্য auto:fast ব্যবহার করুন এবং Retry-After-এর জন্য অপেক্ষা করুন
auto:name-এ 400 ত্রুটিপ্রোফাইলটি নেইড্যাশবোর্ডে প্রোফাইলের নাম যাচাই করুন
/mcp 403 ফেরত দেয়MCP সার্ফেস বন্ধ আছেKeys পৃষ্ঠায় Agent compatibility-র অধীনে এটি চালু করুন
কাজের শেষের দিকে কনটেক্সট দৈর্ঘ্যের ত্রুটিইতিহাস মডেলের উইন্ডোর চেয়ে বড়পুরোনো টুল ফলাফলের সারাংশ করুন, বা একটি দীর্ঘ-কনটেক্সট প্রোফাইল ব্যবহার করুন
একটি কী দিয়ে এর প্রতিটি ব্যবহার করুন। FreeLLMAPI একটি ওপেন-সোর্স, নিজের সার্ভারে চালানো রাউটার। এটি এই সব বিনামূল্যের টিয়ার একটি মাত্র OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টের পেছনে রাখে এবং কোনো একটির সীমা শেষ হলে অন্যটিতে সরে যায়। ক্যাটালগ ব্রাউজ করুন অথবা শুরু করুন.

সাধারণ প্রশ্ন

AI এজেন্টের জন্য কি বিনামূল্যের LLM API আছে?

হ্যাঁ। কয়েকটি প্রোভাইডারের বিনামূল্যের টিয়ারে টুল কলিং আছে। FreeLLMAPI এগুলোকে একটি OpenAI-compatible কী-এর আড়ালে একত্র করে এবং কোনো সীমা অনুরোধ থামালে পরের প্রোভাইডারে যায়।

টুল কলিংয়ের জন্য কোন বিনামূল্যের LLM সেরা?

টুল কলিং এবং 128K টোকেন বা তার বেশি কনটেক্সট উইন্ডো আছে এমন একটি মডেল ব্যবহার করুন। এই পৃষ্ঠার টেবিলে আজকের সবচেয়ে শক্তিশালী বিনামূল্যের মডেলগুলো দেখানো হয়েছে, যেগুলো এই দুটি নিয়মই পূরণ করে।

আমি কি FreeLLMAPI-কে MCP সার্ভার হিসেবে ব্যবহার করতে পারি?

হ্যাঁ। Keys পৃষ্ঠায় Agent compatibility-র অধীনে MCP সার্ফেস চালু করুন। তারপর আপনার MCP ক্লায়েন্টকে একীভূত কী সহ Bearer টোকেন হিসেবে /mcp-এর সাথে সংযুক্ত করুন।

কীভাবে এজেন্টকে রেট লিমিটে ব্যর্থ হওয়া থেকে থামাব?

আরও প্রোভাইডারের কী যোগ করুন, ছোট ধাপ auto:fast-এ পাঠান, Retry-After হেডার সহ 429-এ আবার চেষ্টা করুন এবং ধাপের সর্বোচ্চ সংখ্যা সেট করুন।

এজেন্ট কাজের মাঝখানে মডেল বদলালে কী হয়?

নতুন মডেল পুরো মেসেজের ইতিহাস পায়। কনটেক্সট হ্যান্ডঅফ চালু থাকলে এটি কাজ চালিয়ে যেতে বলে একটি ছোট নোটও পায়।

সম্পর্কিত গাইড

উৎস

সব গাইড · সব বিনামূল্যের মডেল দেখুন