AI ഏജന്റുകൾക്കുള്ള സൗജന്യ LLM API
ഒരു AI ഏജന്റ് ഒരു ജോലിക്കായി ധാരാളം മോഡൽ അഭ്യർത്ഥനകൾ അയയ്ക്കുന്നു. ഓരോ ഘട്ടത്തിനും tool calling ഉം വലിയ കോൺടെക്സ്റ്റും ആവശ്യമാണ്. ഒരൊറ്റ സൗജന്യ ടിയർ ഏജന്റിനെ വേഗം നിർത്തും. FreeLLMAPI ഒരു OpenAI-compatible കീയ്ക്ക് പിന്നിൽ 45 സൗജന്യ provider ടിയറുകൾ ഒരുമിപ്പിക്കുന്നു. ഒരു പരിധി അഭ്യർത്ഥനയെ തടയുമ്പോൾ അത് അടുത്ത provider-ലേക്ക് മാറുന്നു, അതിനാൽ ഏജന്റിന് തുടരാം. ഈ ഗൈഡ് tool calling, ഘട്ടം അനുസരിച്ചുള്ള റൂട്ടിംഗ്, ദീർഘ സെഷനുകൾ, റൂട്ടറിന്റെ MCP സെർവർ എന്നിവ വിശദീകരിക്കുന്നു.
കോഡ്, മോഡൽ പേരുകളും തത്സമയ കാറ്റലോഗ് ലേബലുകളും ഇംഗ്ലീഷിൽ കാണിക്കുന്നു.
ഒരു സൗജന്യ API-യിൽ ഏജന്റിന് വേണ്ടത്
| ആവശ്യം | കാരണം | FreeLLMAPI എന്ത് ചെയ്യുന്നു |
|---|---|---|
| Tool calling | ഏജന്റ് tools തിരഞ്ഞെടുക്കുകയും പ്രവർത്തിപ്പിക്കുകയും ചെയ്യുന്നു | ഓരോ provider-നും OpenAI-ശൈലിയിലുള്ള tools അയയ്ക്കുന്നു. സാധാരണ ടെക്സ്റ്റ് tool calls-നെ യഥാർത്ഥ tool_calls ആക്കി മാറ്റുന്നു. |
| ധാരാളം അഭ്യർത്ഥനകൾ | ഒരു ജോലിക്ക് 20 മുതൽ 100 വരെ ഘട്ടങ്ങൾ എടുക്കാം | ഓരോ കീയുടെയും ക്വാട്ട കണക്കാക്കുന്നു, 429 ലഭിക്കുമ്പോൾ അടുത്ത കീയിലേക്കോ provider-ലേക്കോ മാറുന്നു |
| വലിയ കോൺടെക്സ്റ്റ് | ഓരോ ഘട്ടത്തിലും tool ഫലങ്ങളും ചരിത്രവും വളരുന്നു | നിങ്ങളുടെ chain-ലെ മോഡലുകളിലേക്ക് റൂട്ട് ചെയ്യുന്നു. ദീർഘ-കോൺടെക്സ്റ്റ് profile ഉണ്ടാക്കാം. |
| സ്ഥിരമായ പെരുമാറ്റം | ഒരു ജോലിയുടെ നടുവിൽ മോഡൽ മാറുന്നത് ഏജന്റിനെ കുഴക്കാം | ഒരു സെഷൻ 30 മിനിറ്റ് ഒരേ മോഡലിൽ നിലനിർത്തുന്നു. മാറ്റം സംഭവിക്കുമ്പോൾ ഓപ്ഷണൽ കോൺടെക്സ്റ്റ് കൈമാറ്റം. |
| ദൃശ്യത | ഏത് മോഡൽ പരാജയപ്പെട്ടു എന്ന് നിങ്ങൾ അറിയണം | ഓരോ response-ലും X-Routed-Via, X-Fallback-Trail headers |
സൗജന്യ ടിയറുകൾക്ക് പരിധികളുണ്ട്. Failover നിങ്ങളുടെ കീകളിലുടനീളം ലോഡ് വിതരണം ചെയ്യുന്നു, പക്ഷേ മൊത്തം അളവ് സൗജന്യ പരിധികളുടെ ആകെത്തുക തന്നെയാണ്. ഏജന്റ് ജോലികൾക്കായി നാലോ അതിലധികമോ providers-ൽ നിന്നുള്ള കീകൾ ചേർക്കുക.
| മോഡൽ | സൗജന്യമായി ലഭ്യം | കോൺടെക്സ്റ്റ് | സൗജന്യ പരിധികൾ (ഏറ്റവും മികച്ച ഓഫർ) | ടൂളുകൾ | ദൃശ്യ ശേഷി |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 അഭ്യർഥന/മിനിറ്റ് 1 req/min per model | അതെ | ഇല്ല |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 അഭ്യർഥന/മിനിറ്റ് 40 RPM | അതെ | അതെ |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | അതെ | അതെ |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | അതെ | ഇല്ല |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | അതെ | അതെ |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 അഭ്യർഥന/മിനിറ്റ് 20 അഭ്യർഥന/ദിവസം 250,000 ടോക്കൺ/മിനിറ്റ് ~3M | അതെ | അതെ |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | അതെ | അതെ |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 അഭ്യർഥന/മിനിറ്റ് 50 അഭ്യർഥന/ദിവസം 50 req/day account-wide (1,000 after a $10 purchase) | അതെ | അതെ |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 അഭ്യർഥന/മിനിറ്റ് 50 അഭ്യർഥന/ദിവസം Shared rate limit | അതെ | ഇല്ല |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 അഭ്യർഥന/മിനിറ്റ് 250 അഭ്യർഥന/ദിവസം 70,000 ടോക്കൺ/മിനിറ്റ് ~6M | അതെ | അതെ |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 അഭ്യർഥന/മിനിറ്റ് 20 അഭ്യർഥന/ദിവസം 250,000 ടോക്കൺ/മിനിറ്റ് ~3M | അതെ | അതെ |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | അതെ | അതെ |
പൊരുത്തപ്പെടുന്ന 109 സൗജന്യ മോഡലുകളിൽ 12 എണ്ണം കാണിക്കുന്നു. എല്ലാ മോഡലുകളും കാണുക.
FreeLLMAPI കാറ്റലോഗിൽ നിന്നുള്ള തത്സമയ ഡാറ്റ (പതിപ്പ് 2026.11.19, 2026-11-19 ൽ പരിശോധിച്ചത്). സൗജന്യ പരിധികൾ പലപ്പോഴും മാറുന്നു. കാറ്റലോഗ് എല്ലാ ദിവസവും പരിശോധിക്കുന്നു.
Python-ൽ പൂർണ്ണമായ ഏജന്റ് ലൂപ്പ്
താഴെയുള്ള ലൂപ്പ് ഔദ്യോഗിക OpenAI SDK ഉപയോഗിക്കുന്നു. ഇത് tools അയയ്ക്കുന്നു, ഓരോ tool call-ഉം പ്രവർത്തിപ്പിക്കുന്നു, ഫലം തിരികെ അയയ്ക്കുന്നു, മോഡൽ അന്തിമ ഉത്തരം നൽകുമ്പോൾ നിർത്തുന്നു. പരമാവധി ഘട്ടങ്ങളുടെ എണ്ണം കഴിഞ്ഞാലും ഇത് നിർത്തുന്നു.
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: ഒരു ജോലിയുടെ എല്ലാ ഘട്ടങ്ങളും ആ മോഡലിന് ക്വാട്ട ഉള്ളിടത്തോളം ഒരേ മോഡലിൽ നിലനിർത്തുന്നു.
- Retry-After: എല്ലാ കീകളും അവയുടെ പരിധിയിൽ ആകുമ്പോൾ ഗേറ്റ്വേ ഈ header-നൊപ്പം 429 നൽകുന്നു. ലൂപ്പ് കാത്തിരുന്ന് വീണ്ടും ശ്രമിക്കുന്നു.
- Tool പിശകുകൾ: ലൂപ്പ് പിശകുകളെ tool ഫലങ്ങളായി മോഡലിലേക്ക് തിരികെ അയയ്ക്കുന്നു. അപ്പോൾ മോഡലിന് അതിന്റെ call തിരുത്താം.
ഓരോ ഘട്ടവും ശരിയായ മോഡലിലേക്ക് റൂട്ട് ചെയ്യുക
ഏജന്റ് ഘട്ടങ്ങൾ എല്ലാം ഒരുപോലെയല്ല. ആസൂത്രണ ഘട്ടത്തിന് ശക്തമായ മോഡൽ വേണം. ഒരു ഫീൽഡ് മാത്രം എടുക്കുന്ന ഘട്ടത്തിന് വേഗമുള്ള മോഡൽ വേണം. ഓരോ തരം ഘട്ടത്തിനും വ്യത്യസ്ത model string ഉപയോഗിക്കുക. dashboard മാറ്റേണ്ടതില്ല.
| Model string | റാങ്ക് ചെയ്യുന്നത് | ഏജന്റ് ഉപയോഗം |
|---|---|---|
auto:smart | ബുദ്ധിശക്തി | ആസൂത്രണം, tool തിരഞ്ഞെടുപ്പ്, അന്തിമ ഉത്തരങ്ങൾ |
auto:fast | അളന്ന വേഗതയും time to first byte-ഉം | എടുക്കൽ, വർഗ്ഗീകരണം, tool ഔട്ട്പുട്ടിന്റെ ചെറിയ സംഗ്രഹങ്ങൾ |
auto:reliable | സമീപകാല വിജയ നിരക്ക് | പൂർത്തിയാകേണ്ട ഷെഡ്യൂൾ ചെയ്ത ഏജന്റുകൾ |
auto:balanced | ആദ്യം വിശ്വാസ്യത, പിന്നെ വേഗതയും ബുദ്ധിശക്തിയും | പൊതു default |
auto:<profile> | നിങ്ങൾ പേര് നൽകിയ fallback chain | tool-calling മോഡലുകൾ മാത്രമുള്ള ഒരു chain |
auto:* strategies എല്ലാ enabled മോഡലുകളെയും റാങ്ക് ചെയ്യുന്നു, നിങ്ങളുടെ chain-ന്റെ ക്രമം അവഗണിക്കുന്നു. tools ഉള്ള അഭ്യർത്ഥനയ്ക്കും tool calling ഉള്ള ഒരു മോഡൽ ആവശ്യമാണ്. enabled മോഡലുകളിൽ ചിലത് tools നന്നായി പിന്തുണയ്ക്കുന്നില്ലെങ്കിൽ, tool-calling മോഡലുകൾ മാത്രമുള്ള ഒരു profile ഉണ്ടാക്കുക. തുടർന്ന് tool ഘട്ടങ്ങൾക്ക് auto:<profile> ഉപയോഗിക്കുക. അജ്ഞാതമായ profile പേര് error 400 നൽകുന്നു.
X-FreeLLM-Task-Type: code header ഒരു അഭ്യർത്ഥനയ്ക്ക് വേണ്ടി റൂട്ടിംഗ് ഭാരം വേഗതയിൽ നിന്ന് ബുദ്ധിശക്തിയിലേക്ക് മാറ്റുന്നു. ഇത് ഒരു സോഫ്റ്റ് മുൻഗണനയാണ്. capability പരിശോധനകളെയോ fallback chain-നെയോ ഇത് മാറ്റുന്നില്ല.
ദീർഘ ഏജന്റ് സെഷനുകളും മോഡൽ മാറ്റങ്ങളും
ദീർഘ ജോലിക്കിടയിൽ ഒരു മോഡൽ അതിന്റെ പ്രതിദിന പരിധിയിൽ എത്തിയേക്കാം. അപ്പോൾ റൂട്ടർ മറ്റൊരു മോഡലിലേക്ക് മാറുന്നു. പുതിയ മോഡലിന് മുഴുവൻ സന്ദേശ ചരിത്രവും ലഭിക്കുന്നു, പക്ഷേ മുമ്പത്തെ ഘട്ടങ്ങൾ മറ്റൊരു മോഡൽ ചെയ്തു എന്ന് അതിന് അറിയില്ല.
മോഡൽ മാറുമ്പോൾ ഒരു ചെറിയ system സന്ദേശം ചേർക്കാൻ context handoff ഓണാക്കുക. ജോലി തുടരാനും മുമ്പത്തെ tool ഫലങ്ങൾ നിലനിർത്താനും ആ സന്ദേശം പുതിയ മോഡലിനോട് പറയുന്നു.
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- ഒരു സെഷനുവേണ്ടി തിരഞ്ഞെടുത്ത മോഡൽ മാറുമ്പോൾ മാത്രമേ handoff സന്ദേശം ചേർക്കൂ.
- സെഷനുകൾ 3 മണിക്കൂർ മെമ്മറിയിൽ സൂക്ഷിക്കുന്നു. ഒന്നും ഡിസ്കിൽ എഴുതുന്നില്ല.
- സെഷൻ കീ
X-Session-Idheader ആണ്. header ഇല്ലെങ്കിൽ അത് ആദ്യത്തെ user സന്ദേശത്തിന്റെ hash ആണ്.
റൂട്ടർ MCP സെർവറായി ഉപയോഗിക്കുക
FreeLLMAPI /mcp-ൽ ഒരു MCP സെർവറും ആണ്. MCP സംസാരിക്കുന്ന ഒരു ഏജന്റിന് FreeLLMAPI മോഡലിലേക്ക് ഒരു ടെക്സ്റ്റ് ജോലി അയയ്ക്കാം. ഒരു സെഷനിൽ ഗേറ്റ്വേയുടെ അവസ്ഥയും വായിക്കാം: ഉപയോഗയോഗ്യമായ മോഡലുകളും അവയുടെ parameters-ഉം, provider ആരോഗ്യം, ഉപയോഗവും cache സ്ഥിതിവിവരക്കണക്കുകളും, റൂട്ടിംഗ് തന്ത്രവും.
പുതിയ installs-ൽ MCP surface ഓഫാണ്. Keys പേജിൽ, Agent compatibility-ന് കീഴിൽ dashboard-ൽ ഇത് ഓണാക്കുക. ഓഫായിരിക്കുമ്പോൾ /mcp 403 നൽകുന്നു.
Claude Code-ലേക്ക് MCP സെർവർ ചേർക്കുക
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Streamable HTTP ഉള്ള ഏത് MCP client-ും ഇതേ രീതിയിൽ പ്രവർത്തിക്കുന്നു. അതിനെ /mcp-ലേക്ക് ചൂണ്ടിക്കാണിച്ച് ഏകീകൃത കീ Bearer token ആയി അയയ്ക്കുക. ഉപയോഗപ്രദമായ tools: healthcheck, list_models, ask_freellmapi. ask_freellmapi tool API-യുടെ അതേ chat route വഴി, routing ഉം fallback ഉം സഹിതം ഒരു ജോലി പ്രവർത്തിപ്പിക്കുന്നു.
coding ഏജന്റുകൾക്കായി, client configuration നിങ്ങൾക്കായി എഴുതുന്ന setup commands FreeLLMAPI-ൽ ഉണ്ട്. ഉദാഹരണങ്ങൾ npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw, setup-hermes എന്നിവയാണ്. ഓരോ command-ഉം --dry-run പിന്തുണയ്ക്കുന്നു, ആദ്യം ഒരു backup ഉണ്ടാക്കുന്നു.
പ്രശ്നപരിഹാരം
| പ്രശ്നം | കാരണം | പരിഹാരം |
|---|---|---|
| മോഡൽ ടെക്സ്റ്റിൽ ഉത്തരം നൽകുന്നു, tool വിളിക്കുന്നില്ല | മോഡലിന് tool calling ദുർബലമാണ് | tool-calling മോഡലുകൾ മാത്രം ഉപയോഗിച്ച് auto:<profile> ഉപയോഗിക്കുക |
| ഏജന്റ് ജോലി നടുവിൽ വീണ്ടും തുടങ്ങുന്നു | ഒരു പരിധി മോഡൽ മാറ്റാൻ നിർബന്ധിച്ചു | X-Session-Id അയച്ച് context handoff ഓണാക്കുക |
| many steps-ന് ശേഷം 429 പിശക് | chain-ലെ എല്ലാ കീകളും അവയുടെ പരിധിയിലാണ് | provider-കൾ ചേർക്കുക, ചെറിയ ഘട്ടങ്ങൾക്ക് auto:fast ഉപയോഗിക്കുക, Retry-After-നായി കാത്തിരിക്കുക |
auto:name-ൽ 400 പിശക് | profile നിലവിലില്ല | dashboard-ൽ profile പേര് പരിശോധിക്കുക |
/mcp 403 നൽകുന്നു | MCP surface ഓഫാണ് | Keys പേജിൽ Agent compatibility-ന് കീഴിൽ ഇത് ഓണാക്കുക |
| ജോലിയുടെ അവസാനം കോൺടെക്സ്റ്റ് നീളം പിശകുകൾ | ചരിത്രം മോഡലിന്റെ window-നേക്കാൾ വലുതാണ് | പഴയ tool ഫലങ്ങൾ സംഗ്രഹിക്കുക അല്ലെങ്കിൽ ദീർഘ-കോൺടെക്സ്റ്റ് profile ഉപയോഗിക്കുക |
പതിവ് ചോദ്യങ്ങൾ
AI ഏജന്റുകൾക്ക് സൗജന്യ LLM API ഉണ്ടോ?
ഉണ്ട്. tool calling ഉള്ള നിരവധി providers-ന് സൗജന്യ ടിയറുകളുണ്ട്. FreeLLMAPI അവയെ ഒരു OpenAI-compatible കീയ്ക്ക് പിന്നിൽ ചേർക്കുന്നു, ഒരു പരിധി അഭ്യർത്ഥനയെ തടയുമ്പോൾ അടുത്ത provider-ലേക്ക് മാറുന്നു.
tool calling-ന് ഏറ്റവും നല്ല സൗജന്യ LLM ഏതാണ്?
tool calling ഉം 128K tokens അല്ലെങ്കിൽ അതിലധികം context window ഉള്ള ഒരു മോഡൽ ഉപയോഗിക്കുക. ഈ പേജിലെ പട്ടിക ഇന്ന് ഈ രണ്ട് നിയമങ്ങളും പാലിക്കുന്ന ഏറ്റവും ശക്തമായ സൗജന്യ മോഡലുകൾ കാണിക്കുന്നു.
FreeLLMAPI ഒരു MCP സെർവറായി ഉപയോഗിക്കാമോ?
ഉപയോഗിക്കാം. Keys പേജിൽ Agent compatibility-ന് കീഴിൽ MCP surface ഓണാക്കുക. തുടർന്ന് നിങ്ങളുടെ MCP client-നെ ഏകീകൃത കീ Bearer token ആയി ഉപയോഗിച്ച് /mcp-ലേക്ക് ബന്ധിപ്പിക്കുക.
rate limits-ൽ ഏജന്റ് പരാജയപ്പെടുന്നത് എങ്ങനെ തടയാം?
കൂടുതൽ providers-ൽ നിന്നുള്ള കീകൾ ചേർക്കുക, ചെറിയ ഘട്ടങ്ങൾ auto:fast-ലേക്ക് അയയ്ക്കുക, Retry-After header ഉപയോഗിച്ച് 429-ൽ വീണ്ടും ശ്രമിക്കുക, ഘട്ടങ്ങളുടെ പരമാവധി എണ്ണം സജ്ജമാക്കുക.
ഒരു ഏജന്റ് ജോലിയുടെ നടുവിൽ മോഡൽ മാറിയാൽ എന്ത് സംഭവിക്കും?
പുതിയ മോഡലിന് മുഴുവൻ സന്ദേശ ചരിത്രവും ലഭിക്കുന്നു. context handoff ഓണാണെങ്കിൽ, ജോലി തുടരാൻ പറയുന്ന ഒരു ചെറിയ കുറിപ്പും ലഭിക്കുന്നു.
അനുബന്ധ ഗൈഡുകൾ
- Function calling ഉള്ള സൗജന്യ LLM API
- Python-ൽ സൗജന്യ LLM API
- LangChain-നായി സൗജന്യ LLM API
- n8n-നുള്ള സൗജന്യ LLM API
- Claude Code സൗജന്യമായി ഉപയോഗിക്കുന്നത് എങ്ങനെ
- സൗജന്യ LLM API റേറ്റ് പരിധികൾ
ഉറവിടങ്ങൾ
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (20 November 2026 ൽ പരിശോധിച്ചത്)
- FreeLLMAPI docs: clients, MCP server and context handoff (20 November 2026 ൽ പരിശോധിച്ചത്)
- OpenAI Python SDK: errors and retries (20 November 2026 ൽ പരിശോധിച്ചത്)
- Claude Code docs: MCP (20 November 2026 ൽ പരിശോധിച്ചത്)