AI முகவர்களுக்கான இலவச LLM API
ஒரு AI முகவர் ஒரு பணிக்காக பல மாடல் கோரிக்கைகளை அனுப்புகிறது. ஒவ்வொரு படிக்கும் tool calling மற்றும் பெரிய context தேவை. ஒரே ஒரு இலவச அடுக்கு முகவரை விரைவில் நிறுத்திவிடும். FreeLLMAPI, 45 இலவச வழங்குநர் அடுக்குகளை ஒரே OpenAI-compatible key பின்னால் இணைக்கிறது. ஒரு வரம்பு கோரிக்கையை நிறுத்தும்போது அது அடுத்த வழங்குநருக்கு மாறுகிறது, அதனால் முகவர் தொடர முடியும். இந்த வழிகாட்டி tool calling, ஒவ்வொரு படிக்கான routing, நீண்ட அமர்வுகள் மற்றும் router-இன் MCP சேவையகம் ஆகியவற்றை விளக்குகிறது.
குறியீடு, மாதிரிப் பெயர்கள் மற்றும் நேரடி பட்டியல் லேபிள்கள் ஆங்கிலத்தில் காட்டப்படுகின்றன.
இலவச API-இலிருந்து முகவருக்கு என்ன தேவை
| தேவை | ஏன் தேவை | FreeLLMAPI என்ன செய்கிறது |
|---|---|---|
| Tool calling | முகவர் tools-ஐ தேர்ந்தெடுத்து இயக்குகிறது | ஒவ்வொரு வழங்குநருக்கும் OpenAI பாணி tools அனுப்புகிறது. எளிய உரை tool அழைப்புகளை உண்மையான tool_calls ஆக மாற்றுகிறது. |
| பல கோரிக்கைகள் | ஒரு பணிக்கு 20 முதல் 100 படிகள் ஆகலாம் | ஒவ்வொரு key-இன் ஒதுக்கீட்டையும் எண்ணுகிறது. 429 வந்தால் அடுத்த key அல்லது வழங்குநருக்கு மாறுகிறது |
| பெரிய context | tool முடிவுகளும் வரலாறும் ஒவ்வொரு படியிலும் வளர்கின்றன | உங்கள் சங்கிலியில் உள்ள மாடல்களுக்கு routing செய்கிறது. நீண்ட-context profile ஒன்றை உருவாக்கலாம். |
| நிலையான நடத்தை | பணியின் நடுவில் மாடல் மாறினால் முகவர் குழப்பமடையலாம் | ஓர் அமர்வை 30 நிமிடங்களுக்கு ஒரே மாடலில் வைத்திருக்கிறது. மாற்றம் நிகழும்போது விருப்பத்தேர்வான context handoff. |
| தெரிவுநிலை | எந்த மாடல் தோல்வியடைந்தது என்பதை நீங்கள் அறிய வேண்டும் | ஒவ்வொரு பதிலிலும் X-Routed-Via மற்றும் X-Fallback-Trail headers |
இலவச அடுக்குகளுக்கு வரம்புகள் உண்டு. Failover சுமையை உங்கள் key-களுக்கு பரப்புகிறது, ஆனால் மொத்த அளவு இன்னும் இலவச வரம்புகளின் கூட்டுத்தொகையே. முகவர் வேலைக்கு நான்கு அல்லது அதற்கு மேற்பட்ட வழங்குநர்களிடமிருந்து key-களைச் சேர்க்கவும்.
| மாதிரி | இலவசம் | சூழல் அளவு | இலவச வரம்புகள் (சிறந்த சலுகை) | கருவிகள் | படப் பார்வை |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 கோரிக்கை/நிமிடம் 1 req/min per model | ஆம் | இல்லை |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 கோரிக்கை/நிமிடம் 40 RPM | ஆம் | ஆம் |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | ஆம் | ஆம் |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | ஆம் | இல்லை |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | ஆம் | ஆம் |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 கோரிக்கை/நிமிடம் 20 கோரிக்கை/நாள் 250,000 டோக்கன்/நிமிடம் ~3M | ஆம் | ஆம் |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | ஆம் | ஆம் |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 கோரிக்கை/நிமிடம் 50 கோரிக்கை/நாள் 50 req/day account-wide (1,000 after a $10 purchase) | ஆம் | ஆம் |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 கோரிக்கை/நிமிடம் 50 கோரிக்கை/நாள் Shared rate limit | ஆம் | இல்லை |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 கோரிக்கை/நிமிடம் 250 கோரிக்கை/நாள் 70,000 டோக்கன்/நிமிடம் ~6M | ஆம் | ஆம் |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 கோரிக்கை/நிமிடம் 20 கோரிக்கை/நாள் 250,000 டோக்கன்/நிமிடம் ~3M | ஆம் | ஆம் |
| Qwen 3.8 27B | Cloudflare Workers AI | 262K | Shared 10k neurons/day | ஆம் | ஆம் |
பொருந்தும் 109 இலவச மாதிரிகளில் 12 காட்டப்படுகின்றன. அனைத்து மாதிரிகளையும் பார்க்கவும்.
FreeLLMAPI பட்டியலிலிருந்து நேரடி தரவு (பதிப்பு 2026.11.19, சரிபார்க்கப்பட்டது 2026-11-19). இலவச வரம்புகள் அடிக்கடி மாறும். பட்டியல் ஒவ்வொரு நாளும் சரிபார்க்கப்படுகிறது.
Python-இல் முழுமையான முகவர் சுழற்சி
கீழே உள்ள சுழற்சி அதிகாரப்பூர்வ OpenAI SDK-ஐ பயன்படுத்துகிறது. அது tools-ஐ அனுப்புகிறது, ஒவ்வொரு tool அழைப்பையும் இயக்குகிறது, முடிவை மீண்டும் அனுப்புகிறது, மாடல் இறுதி பதிலைத் தரும்போது நிறுத்துகிறது. அதிகபட்ச படி எண்ணிக்கையை அடைந்ததும் அதுவும் நிற்கும்.
agent.py
import json
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"], # <unified-key>
max_retries=3,
)
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
FUNCTIONS = {"get_weather": get_weather}
def call_model(messages, session_id):
for attempt in range(5):
try:
return client.chat.completions.create(
model="auto:smart",
messages=messages,
tools=TOOLS,
extra_headers={"X-Session-Id": session_id},
)
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
time.sleep(min(wait, 60))
raise RuntimeError("All free providers are at their limit")
def run(task: str, session_id: str, max_steps: int = 10) -> str:
messages = [
{"role": "system", "content": "Use the tools when they help. Be brief."},
{"role": "user", "content": task},
]
for _ in range(max_steps):
msg = call_model(messages, session_id).choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
fn = FUNCTIONS.get(call.function.name)
try:
args = json.loads(call.function.arguments or "{}")
result = fn(**args) if fn else {"error": "unknown tool"}
except Exception as exc: # return tool errors to the model
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: too many steps."
print(run("Should I take an umbrella in Dublin today?", session_id="task-001"))- X-Session-Id: அந்த மாடலுக்கு ஒதுக்கீடு இருக்கும் வரை, ஒரு பணியின் எல்லா படிகளையும் ஒரே மாடலில் வைத்திருக்கிறது.
- Retry-After: எல்லா key-களும் தங்கள் வரம்பில் இருக்கும்போது gateway இந்த header உடன் 429 திருப்பித் தரும். சுழற்சி காத்திருந்து மீண்டும் முயற்சிக்கும்.
- Tool பிழைகள்: சுழற்சி பிழைகளை tool முடிவுகளாக மாடலுக்கு அனுப்புகிறது. அதனால் மாடல் தனது அழைப்பைச் சரிசெய்ய முடியும்.
ஒவ்வொரு படியையும் சரியான மாடலுக்கு அனுப்புங்கள்
முகவர் படிகள் எல்லாம் ஒரே மாதிரி இல்லை. திட்டமிடும் படிக்கு வலிமையான மாடல் தேவை. ஒரு புலத்தை மட்டும் பிரித்தெடுக்கும் படிக்கு வேகமான மாடல் போதும். ஒவ்வொரு படி வகைக்கும் வேறு model string பயன்படுத்துங்கள். Dashboard-ஐ மாற்ற வேண்டியதில்லை.
| Model string | தரவரிசை அடிப்படை | முகவர் பயன்பாடு |
|---|---|---|
auto:smart | நுண்ணறிவு | திட்டமிடல், tool தேர்வு, இறுதி பதில்கள் |
auto:fast | அளவிடப்பட்ட வேகமும் time to first byte-உம் | பிரித்தெடுத்தல், வகைப்படுத்தல், tool வெளியீட்டின் குறுகிய சுருக்கங்கள் |
auto:reliable | சமீபத்திய வெற்றி விகிதம் | முடிக்கப்பட வேண்டிய திட்டமிடப்பட்ட முகவர்கள் |
auto:balanced | முதலில் நம்பகத்தன்மை, பின்னர் வேகமும் நுண்ணறிவும் | பொதுவான இயல்புநிலை |
auto:<profile> | நீங்கள் பெயரிட்ட fallback சங்கிலி | tool-calling மாடல்கள் மட்டும் கொண்ட சங்கிலி |
auto:* உத்திகள் இயக்கப்பட்ட ஒவ்வொரு மாடலையும் தரவரிசைப்படுத்துகின்றன. உங்கள் சங்கிலியின் வரிசையை அவை புறக்கணிக்கின்றன. tools உள்ள கோரிக்கைக்கு இன்னும் tool calling கொண்ட மாடல் தேவை. சில மாடல்கள் tools-ஐ நன்றாக ஆதரிக்கவில்லை என்றால், tool-calling மாடல்கள் மட்டும் கொண்ட profile ஒன்றை உருவாக்குங்கள். பின்னர் tool படிகளுக்கு auto:<profile> பயன்படுத்துங்கள். தெரியாத profile பெயர் பிழை 400 திருப்பித் தரும்.
X-FreeLLM-Task-Type: code header ஒரு கோரிக்கைக்கான routing எடையை வேகத்திலிருந்து நுண்ணறிவுக்கு மாற்றுகிறது. இது ஒரு மென்மையான விருப்பம் மட்டுமே. திறன் சோதனைகளையோ fallback சங்கிலியையோ இது மாற்றாது.
நீண்ட முகவர் அமர்வுகளும் மாடல் மாற்றங்களும்
நீண்ட பணியின் போது ஒரு மாடல் தனது தினசரி வரம்பை அடையலாம். அப்போது router வேறு மாடலுக்கு மாறுகிறது. புதிய மாடலுக்கு முழு செய்தி வரலாறு கிடைக்கும், ஆனால் முந்தைய படிகளை வேறு மாடல் செய்தது என்பது அதற்குத் தெரியாது.
மாடல் மாறும்போது ஒரு குறுகிய system செய்தியைச் சேர்க்க context handoff-ஐ இயக்குங்கள். அந்தச் செய்தி புதிய மாடலுக்கு பணியைத் தொடரவும், முந்தைய tool முடிவுகளை வைத்திருக்கவும் சொல்கிறது.
FreeLLMAPI .env
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch- ஓர் அமர்வுக்கு தேர்ந்தெடுக்கப்பட்ட மாடல் மாறும்போது மட்டுமே handoff செய்தி சேர்க்கப்படும்.
- அமர்வுகள் 3 மணி நேரம் நினைவகத்தில் வைக்கப்படும். எதுவும் வட்டில் எழுதப்படுவதில்லை.
- அமர்வு விசை
X-Session-Idheader ஆகும். அது இல்லாவிட்டால், முதல் user செய்தியின் hash பயன்படுத்தப்படும்.
Router-ஐ MCP சேவையகமாகப் பயன்படுத்துங்கள்
FreeLLMAPI /mcp-இல் ஒரு MCP சேவையகமும் ஆகும். MCP பேசும் முகவர் ஓர் உரைப் பணியை FreeLLMAPI மாடலுக்கு அனுப்பலாம். அமர்வின் போது gateway நிலையையும் அது படிக்கலாம்: பயன்படுத்தக்கூடிய மாடல்களும் அவற்றின் அளவுருக்களும், வழங்குநர் நலம், பயன்பாடு மற்றும் cache புள்ளிவிவரங்கள், routing உத்தி.
புதிய நிறுவல்களில் MCP அம்சம் முடக்கப்பட்டிருக்கும். Keys பக்கத்தில், Agent compatibility கீழ் dashboard-இல் அதை இயக்குங்கள். அது முடக்கப்பட்டிருக்கும் வரை /mcp 403 திருப்பும்.
Claude Code-இல் MCP சேவையகத்தைச் சேர்க்கவும்
claude mcp add --transport http freellmapi http://localhost:3001/mcp \
--header "Authorization: Bearer <unified-key>"Streamable HTTP ஆதரிக்கும் எந்த MCP client-உம் இதே முறையில் வேலை செய்யும். /mcp-ஐச் சுட்டிக்காட்டி, ஒருங்கிணைந்த key-ஐ Bearer token ஆக அனுப்புங்கள். பயனுள்ள tools: healthcheck, list_models மற்றும் ask_freellmapi. ask_freellmapi tool, API-இன் அதே chat route வழியாக routing மற்றும் fallback உடன் ஒரு பணியை இயக்குகிறது.
குறியீட்டு முகவர்களுக்கு, FreeLLMAPI client கட்டமைப்பை உங்களுக்காக எழுதும் setup கட்டளைகளைக் கொண்டுள்ளது. எடுத்துக்காட்டுகள்: npx freellmapi setup-claude, setup-codex, setup-cline, setup-openclaw மற்றும் setup-hermes. ஒவ்வொரு கட்டளையும் --dry-run-ஐ ஆதரிக்கிறது, மேலும் முதலில் backup எடுக்கிறது.
சிக்கல் தீர்வு
| சிக்கல் | காரணம் | தீர்வு |
|---|---|---|
| மாடல் உரையில் பதிலளிக்கிறது, tool அழைக்கவில்லை | மாடலுக்கு tool calling பலவீனமாக உள்ளது | tool-calling மாடல்கள் மட்டும் கொண்டு auto:<profile> பயன்படுத்துங்கள் |
| முகவர் பணியை நடுவில் மறுதொடக்கம் செய்கிறது | ஒரு வரம்பு மாடல் மாற்றத்தை கட்டாயப்படுத்தியது | X-Session-Id அனுப்புங்கள், context handoff-ஐ இயக்குங்கள் |
| பல படிகளுக்குப் பிறகு பிழை 429 | சங்கிலியில் உள்ள எல்லா key-களும் தங்கள் வரம்பில் உள்ளன | வழங்குநர்களைச் சேர்க்கவும், சிறிய படிகளுக்கு auto:fast பயன்படுத்தவும், Retry-After வரை காத்திருக்கவும் |
auto:nameஉடன் பிழை 400 | அந்த profile இல்லை | Dashboard-இல் profile பெயரைச் சரிபார்க்கவும் |
/mcp 403 திருப்புகிறது | MCP அம்சம் முடக்கப்பட்டுள்ளது | Keys பக்கத்தில் Agent compatibility கீழ் இயக்குங்கள் |
| பணியின் பிற்பகுதியில் context நீள பிழைகள் | வரலாறு மாடலின் window-ஐ விடப் பெரியது | பழைய tool முடிவுகளைச் சுருக்குங்கள் அல்லது நீண்ட-context profile பயன்படுத்துங்கள் |
அடிக்கடி கேட்கப்படும் கேள்விகள்
AI முகவர்களுக்கு இலவச LLM API உள்ளதா?
ஆம். பல வழங்குநர்கள் tool calling உடன் இலவச அடுக்குகளை வழங்குகின்றனர். FreeLLMAPI அவற்றை ஒரே OpenAI-compatible key பின்னால் இணைக்கிறது, ஒரு வரம்பு கோரிக்கையை நிறுத்தும்போது அடுத்த வழங்குநருக்கு மாறுகிறது.
tool calling-க்கு எந்த இலவச LLM சிறந்தது?
tool calling மற்றும் குறைந்தது 128K டோக்கன் context window கொண்ட மாடலைப் பயன்படுத்துங்கள். இந்தப் பக்கத்தின் அட்டவணை, இரண்டு விதிகளையும் இன்று பூர்த்தி செய்யும் வலிமையான இலவச மாடல்களைக் காட்டுகிறது.
FreeLLMAPI-ஐ MCP சேவையகமாகப் பயன்படுத்தலாமா?
ஆம். Keys பக்கத்தில் Agent compatibility கீழ் MCP அம்சத்தை இயக்குங்கள். பின்னர் உங்கள் MCP client-ஐ ஒருங்கிணைந்த key-உடன் Bearer token ஆக /mcp-க்கு இணையுங்கள்.
rate limit-களால் முகவர் தோல்வியடையாமல் தடுப்பது எப்படி?
அதிக வழங்குநர்களின் key-களைச் சேர்க்கவும், சிறிய படிகளை auto:fast-க்கு அனுப்பவும், Retry-After header உடன் 429-இல் மீண்டும் முயற்சிக்கவும், அதிகபட்ச படி எண்ணிக்கையை அமைக்கவும்.
முகவர் பணியின் நடுவில் மாடல் மாறினால் என்ன நடக்கும்?
புதிய மாடலுக்கு முழு செய்தி வரலாறு கிடைக்கும். context handoff இயக்கத்தில் இருந்தால், பணியைத் தொடரச் சொல்லும் ஒரு குறுகிய குறிப்பும் அதற்குக் கிடைக்கும்.
தொடர்புடைய வழிகாட்டிகள்
- Function calling உடன் இலவச LLM API
- Python இல் இலவச LLM API
- LangChain-க்கான இலவச LLM API
- n8n க்கான இலவச LLM API
- Claude Code ஐ இலவசமாகப் பயன்படுத்துவது எப்படி
- இலவச LLM API rate limit-கள்
ஆதாரங்கள்
- FreeLLMAPI docs: REST API (tool calling, routing strategies, response headers) (சரிபார்க்கப்பட்டது 20 November 2026)
- FreeLLMAPI docs: clients, MCP server and context handoff (சரிபார்க்கப்பட்டது 20 November 2026)
- OpenAI Python SDK: errors and retries (சரிபார்க்கப்பட்டது 20 November 2026)
- Claude Code docs: MCP (சரிபார்க்கப்பட்டது 20 November 2026)
அனைத்து வழிகாட்டிகள் · அனைத்து இலவச மாதிரிகளையும் பார்க்கவும்