Python मध्ये मोफत LLM API
अधिकृत openai Python पॅकेज कोणत्याही OpenAI-सुसंगत API सोबत काम करते. तुम्ही base URL आणि की बदलता. हे मार्गदर्शक FreeLLMAPI वापरते, जे एका कीमागे 45 मोफत प्रदाता टियर एकत्र ठेवते आणि मर्यादेमुळे विनंती थांबली की पुढच्या प्रदात्याकडे जाते. खालील प्रत्येक उदाहरण पूर्ण आहे आणि जसे आहे तसे चालते.
कोड, मॉडेलची नावे आणि थेट कॅटलॉग लेबल इंग्रजीत दाखवले जातात.
सेटअप
FreeLLMAPI इन्स्टॉल करा. ते Docker मध्ये चालते. http://localhost:3001 वर डॅशबोर्ड उघडा, Keys पेजवर दोन किंवा अधिक प्रदात्यांच्या मोफत की जोडा आणि एकत्रित की कॉपी करा. मग Python पॅकेज इन्स्टॉल करा.
तुमचा Python कोड फक्त एकत्रित की वापरतो. प्रदात्यांच्या की FreeLLMAPI मध्येच राहतात, तिच्या database मध्ये एन्क्रिप्ट केलेल्या. प्रदात्याची की बदलली किंवा जोडली, तरी तुमचा कोड बदलत नाही.
इन्स्टॉल करा
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)मॉडेल auto डॅशबोर्डवरील तुमच्या फॉलबॅक साखळीचे पालन करते. तुम्ही auto:fast, auto:smart किंवा auto:reliable, auto:coding सारखे profile, किंवा निश्चित मॉडेल ID देखील वापरू शकता.
Streaming आणि प्रतिसाद हेडर
उत्तर स्ट्रीम करा
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()प्रत्येक प्रतिसादात X-Routed-Via हेडर असते, ज्यात उत्तर देणारा प्रदाता आणि मॉडेल असते. SDK ने हेडर वाचण्यासाठी with_raw_response वापरा आणि सामान्य object मिळवण्यासाठी parse() कॉल करा.
राउटिंग हेडर वाचा
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)Tool calling
OpenAI शैलीतील tools पाठवा. राउटर ती OpenAI-सुसंगत प्रदात्यांना देते आणि Gemini साठी त्यांचे भाषांतर करते. उत्तर प्रत्येक प्रदात्यासाठी एकाच स्वरूपात परत येते.
एक tool call आणि अंतिम उत्तर
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)काही प्रदाते tool call साधा मजकूर म्हणून परत करतात. FreeLLMAPI ही उत्तरे खऱ्या tool_calls मध्ये रूपांतरित करते, त्यामुळे तुमचा कोड एकच स्वरूप वाचतो. नेहमी msg.tool_calls तपासा, msg.content वाचण्यापूर्वी, कारण मॉडेल tool शिवायही उत्तर देऊ शकते.
Tool calling असलेले मॉडेल वापरा. हे मोफत मॉडेल tools सपोर्ट करतात आणि आज त्यांचा मोजलेला वेग सर्वात जास्त आहे:
| मॉडेल | मोफत उपलब्ध | संदर्भ | मोफत मर्यादा (सर्वोत्तम ऑफर) | साधने | व्हिजन |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 विनंत्या/मिनिट 250 विनंत्या/दिवस 70,000 टोकन/मिनिट ~6M | होय | होय |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 विनंत्या/मिनिट 50 विनंत्या/दिवस 50 req/day account-wide (1,000 after a $10 purchase) | होय | नाही |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq +1 अधिक | 131K | 30 विनंत्या/मिनिट 1,000 विनंत्या/दिवस 8,000 टोकन/मिनिट 200,000 टोकन/दिवस ~6M | होय | नाही |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM +1 अधिक | 131K | 30 विनंत्या/मिनिट 1,000 विनंत्या/दिवस 8,000 टोकन/मिनिट 200,000 टोकन/दिवस ~6M | होय | नाही |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 विनंत्या/मिनिट 1,000 विनंत्या/दिवस 8,000 टोकन/मिनिट 200,000 टोकन/दिवस ~6M | होय | नाही |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 विनंत्या/मिनिट 20 विनंत्या/दिवस 250,000 टोकन/मिनिट ~3M | होय | होय |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | होय | होय |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 विनंत्या/मिनिट 5,000 विनंत्या/दिवस 500,000 टोकन/दिवस 500K tokens/day · 5,000 req/day | होय | होय |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 विनंत्या/दिवस 200 rpd | होय | नाही |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 विनंत्या/मिनिट 20 विनंत्या/दिवस 250,000 टोकन/मिनिट ~3M | होय | होय |
जुळणाऱ्या 146 मोफत मॉडेलपैकी 10 दाखवले जात आहेत. सर्व मॉडेल पहा.
FreeLLMAPI कॅटलॉगमधील थेट डेटा (आवृत्ती 2026.11.19, तपासले 2026-11-19). मोफत मर्यादा वारंवार बदलतात. कॅटलॉग दररोज तपासले जाते.
मोफत मर्यादेत async batches
AsyncOpenAI एकाच वेळी अनेक विनंत्या पाठवते. मोफत टियर प्रति मिनिट विनंत्या मर्यादित करतात, म्हणून सेमाफोरने एकाच वेळच्या विनंत्या मर्यादित करा. उदाहरण प्रत्येक प्रदाता मर्यादेवर असतानाही पुन्हा प्रयत्न करते.
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())साखळीतील प्रत्येक की मर्यादेवर असतानाच राउटर 429 परत करतो. तेव्हा प्रतिसादात Retry-After हेडर असते. मोठ्या batches साठी सेमाफोरचे लहान मूल्य आणि अधिक प्रदात्यांच्या की सर्वोत्तम परिणाम देतात.
प्रत्येक कामासाठी मॉडेल स्ट्रिंग निवडा
मॉडेल स्ट्रिंग राउटरला मॉडेल कसे निवडायचे ते सांगते. प्रत्येक कॉलमध्ये वेगळी स्ट्रिंग वापरू शकता. डॅशबोर्ड बदलण्याची गरज नाही.
| काम | मॉडेल स्ट्रिंग | कारण |
|---|---|---|
| वापरकर्त्यांसाठी chat उत्तरे | auto | डॅशबोर्डवर तुम्ही सेट केलेली फॉलबॅक साखळी पाळते |
| वर्गीकरण, माहिती काढणे, छोटे सारांश | auto:fast | सक्षम मॉडेल मोजलेल्या वेगानुसार क्रमवारी लावते |
| कठीण प्रश्न, कोड पुनरावलोकन, नियोजन | auto:smart | सक्षम मॉडेल बुद्धिमत्तेनुसार क्रमवारी लावते |
| पूर्ण व्हायलाच हवीत अशी नियोजित कामे | auto:reliable | सक्षम मॉडेल अलीकडील यशाच्या दरानुसार क्रमवारी लावते |
| एका अॅपसाठी वेगळी साखळी | auto:<profile> | नावाची फॉलबॅक साखळी वापरते |
| पुनरावृत्ती करता येणाऱ्या चाचण्या | निश्चित मॉडेल ID | प्रत्येक वेळी तेच मॉडेल, पण त्या मॉडेलच्या मर्यादेवर थांबते |
तुमच्या की आता कोणती मॉडेल कॉल करू शकतात ते पाहण्यासाठी फिल्टरसह मॉडेल यादी मागवा. पूर्ण यादीत अशी मॉडेलही असतात, ज्यांची अजून की नाही.
आता उत्तर देऊ शकणारी मॉडेल यादी करा
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])exhausted स्थिती असलेल्या मॉडेलला की आहेत, पण त्या सर्व आता मर्यादेवर आहेत. Cooldown संपल्यावर स्थिती साफ होते. needsKey स्थिती असलेल्या मॉडेलला सक्षम की नाही.
संभाषणासाठी X-Session-Id हेडर extra_headers सह पाठवा. मग FreeLLMAPI ते संभाषण 30 मिनिटे एका मॉडेलवर ठेवते. हेडर नसेल तर ते पहिल्या वापरकर्ता संदेशाचा hash सत्र की म्हणून वापरते.
Embeddings
मजकूराचे embed करा
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")Embedding failover कधीच मॉडेल बदलत नाही. ते फक्त त्याच family ला सेवा देणाऱ्या प्रदात्यांमध्ये जाते, त्यामुळे तुमचे vectors सुसंगत राहतात. auto मूल्य डॅशबोर्डवर तुम्ही सेट केलेली डिफॉल्ट family वापरते.
एका input यादीत अनेक मजकूर पाठवा. 32 मजकूर असलेली एक विनंती मोफत मर्यादेतून एक विनंती वापरते, 32 नाही. प्रत्येक मजकूर family च्या कमाल इनपुटखाली ठेवा. तुमच्या vectors सोबत family नाव साठवा, म्हणजे नंतर त्याच family ने क्वेरी embed करता येतील.
त्रुटी आणि उपाय
| अपवाद | कारण | उपाय |
|---|---|---|
openai.AuthenticationError | चुकीची एकत्रित की | Keys पेजवरून की पुन्हा कॉपी करा |
openai.APIConnectionError | FreeLLMAPI चालू नाही, किंवा चुकीचा पोर्ट | ब्राउझरमध्ये http://localhost:3001 उघडा |
openai.NotFoundError | Base URL मध्ये /v1 नाही | http://localhost:3001/v1 वापरा |
openai.RateLimitError | साखळीतील सर्व की मर्यादेवर आहेत | प्रदाते जोडा, एकाच वेळच्या विनंत्या कमी करा, Retry-After ची वाट पाहा |
openai.BadRequestError auto:name सह | profile नाव अस्तित्वात नाही | डॅशबोर्डवर profile नाव तपासा |
प्रतिमांसह openai.UnprocessableEntityError (422) | तुमच्या साखळीत vision मॉडेल नाही | फॉलबॅक साखळीत vision मॉडेल सक्षम करा |
मोफत टियरला SLA नाही. दिवसभर latency बदलते. सर्वात सक्षम मॉडेल आधी दैनिक मर्यादेवर पोहोचतात, आणि अनेक मर्यादा मध्यरात्री UTC ला रीसेट होतात. ठरलेल्या वेळेत उत्तर द्यावे लागणाऱ्या सेवेसाठी मोफत गेटवे वापरू नका.
वारंवार विचारले जाणारे प्रश्न
Python साठी मोफत LLM API आहे का?
होय. अनेक प्रदात्यांकडे मोफत टियर आहेत, जे openai Python पॅकेजसोबत काम करतात. FreeLLMAPI त्यांना एका base URL आणि एका कीमागे एकत्र ठेवते, प्रदात्यांमध्ये failover सह.
वेगळ्या base URL सह openai Python लायब्ररी कशी वापरू?
OpenAI() किंवा AsyncOpenAI() ला base_url द्या, उदाहरणार्थ base_url="http://localhost:3001/v1". तुमची गेटवे की api_key म्हणून द्या.
Python मध्ये रेट मर्यादेच्या त्रुटी कशा हाताळू?
क्लायंटवर max_retries सेट करा. openai.RateLimitError पकडा, Retry-After हेडर वाचा आणि थांबा. asyncio semaphore ने एकाच वेळच्या विनंत्या मर्यादित करा.
Python मध्ये मोफत LLM API सह streaming चालते का?
होय. stream=True द्या आणि chunk.choices[0].delta.content वाचा. FreeLLMAPI प्रत्येक प्रदात्यासाठी OpenAI स्वरूपात स्ट्रीम करते.
मोफत LLM API सह async Python वापरता येते का?
होय. तोच base_url आणि की असलेला AsyncOpenAI वापरा. समांतर विनंत्यांची संख्या कमी ठेवा, कारण मोफत टियर प्रति मिनिट विनंत्या मर्यादित करतात.
संबंधित मार्गदर्शक
- मोफत OpenAI-सुसंगत API बेस URL
- LangChain साठी मोफत LLM API
- AI एजंटसाठी मोफत LLM API
- फंक्शन कॉलिंग असलेला मोफत LLM API
- मोफत LLM API रेट मर्यादा
स्रोत
- OpenAI Python SDK README (async, retries, raw responses, errors) (तपासले 20 November 2026)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (तपासले 20 November 2026)
- FreeLLMAPI docs: degraded mode and failover (तपासले 20 November 2026)