मुख्यपृष्ठ / मार्गदर्शक / Python मध्ये मोफत LLM API

Python मध्ये मोफत LLM API

अधिकृत openai Python पॅकेज कोणत्याही OpenAI-सुसंगत API सोबत काम करते. तुम्ही base URL आणि की बदलता. हे मार्गदर्शक FreeLLMAPI वापरते, जे एका कीमागे 45 मोफत प्रदाता टियर एकत्र ठेवते आणि मर्यादेमुळे विनंती थांबली की पुढच्या प्रदात्याकडे जाते. खालील प्रत्येक उदाहरण पूर्ण आहे आणि जसे आहे तसे चालते.

कोड, मॉडेलची नावे आणि थेट कॅटलॉग लेबल इंग्रजीत दाखवले जातात.

सेटअप

FreeLLMAPI इन्स्टॉल करा. ते Docker मध्ये चालते. http://localhost:3001 वर डॅशबोर्ड उघडा, Keys पेजवर दोन किंवा अधिक प्रदात्यांच्या मोफत की जोडा आणि एकत्रित की कॉपी करा. मग Python पॅकेज इन्स्टॉल करा.

तुमचा Python कोड फक्त एकत्रित की वापरतो. प्रदात्यांच्या की FreeLLMAPI मध्येच राहतात, तिच्या database मध्ये एन्क्रिप्ट केलेल्या. प्रदात्याची की बदलली किंवा जोडली, तरी तुमचा कोड बदलत नाही.

इन्स्टॉल करा

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

मॉडेल auto डॅशबोर्डवरील तुमच्या फॉलबॅक साखळीचे पालन करते. तुम्ही auto:fast, auto:smart किंवा auto:reliable, auto:coding सारखे profile, किंवा निश्चित मॉडेल ID देखील वापरू शकता.

Streaming आणि प्रतिसाद हेडर

उत्तर स्ट्रीम करा

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

प्रत्येक प्रतिसादात X-Routed-Via हेडर असते, ज्यात उत्तर देणारा प्रदाता आणि मॉडेल असते. SDK ने हेडर वाचण्यासाठी with_raw_response वापरा आणि सामान्य object मिळवण्यासाठी parse() कॉल करा.

राउटिंग हेडर वाचा

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

Tool calling

OpenAI शैलीतील tools पाठवा. राउटर ती OpenAI-सुसंगत प्रदात्यांना देते आणि Gemini साठी त्यांचे भाषांतर करते. उत्तर प्रत्येक प्रदात्यासाठी एकाच स्वरूपात परत येते.

एक tool call आणि अंतिम उत्तर

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

काही प्रदाते tool call साधा मजकूर म्हणून परत करतात. FreeLLMAPI ही उत्तरे खऱ्या tool_calls मध्ये रूपांतरित करते, त्यामुळे तुमचा कोड एकच स्वरूप वाचतो. नेहमी msg.tool_calls तपासा, msg.content वाचण्यापूर्वी, कारण मॉडेल tool शिवायही उत्तर देऊ शकते.

Tool calling असलेले मॉडेल वापरा. हे मोफत मॉडेल tools सपोर्ट करतात आणि आज त्यांचा मोजलेला वेग सर्वात जास्त आहे:

tool calling असलेली जलद मोफत मॉडेल
मॉडेलमोफत उपलब्धसंदर्भमोफत मर्यादा (सर्वोत्तम ऑफर)साधनेव्हिजन
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 विनंत्या/मिनिट
250 विनंत्या/दिवस
70,000 टोकन/मिनिट
~6M
होयहोय
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 विनंत्या/मिनिट
50 विनंत्या/दिवस
50 req/day account-wide (1,000 after a $10 purchase)
होयनाही
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq +1 अधिक131K30 विनंत्या/मिनिट
1,000 विनंत्या/दिवस
8,000 टोकन/मिनिट
200,000 टोकन/दिवस
~6M
होयनाही
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM +1 अधिक131K30 विनंत्या/मिनिट
1,000 विनंत्या/दिवस
8,000 टोकन/मिनिट
200,000 टोकन/दिवस
~6M
होयनाही
GPT-OSS Safeguard 20BGroq131K30 विनंत्या/मिनिट
1,000 विनंत्या/दिवस
8,000 टोकन/मिनिट
200,000 टोकन/दिवस
~6M
होयनाही
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 विनंत्या/मिनिट
20 विनंत्या/दिवस
250,000 टोकन/मिनिट
~3M
होयहोय
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditहोयहोय
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 विनंत्या/मिनिट
5,000 विनंत्या/दिवस
500,000 टोकन/दिवस
500K tokens/day · 5,000 req/day
होयहोय
Nemotron 3.5 Lightning 30BRequesty1M200 विनंत्या/दिवस
200 rpd
होयनाही
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 विनंत्या/मिनिट
20 विनंत्या/दिवस
250,000 टोकन/मिनिट
~3M
होयहोय

जुळणाऱ्या 146 मोफत मॉडेलपैकी 10 दाखवले जात आहेत. सर्व मॉडेल पहा.

FreeLLMAPI कॅटलॉगमधील थेट डेटा (आवृत्ती 2026.11.19, तपासले 2026-11-19). मोफत मर्यादा वारंवार बदलतात. कॅटलॉग दररोज तपासले जाते.

मोफत मर्यादेत async batches

AsyncOpenAI एकाच वेळी अनेक विनंत्या पाठवते. मोफत टियर प्रति मिनिट विनंत्या मर्यादित करतात, म्हणून सेमाफोरने एकाच वेळच्या विनंत्या मर्यादित करा. उदाहरण प्रत्येक प्रदाता मर्यादेवर असतानाही पुन्हा प्रयत्न करते.

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

साखळीतील प्रत्येक की मर्यादेवर असतानाच राउटर 429 परत करतो. तेव्हा प्रतिसादात Retry-After हेडर असते. मोठ्या batches साठी सेमाफोरचे लहान मूल्य आणि अधिक प्रदात्यांच्या की सर्वोत्तम परिणाम देतात.

प्रत्येक कामासाठी मॉडेल स्ट्रिंग निवडा

मॉडेल स्ट्रिंग राउटरला मॉडेल कसे निवडायचे ते सांगते. प्रत्येक कॉलमध्ये वेगळी स्ट्रिंग वापरू शकता. डॅशबोर्ड बदलण्याची गरज नाही.

काममॉडेल स्ट्रिंगकारण
वापरकर्त्यांसाठी chat उत्तरेautoडॅशबोर्डवर तुम्ही सेट केलेली फॉलबॅक साखळी पाळते
वर्गीकरण, माहिती काढणे, छोटे सारांशauto:fastसक्षम मॉडेल मोजलेल्या वेगानुसार क्रमवारी लावते
कठीण प्रश्न, कोड पुनरावलोकन, नियोजनauto:smartसक्षम मॉडेल बुद्धिमत्तेनुसार क्रमवारी लावते
पूर्ण व्हायलाच हवीत अशी नियोजित कामेauto:reliableसक्षम मॉडेल अलीकडील यशाच्या दरानुसार क्रमवारी लावते
एका अॅपसाठी वेगळी साखळीauto:<profile>नावाची फॉलबॅक साखळी वापरते
पुनरावृत्ती करता येणाऱ्या चाचण्यानिश्चित मॉडेल IDप्रत्येक वेळी तेच मॉडेल, पण त्या मॉडेलच्या मर्यादेवर थांबते

तुमच्या की आता कोणती मॉडेल कॉल करू शकतात ते पाहण्यासाठी फिल्टरसह मॉडेल यादी मागवा. पूर्ण यादीत अशी मॉडेलही असतात, ज्यांची अजून की नाही.

आता उत्तर देऊ शकणारी मॉडेल यादी करा

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

exhausted स्थिती असलेल्या मॉडेलला की आहेत, पण त्या सर्व आता मर्यादेवर आहेत. Cooldown संपल्यावर स्थिती साफ होते. needsKey स्थिती असलेल्या मॉडेलला सक्षम की नाही.

संभाषणासाठी X-Session-Id हेडर extra_headers सह पाठवा. मग FreeLLMAPI ते संभाषण 30 मिनिटे एका मॉडेलवर ठेवते. हेडर नसेल तर ते पहिल्या वापरकर्ता संदेशाचा hash सत्र की म्हणून वापरते.

Embeddings

मजकूराचे embed करा

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

Embedding failover कधीच मॉडेल बदलत नाही. ते फक्त त्याच family ला सेवा देणाऱ्या प्रदात्यांमध्ये जाते, त्यामुळे तुमचे vectors सुसंगत राहतात. auto मूल्य डॅशबोर्डवर तुम्ही सेट केलेली डिफॉल्ट family वापरते.

एका input यादीत अनेक मजकूर पाठवा. 32 मजकूर असलेली एक विनंती मोफत मर्यादेतून एक विनंती वापरते, 32 नाही. प्रत्येक मजकूर family च्या कमाल इनपुटखाली ठेवा. तुमच्या vectors सोबत family नाव साठवा, म्हणजे नंतर त्याच family ने क्वेरी embed करता येतील.

त्रुटी आणि उपाय

अपवादकारणउपाय
openai.AuthenticationErrorचुकीची एकत्रित कीKeys पेजवरून की पुन्हा कॉपी करा
openai.APIConnectionErrorFreeLLMAPI चालू नाही, किंवा चुकीचा पोर्टब्राउझरमध्ये http://localhost:3001 उघडा
openai.NotFoundErrorBase URL मध्ये /v1 नाहीhttp://localhost:3001/v1 वापरा
openai.RateLimitErrorसाखळीतील सर्व की मर्यादेवर आहेतप्रदाते जोडा, एकाच वेळच्या विनंत्या कमी करा, Retry-After ची वाट पाहा
openai.BadRequestError auto:name सहprofile नाव अस्तित्वात नाहीडॅशबोर्डवर profile नाव तपासा
प्रतिमांसह openai.UnprocessableEntityError (422)तुमच्या साखळीत vision मॉडेल नाहीफॉलबॅक साखळीत vision मॉडेल सक्षम करा

मोफत टियरला SLA नाही. दिवसभर latency बदलते. सर्वात सक्षम मॉडेल आधी दैनिक मर्यादेवर पोहोचतात, आणि अनेक मर्यादा मध्यरात्री UTC ला रीसेट होतात. ठरलेल्या वेळेत उत्तर द्यावे लागणाऱ्या सेवेसाठी मोफत गेटवे वापरू नका.

या सर्व मॉडेलचा वापर एकाच कीद्वारे करा. FreeLLMAPI हा एक ओपन-सोर्स, स्वतः होस्ट केलेला राउटर आहे. तो हे सर्व मोफत टियर एका OpenAI-सुसंगत एंडपॉइंटमागे ठेवतो आणि एखादे मॉडेल मर्यादेत असताना दुसऱ्याकडे वळवतो. कॅटलॉग ब्राउझ करा किंवा थेट पहा.

वारंवार विचारले जाणारे प्रश्न

Python साठी मोफत LLM API आहे का?

होय. अनेक प्रदात्यांकडे मोफत टियर आहेत, जे openai Python पॅकेजसोबत काम करतात. FreeLLMAPI त्यांना एका base URL आणि एका कीमागे एकत्र ठेवते, प्रदात्यांमध्ये failover सह.

वेगळ्या base URL सह openai Python लायब्ररी कशी वापरू?

OpenAI() किंवा AsyncOpenAI() ला base_url द्या, उदाहरणार्थ base_url="http://localhost:3001/v1". तुमची गेटवे की api_key म्हणून द्या.

Python मध्ये रेट मर्यादेच्या त्रुटी कशा हाताळू?

क्लायंटवर max_retries सेट करा. openai.RateLimitError पकडा, Retry-After हेडर वाचा आणि थांबा. asyncio semaphore ने एकाच वेळच्या विनंत्या मर्यादित करा.

Python मध्ये मोफत LLM API सह streaming चालते का?

होय. stream=True द्या आणि chunk.choices[0].delta.content वाचा. FreeLLMAPI प्रत्येक प्रदात्यासाठी OpenAI स्वरूपात स्ट्रीम करते.

मोफत LLM API सह async Python वापरता येते का?

होय. तोच base_url आणि की असलेला AsyncOpenAI वापरा. समांतर विनंत्यांची संख्या कमी ठेवा, कारण मोफत टियर प्रति मिनिट विनंत्या मर्यादित करतात.

संबंधित मार्गदर्शक

स्रोत

सर्व मार्गदर्शक · सर्व मोफत मॉडेल पहा