Ana sayfa / Rehberler / Python ile ücretsiz LLM API

Python ile ücretsiz LLM API

Resmi openai Python paketi, OpenAI uyumlu her API ile çalışır. Temel URL'yi ve anahtarı değiştirirsiniz. Bu kılavuz FreeLLMAPI'yi kullanır. FreeLLMAPI, tek bir anahtarın arkasında 45 ücretsiz sağlayıcı katmanını birleştirir ve bir limit isteği durdurduğunda bir sonraki sağlayıcıya geçer. Aşağıdaki her örnek eksiksizdir ve olduğu gibi çalışır.

Kod, model adları ve canlı katalog etiketleri İngilizce gösterilir.

Kurulum

FreeLLMAPI'yi kurun. Docker içinde çalışır. Panoyu http://localhost:3001 adresinde açın, Keys sayfasına iki veya daha fazla sağlayıcıdan ücretsiz anahtar ekleyin ve birleşik anahtarı kopyalayın. Sonra Python paketini kurun.

Python kodunuz yalnızca birleşik anahtarı kullanır. Sağlayıcı anahtarları FreeLLMAPI içinde, veritabanında şifreli olarak kalır. Bir sağlayıcı anahtarını değiştirir veya eklerseniz kodunuzu değiştirmezsiniz.

Kurulum

curl -fsSL https://freellmapi.co/install.sh | bash

python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>

client.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=3,   # the SDK retries 429, 408, 409 and 5xx errors
    timeout=60,
)

resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)

auto modeli, panodaki yedek zincirinizi izler. Ayrıca auto:fast, auto:smart veya auto:reliable, auto:coding gibi bir profil ya da sabit bir model kimliği kullanabilirsiniz.

Akış ve yanıt üstbilgileri

Yanıtı akıtın

from client import client

stream = client.chat.completions.create(
    model="auto:fast",
    messages=[{"role": "user", "content": "Write a haiku about Python."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
print()

Her yanıtta, yanıt veren sağlayıcıyı ve modeli içeren bir X-Routed-Via üstbilgisi bulunur. SDK ile üstbilgileri okumak için with_raw_response kullanın ve normal nesneyi almak için parse() çağırın.

Yönlendirme üstbilgilerini okuyun

from client import client

raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)

Araç çağrısı

OpenAI tarzı tools gönderin. Yönlendirici bunları OpenAI uyumlu sağlayıcılara iletir ve Gemini için çevirir. Yanıt her sağlayıcı için aynı biçimde geri gelir.

Bir araç çağrısı ve son yanıt

import json
from client import client

tools = [{
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "Get the exchange rate between two currencies.",
        "parameters": {
            "type": "object",
            "properties": {
                "base": {"type": "string"},
                "quote": {"type": "string"},
            },
            "required": ["base", "quote"],
        },
    },
}]

messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"base": args["base"], "quote": args["quote"], "rate": 0.92}  # your real lookup
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Bazı sağlayıcılar bir araç çağrısını düz metin olarak döndürür. FreeLLMAPI bu yanıtları gerçek tool_calls alanlarına dönüştürür, bu yüzden kodunuz tek bir biçimi okur. Her zaman msg.tool_calls değerini kontrol edin, msg.content değerini okumadan önce. Çünkü bir model araç kullanmadan da yanıt verebilir.

Araç çağrısı olan bir model kullanın. Bu ücretsiz modeller araçları destekler ve bugün ölçülen en hızlı hıza sahiptir:

Araç çağrısı olan hızlı ücretsiz modeller
ModelÜcretsiz olduğu yerBağlamÜcretsiz limitler (en iyi teklif)AraçlarGörsel girdi
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 istek/dk
250 istek/gün
70,000 jeton/dk
~6M
EvetEvet
Nemotron 3.5 LightningElectronHub, Kilo Gateway, OpenRouter1M20 istek/dk
50 istek/gün
50 req/day account-wide (1,000 after a $10 purchase)
EvetHayır
GPT-OSS 120BCloudflare Workers AI, ElectronHub, Groq +1 tane daha131K30 istek/dk
1,000 istek/gün
8,000 jeton/dk
200,000 jeton/gün
~6M
EvetHayır
GPT-OSS 20BCloudflare Workers AI, Groq, NVIDIA NIM +1 tane daha131K30 istek/dk
1,000 istek/gün
8,000 jeton/dk
200,000 jeton/gün
~6M
EvetHayır
GPT-OSS Safeguard 20BGroq131K30 istek/dk
1,000 istek/gün
8,000 jeton/dk
200,000 jeton/gün
~6M
EvetHayır
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 istek/dk
20 istek/gün
250,000 jeton/dk
~3M
EvetEvet
Step 3.7 FlashElectronHub256K$0.25/week shared recurring creditEvetEvet
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 istek/dk
5,000 istek/gün
500,000 jeton/gün
500K tokens/day · 5,000 req/day
EvetEvet
Nemotron 3.5 Lightning 30BRequesty1M200 istek/gün
200 rpd
EvetHayır
Gemini 2.5 Flash-LiteElectronHub, Google AI Studio1M15 istek/dk
20 istek/gün
250,000 jeton/dk
~3M
EvetEvet

146 eşleşen ücretsiz modelden 10 tanesi gösteriliyor. Tüm modelleri gör.

Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.

Ücretsiz limitler içinde eşzamansız gruplar

AsyncOpenAI, birçok isteği aynı anda gönderir. Ücretsiz katmanlar dakika başına istekleri sınırlar, bu yüzden eşzamanlılığı bir semafor ile sınırlayın. Örnek, her sağlayıcı limitindeyken de yeniden dener.

batch.py

import asyncio
import os

import openai
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="http://localhost:3001/v1",
    api_key=os.environ["FREELLMAPI_API_KEY"],
    max_retries=2,
)
limit = asyncio.Semaphore(4)  # at most 4 requests at a time

async def summarize(text: str) -> str:
    async with limit:
        for attempt in range(5):
            try:
                resp = await client.chat.completions.create(
                    model="auto:fast",
                    messages=[
                        {"role": "system", "content": "Summarize in one sentence."},
                        {"role": "user", "content": text},
                    ],
                )
                return resp.choices[0].message.content
            except openai.RateLimitError as err:
                header = err.response.headers.get("retry-after", "")
                wait = int(header) if header.isdigit() else 2 ** attempt
                await asyncio.sleep(min(wait, 60))
        return "ERROR: rate limited"

async def main():
    docs = [f"Document {i}: Python is a programming language." for i in range(20)]
    results = await asyncio.gather(*(summarize(d) for d in docs))
    for r in results:
        print(r)
    await client.close()

asyncio.run(main())

Yönlendirici, yalnızca zincirdeki her anahtar limitinde olduğunda 429 döndürür. Yanıt o zaman bir Retry-After üstbilgisi içerir. Küçük bir semafor değeri ve daha fazla sağlayıcı anahtarı, büyük gruplar için en iyi sonucu verir.

Her görev için bir model dizgisi seçin

Model dizgisi, yönlendiriciye bir modeli nasıl seçeceğini söyler. Her çağrıda farklı bir dizgi kullanabilirsiniz. Panoyu değiştirmeniz gerekmez.

GörevModel dizgisiNeden
Kullanıcılar için sohbet yanıtlarıautoPanoda ayarladığınız yedek zincirini izler
Sınıflandırma, çıkarım, kısa özetlerauto:fastEtkin modelleri ölçülen hıza göre sıralar
Zor sorular, kod incelemesi, planlamaauto:smartEtkin modelleri zekâya göre sıralar
Bitmesi gereken zamanlanmış işlerauto:reliableEtkin modelleri son başarı oranına göre sıralar
Bir uygulama için ayrı bir zincirauto:<profile>Adlandırılmış bir yedek zincirini kullanır
Tekrarlanabilir olması gereken testlerSabit bir model kimliğiHer seferinde aynı model, ama o modelin limitinde durur

Anahtarlarınızın şu anda hangi modelleri çağırabildiğini görmek için model listesini bir filtreyle isteyin. Tam liste, henüz anahtarı olmayan modelleri de içerir.

Şu anda yanıt verebilen modelleri listeleyin

import os
import httpx

r = httpx.get(
    "http://localhost:3001/v1/models",
    params={"execution_status": "ready"},
    headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
    timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
    print(m["id"])

exhausted durumundaki bir modelin anahtarları vardır, ama hepsi şu anda bir limitte. Durum, bekleme süreleri bittiğinde temizlenir. needsKey durumundaki bir modelin etkin bir anahtarı yoktur.

Bir konuşma için bir X-Session-Id üstbilgisini extra_headers ile gönderin. FreeLLMAPI, o konuşmayı 30 dakika boyunca tek bir modelde tutar. Üstbilgi olmadan, oturum anahtarı olarak ilk kullanıcı mesajının bir karmasını kullanır.

Embeddings

Metni embed edin

from client import client

resp = client.embeddings.create(
    model="bge-m3",  # one embedding family
    input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")

Embedding yedeklemesi modeli hiçbir zaman değiştirmez. Yalnızca aynı aileye hizmet veren sağlayıcılar arasında geçiş yapar, bu yüzden vektörleriniz uyumlu kalır. auto değeri, panoda ayarladığınız varsayılan aileyi kullanır.

Tek bir input listesinde birçok metin gönderin. 32 metinli tek bir istek, ücretsiz limitten 32 değil bir istek kullanır. Her metni ailenin en fazla girdi değerinin altında tutun. Aile adını vektörlerinizle birlikte saklayın, böylece sorguları daha sonra aynı aileyle embed edersiniz.

Hatalar ve çözümler

İstisnaNedenÇözüm
openai.AuthenticationErrorYanlış birleşik anahtarAnahtarı Keys sayfasından yeniden kopyalayın
openai.APIConnectionErrorFreeLLMAPI çalışmıyor veya bağlantı noktası yanlışTarayıcıda http://localhost:3001 adresini açın
openai.NotFoundErrorTemel URL'de /v1 yokhttp://localhost:3001/v1 kullanın
openai.RateLimitErrorZincirdeki tüm anahtarlar limitindeSağlayıcı ekleyin, eşzamanlılığı düşürün, Retry-After değerini bekleyin
openai.BadRequestError, auto:name ileProfil adı yokPanodaki profil adını kontrol edin
Görsellerle openai.UnprocessableEntityError (422)Zincirinizde görsel modeli yokYedek zincirinde bir görsel modelini etkinleştirin

Ücretsiz katmanların SLA'sı yoktur. Gecikme gün içinde değişir. En güçlü modeller günlük limitlerine ilk ulaşır ve birçok limit UTC'ye göre gece yarısı sıfırlanır. Sabit bir süre içinde yanıt vermesi gereken bir hizmet için ücretsiz ağ geçidi kullanmayın.

Bunların hepsini tek bir anahtarla kullanın. FreeLLMAPI, açık kaynaklı ve kendi sunucunuzda çalışan bir yönlendiricidir. Tüm bu ücretsiz katmanları tek bir OpenAI uyumlu uç noktanın arkasında toplar ve bir sağlayıcı hız limitine takıldığında otomatik olarak başka birine geçer. Kataloğa göz atın veya canlı olarak incele.

Sık sorulan sorular

Python için ücretsiz bir LLM API'si var mı?

Evet. Birçok sağlayıcının, openai Python paketiyle çalışan ücretsiz katmanları vardır. FreeLLMAPI bunları tek bir temel URL ve tek bir anahtar arkasında, sağlayıcılar arasında yedeklemeyle birleştirir.

Farklı bir temel URL ile openai Python kütüphanesini nasıl kullanırım?

OpenAI() veya AsyncOpenAI() sınıfına base_url değerini verin, örneğin base_url="http://localhost:3001/v1". Ağ geçidi anahtarınızı api_key olarak verin.

Python'da hız limiti hatalarını nasıl yönetirim?

İstemcide max_retries değerini ayarlayın. openai.RateLimitError hatasını yakalayın, Retry-After üstbilgisini okuyun ve bekleyin. Eşzamanlılığı bir asyncio semaforu ile sınırlayın.

Python'da akış ücretsiz LLM API'leriyle çalışır mı?

Evet. stream=True değerini verin ve chunk.choices[0].delta.content alanını okuyun. FreeLLMAPI, her sağlayıcı için OpenAI biçiminde akış yapar.

Ücretsiz bir LLM API'si ile eşzamansız Python kullanabilir miyim?

Evet. Aynı base_url ve anahtarla AsyncOpenAI kullanın. Ücretsiz katmanlar dakika başına istekleri sınırladığı için paralel istek sayısını küçük tutun.

İlgili rehberler

Kaynaklar

Tüm rehberler · Tüm ücretsiz modelleri incele