Python ile ücretsiz LLM API
Resmi openai Python paketi, OpenAI uyumlu her API ile çalışır. Temel URL'yi ve anahtarı değiştirirsiniz. Bu kılavuz FreeLLMAPI'yi kullanır. FreeLLMAPI, tek bir anahtarın arkasında 45 ücretsiz sağlayıcı katmanını birleştirir ve bir limit isteği durdurduğunda bir sonraki sağlayıcıya geçer. Aşağıdaki her örnek eksiksizdir ve olduğu gibi çalışır.
Kod, model adları ve canlı katalog etiketleri İngilizce gösterilir.
Kurulum
FreeLLMAPI'yi kurun. Docker içinde çalışır. Panoyu http://localhost:3001 adresinde açın, Keys sayfasına iki veya daha fazla sağlayıcıdan ücretsiz anahtar ekleyin ve birleşik anahtarı kopyalayın. Sonra Python paketini kurun.
Python kodunuz yalnızca birleşik anahtarı kullanır. Sağlayıcı anahtarları FreeLLMAPI içinde, veritabanında şifreli olarak kalır. Bir sağlayıcı anahtarını değiştirir veya eklerseniz kodunuzu değiştirmezsiniz.
Kurulum
curl -fsSL https://freellmapi.co/install.sh | bash
python3 -m pip install -U openai
export FREELLMAPI_API_KEY=<unified-key>client.py
import os
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=3, # the SDK retries 429, 408, 409 and 5xx errors
timeout=60,
)
resp = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Name three uses of Python in one line."}],
)
print(resp.choices[0].message.content)auto modeli, panodaki yedek zincirinizi izler. Ayrıca auto:fast, auto:smart veya auto:reliable, auto:coding gibi bir profil ya da sabit bir model kimliği kullanabilirsiniz.
Akış ve yanıt üstbilgileri
Yanıtı akıtın
from client import client
stream = client.chat.completions.create(
model="auto:fast",
messages=[{"role": "user", "content": "Write a haiku about Python."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
print()Her yanıtta, yanıt veren sağlayıcıyı ve modeli içeren bir X-Routed-Via üstbilgisi bulunur. SDK ile üstbilgileri okumak için with_raw_response kullanın ve normal nesneyi almak için parse() çağırın.
Yönlendirme üstbilgilerini okuyun
from client import client
raw = client.chat.completions.with_raw_response.create(
model="auto",
messages=[{"role": "user", "content": "hi"}],
)
print("Served by:", raw.headers.get("x-routed-via"))
print("Failed attempts:", raw.headers.get("x-fallback-attempts", "0"))
print(raw.parse().choices[0].message.content)Araç çağrısı
OpenAI tarzı tools gönderin. Yönlendirici bunları OpenAI uyumlu sağlayıcılara iletir ve Gemini için çevirir. Yanıt her sağlayıcı için aynı biçimde geri gelir.
Bir araç çağrısı ve son yanıt
import json
from client import client
tools = [{
"type": "function",
"function": {
"name": "get_exchange_rate",
"description": "Get the exchange rate between two currencies.",
"parameters": {
"type": "object",
"properties": {
"base": {"type": "string"},
"quote": {"type": "string"},
},
"required": ["base", "quote"],
},
},
}]
messages = [{"role": "user", "content": "How many euros is 250 US dollars?"}]
first = client.chat.completions.create(model="auto", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"base": args["base"], "quote": args["quote"], "rate": 0.92} # your real lookup
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="auto", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)Bazı sağlayıcılar bir araç çağrısını düz metin olarak döndürür. FreeLLMAPI bu yanıtları gerçek tool_calls alanlarına dönüştürür, bu yüzden kodunuz tek bir biçimi okur. Her zaman msg.tool_calls değerini kontrol edin, msg.content değerini okumadan önce. Çünkü bir model araç kullanmadan da yanıt verebilir.
Araç çağrısı olan bir model kullanın. Bu ücretsiz modeller araçları destekler ve bugün ölçülen en hızlı hıza sahiptir:
| Model | Ücretsiz olduğu yer | Bağlam | Ücretsiz limitler (en iyi teklif) | Araçlar | Görsel girdi |
|---|---|---|---|---|---|
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 istek/dk 250 istek/gün 70,000 jeton/dk ~6M | Evet | Evet |
| Nemotron 3.5 Lightning | ElectronHub, Kilo Gateway, OpenRouter | 1M | 20 istek/dk 50 istek/gün 50 req/day account-wide (1,000 after a $10 purchase) | Evet | Hayır |
| GPT-OSS 120B | Cloudflare Workers AI, ElectronHub, Groq +1 tane daha | 131K | 30 istek/dk 1,000 istek/gün 8,000 jeton/dk 200,000 jeton/gün ~6M | Evet | Hayır |
| GPT-OSS 20B | Cloudflare Workers AI, Groq, NVIDIA NIM +1 tane daha | 131K | 30 istek/dk 1,000 istek/gün 8,000 jeton/dk 200,000 jeton/gün ~6M | Evet | Hayır |
| GPT-OSS Safeguard 20B | Groq | 131K | 30 istek/dk 1,000 istek/gün 8,000 jeton/dk 200,000 jeton/gün ~6M | Evet | Hayır |
| Gemini 3.5 Flash Lite | ElectronHub, Google AI Studio | 1M | 15 istek/dk 20 istek/gün 250,000 jeton/dk ~3M | Evet | Evet |
| Step 3.7 Flash | ElectronHub | 256K | $0.25/week shared recurring credit | Evet | Evet |
| Gemini 3.1 Flash-Lite | DreamPrompting, Google AI Studio | 1M | 100 istek/dk 5,000 istek/gün 500,000 jeton/gün 500K tokens/day · 5,000 req/day | Evet | Evet |
| Nemotron 3.5 Lightning 30B | Requesty | 1M | 200 istek/gün 200 rpd | Evet | Hayır |
| Gemini 2.5 Flash-Lite | ElectronHub, Google AI Studio | 1M | 15 istek/dk 20 istek/gün 250,000 jeton/dk ~3M | Evet | Evet |
146 eşleşen ücretsiz modelden 10 tanesi gösteriliyor. Tüm modelleri gör.
Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.
Ücretsiz limitler içinde eşzamansız gruplar
AsyncOpenAI, birçok isteği aynı anda gönderir. Ücretsiz katmanlar dakika başına istekleri sınırlar, bu yüzden eşzamanlılığı bir semafor ile sınırlayın. Örnek, her sağlayıcı limitindeyken de yeniden dener.
batch.py
import asyncio
import os
import openai
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="http://localhost:3001/v1",
api_key=os.environ["FREELLMAPI_API_KEY"],
max_retries=2,
)
limit = asyncio.Semaphore(4) # at most 4 requests at a time
async def summarize(text: str) -> str:
async with limit:
for attempt in range(5):
try:
resp = await client.chat.completions.create(
model="auto:fast",
messages=[
{"role": "system", "content": "Summarize in one sentence."},
{"role": "user", "content": text},
],
)
return resp.choices[0].message.content
except openai.RateLimitError as err:
header = err.response.headers.get("retry-after", "")
wait = int(header) if header.isdigit() else 2 ** attempt
await asyncio.sleep(min(wait, 60))
return "ERROR: rate limited"
async def main():
docs = [f"Document {i}: Python is a programming language." for i in range(20)]
results = await asyncio.gather(*(summarize(d) for d in docs))
for r in results:
print(r)
await client.close()
asyncio.run(main())Yönlendirici, yalnızca zincirdeki her anahtar limitinde olduğunda 429 döndürür. Yanıt o zaman bir Retry-After üstbilgisi içerir. Küçük bir semafor değeri ve daha fazla sağlayıcı anahtarı, büyük gruplar için en iyi sonucu verir.
Her görev için bir model dizgisi seçin
Model dizgisi, yönlendiriciye bir modeli nasıl seçeceğini söyler. Her çağrıda farklı bir dizgi kullanabilirsiniz. Panoyu değiştirmeniz gerekmez.
| Görev | Model dizgisi | Neden |
|---|---|---|
| Kullanıcılar için sohbet yanıtları | auto | Panoda ayarladığınız yedek zincirini izler |
| Sınıflandırma, çıkarım, kısa özetler | auto:fast | Etkin modelleri ölçülen hıza göre sıralar |
| Zor sorular, kod incelemesi, planlama | auto:smart | Etkin modelleri zekâya göre sıralar |
| Bitmesi gereken zamanlanmış işler | auto:reliable | Etkin modelleri son başarı oranına göre sıralar |
| Bir uygulama için ayrı bir zincir | auto:<profile> | Adlandırılmış bir yedek zincirini kullanır |
| Tekrarlanabilir olması gereken testler | Sabit bir model kimliği | Her seferinde aynı model, ama o modelin limitinde durur |
Anahtarlarınızın şu anda hangi modelleri çağırabildiğini görmek için model listesini bir filtreyle isteyin. Tam liste, henüz anahtarı olmayan modelleri de içerir.
Şu anda yanıt verebilen modelleri listeleyin
import os
import httpx
r = httpx.get(
"http://localhost:3001/v1/models",
params={"execution_status": "ready"},
headers={"Authorization": f"Bearer {os.environ['FREELLMAPI_API_KEY']}"},
timeout=30,
)
r.raise_for_status()
for m in r.json()["data"]:
print(m["id"])exhausted durumundaki bir modelin anahtarları vardır, ama hepsi şu anda bir limitte. Durum, bekleme süreleri bittiğinde temizlenir. needsKey durumundaki bir modelin etkin bir anahtarı yoktur.
Bir konuşma için bir X-Session-Id üstbilgisini extra_headers ile gönderin. FreeLLMAPI, o konuşmayı 30 dakika boyunca tek bir modelde tutar. Üstbilgi olmadan, oturum anahtarı olarak ilk kullanıcı mesajının bir karmasını kullanır.
Embeddings
Metni embed edin
from client import client
resp = client.embeddings.create(
model="bge-m3", # one embedding family
input=["Python is a programming language.", "A snake is a reptile."],
)
print(len(resp.data), "vectors of", len(resp.data[0].embedding), "dimensions")Embedding yedeklemesi modeli hiçbir zaman değiştirmez. Yalnızca aynı aileye hizmet veren sağlayıcılar arasında geçiş yapar, bu yüzden vektörleriniz uyumlu kalır. auto değeri, panoda ayarladığınız varsayılan aileyi kullanır.
Tek bir input listesinde birçok metin gönderin. 32 metinli tek bir istek, ücretsiz limitten 32 değil bir istek kullanır. Her metni ailenin en fazla girdi değerinin altında tutun. Aile adını vektörlerinizle birlikte saklayın, böylece sorguları daha sonra aynı aileyle embed edersiniz.
Hatalar ve çözümler
| İstisna | Neden | Çözüm |
|---|---|---|
openai.AuthenticationError | Yanlış birleşik anahtar | Anahtarı Keys sayfasından yeniden kopyalayın |
openai.APIConnectionError | FreeLLMAPI çalışmıyor veya bağlantı noktası yanlış | Tarayıcıda http://localhost:3001 adresini açın |
openai.NotFoundError | Temel URL'de /v1 yok | http://localhost:3001/v1 kullanın |
openai.RateLimitError | Zincirdeki tüm anahtarlar limitinde | Sağlayıcı ekleyin, eşzamanlılığı düşürün, Retry-After değerini bekleyin |
openai.BadRequestError, auto:name ile | Profil adı yok | Panodaki profil adını kontrol edin |
Görsellerle openai.UnprocessableEntityError (422) | Zincirinizde görsel modeli yok | Yedek zincirinde bir görsel modelini etkinleştirin |
Ücretsiz katmanların SLA'sı yoktur. Gecikme gün içinde değişir. En güçlü modeller günlük limitlerine ilk ulaşır ve birçok limit UTC'ye göre gece yarısı sıfırlanır. Sabit bir süre içinde yanıt vermesi gereken bir hizmet için ücretsiz ağ geçidi kullanmayın.
Sık sorulan sorular
Python için ücretsiz bir LLM API'si var mı?
Evet. Birçok sağlayıcının, openai Python paketiyle çalışan ücretsiz katmanları vardır. FreeLLMAPI bunları tek bir temel URL ve tek bir anahtar arkasında, sağlayıcılar arasında yedeklemeyle birleştirir.
Farklı bir temel URL ile openai Python kütüphanesini nasıl kullanırım?
OpenAI() veya AsyncOpenAI() sınıfına base_url değerini verin, örneğin base_url="http://localhost:3001/v1". Ağ geçidi anahtarınızı api_key olarak verin.
Python'da hız limiti hatalarını nasıl yönetirim?
İstemcide max_retries değerini ayarlayın. openai.RateLimitError hatasını yakalayın, Retry-After üstbilgisini okuyun ve bekleyin. Eşzamanlılığı bir asyncio semaforu ile sınırlayın.
Python'da akış ücretsiz LLM API'leriyle çalışır mı?
Evet. stream=True değerini verin ve chunk.choices[0].delta.content alanını okuyun. FreeLLMAPI, her sağlayıcı için OpenAI biçiminde akış yapar.
Ücretsiz bir LLM API'si ile eşzamansız Python kullanabilir miyim?
Evet. Aynı base_url ve anahtarla AsyncOpenAI kullanın. Ücretsiz katmanlar dakika başına istekleri sınırladığı için paralel istek sayısını küçük tutun.
İlgili rehberler
- Ücretsiz OpenAI uyumlu API base URL'leri
- LangChain için ücretsiz LLM API
- AI ajanları için ücretsiz LLM API
- Fonksiyon çağrısı destekli ücretsiz LLM API
- Ücretsiz LLM API hız sınırları
Kaynaklar
- OpenAI Python SDK README (async, retries, raw responses, errors) (20 November 2026 tarihinde kontrol edildi)
- FreeLLMAPI docs: REST API (chat, streaming, tool calling, embeddings, headers) (20 November 2026 tarihinde kontrol edildi)
- FreeLLMAPI docs: degraded mode and failover (20 November 2026 tarihinde kontrol edildi)