LangChain için ücretsiz LLM API
LangChain, OpenAI uyumlu API'lere ChatOpenAI ve OpenAIEmbeddings ile bağlanır. Temel URL'yi ve anahtarı değiştirirsiniz. Bu rehber her iki sınıfı da FreeLLMAPI'ye yönlendirir. FreeLLMAPI, 45 ücretsiz sağlayıcı katmanını tek bir anahtarın arkasında toplar. Aşağıdaki kod Python ve JavaScript'te çalışır ve hız limitlerini yönetir.
Kod, model adları ve canlı katalog etiketleri İngilizce gösterilir.
Ağ geçidini ve paketleri kurun
FreeLLMAPI'yi kurun ve panodaki Keys sayfasına iki veya daha fazla sağlayıcının ücretsiz anahtarını ekleyin. Birleşik anahtarı kopyalayın. Kodunuz yalnızca bu anahtarı kullanır. Sağlayıcı anahtarları FreeLLMAPI içinde kalır.
FreeLLMAPI ve LangChain paketlerini kurun
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zodOrtam değişkenleri
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Yönlendiricinin bir model seçmesi için model="auto" kullanın. Bir yönlendirme stratejisi de kullanabilirsiniz, örneğin auto:fast veya auto:smart. auto:coding gibi adlandırılmış bir profil ve katalogdan sabit bir model kimliği de çalışır.
Anahtarlarınızın şu anda hangi modelleri çağırabildiğini görmek için GET /v1/models?execution_status=ready isteğinde bulunun. Tam listede anahtarı olmayan modeller de yer alır. exhausted durumundaki bir model için anahtarlar vardır, ancak bu anda hepsi limitte. Bu durum, bekleme süreleri bittiğinde temizlenir.
Şu anda yanıt verebilen modelleri listeleyin
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"ChatOpenAI ile sohbet
Python'da base_url ve api_key değerlerini ayarlayın. max_retries değeri OpenAI istemcisine gider. İstemci, 429 ve 5xx hatalarını artan bekleme süreleriyle yeniden dener.
Python: sohbet ve akış
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)JavaScript'te temel URL'yi configuration.baseURL alanına yazın. configuration nesnesi resmi OpenAI SDK istemcisine gider.
JavaScript: sohbet ve akış
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}x-routed-via başlığı yanıtı veren sağlayıcıyı ve modeli gösterir. Yönlendirici sağlayıcı değiştirdiyse x-fallback-trail her başarısız denemeyi ve nedenini gösterir.
Araçlar ve ajanlar
FreeLLMAPI, OpenAI tarzı tools alanını her sağlayıcıya iletir ve tool_calls değerini OpenAI biçiminde döndürür. Gemini için isteği Google biçimine çevirir ve yanıtı geri çevirir. Tek bir çağrı için bind_tools, araçları çalıştıran bir döngü için create_agent kullanın.
Python: bind_tools ve create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);Yalnızca bazı ücretsiz modeller araç çağrısını destekler. auto ile kullanırken araç çağrısı yapabilen modelleri geçiş zincirinizde tutun veya ajanlar için bir profil oluşturun. Bugün şu ücretsiz modeller araçları destekler:
| Model | Ücretsiz olduğu yer | Bağlam | Ücretsiz limitler (en iyi teklif) | Araçlar | Görsel girdi |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 istek/dk 1 req/min per model | Evet | Hayır |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 istek/dk 40 RPM | Evet | Evet |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Evet | Evet |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Evet | Hayır |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Evet | Evet |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 istek/dk 20 istek/gün 250,000 jeton/dk ~3M | Evet | Evet |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Evet | Evet |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 istek/dk 50 istek/gün 50 req/day account-wide (1,000 after a $10 purchase) | Evet | Evet |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 istek/dk 50 istek/gün Shared rate limit | Evet | Hayır |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 istek/dk 250 istek/gün 70,000 jeton/dk ~6M | Evet | Evet |
109 eşleşen ücretsiz modelden 10 tanesi gösteriliyor. Tüm modelleri gör.
Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.
OpenAIEmbeddings ile gömmeler
Python'da varsayılan OpenAIEmbeddings, metni bir OpenAI tokenizer'ı ile böler ve jetonları gönderir. Diğer sağlayıcıların çoğu ham metin ister. Metni göndermek için check_embedding_ctx_length=False ayarlayın.
Python: gömmeler
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: gömmeler
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);FreeLLMAPI'deki gömme geçişi modeli asla değiştirmez. Yalnızca aynı aileyi sunan sağlayıcılar arasında geçiş yapar. Bu, bir vektör deposundaki tüm vektörlerin uyumlu kalmasını sağlar. Bir aile seçin ve onu değiştirmeyin. Bugünkü ücretsiz gömme modelleri şunlardır:
| Model | Sağlayıcı | Boyutlar | En fazla girdi | Ücretsiz limit |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.
Yapılandırılmış çıktı, oturumlar ve model seçimi
with_structured_output, metin yerine bir Pydantic nesnesi döndürür. LangChain varsayılan olarak bunun için fonksiyon çağrısı kullanır. Bu yöntem, araçları destekleyen her ücretsiz modelde çalışır.
Python: yapılandırılmış çıktı
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)method="json_schema" ile auto kullanmayın. Her ücretsiz sağlayıcı katı JSON şeması çıktısını desteklemez ve yönlendirici her istek için farklı bir sağlayıcı seçebilir.
FreeLLMAPI, bir konuşmayı 30 dakika boyunca tek bir modelde tutar. Konuşmayı X-Session-Id başlığından bulur. Başlık yoksa ilk kullanıcı mesajının karma değerini kullanır. Çok kullanıcılı bir sohbet uygulamasında her kullanıcı için bir oturum kimliği gönderin:
Python: kullanıcı başına bir oturum
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)Uygulamanızın her bölümü için model dizesini seçin:
| Uygulamanızdaki görev | Model dizesi | Neden |
|---|---|---|
| Kullanıcılar için sohbet yanıtları | auto | Panoda belirlediğiniz zinciri izler |
| Araçlı ajan | auto:<profile> | Yalnızca araç çağrısı yapan modelleri içeren bir profil |
| Sınıflandırma, yönlendirme, kısa özetler | auto:fast | Modelleri ölçülen hıza göre sıralar |
| Zor akıl yürütme adımları | auto:smart | Modelleri zekâya göre sıralar |
| Tekrarlanabilir olması gereken testler | Sabit bir model kimliği | Her seferinde aynı model, ancak o modelin limitinde durur |
Ücretsiz katmanların SLA'sı yoktur. Gecikme gün içinde değişir ve en güçlü modeller günlük limitlerine ilk ulaşır. Zincirlerinizi, zincirin gerçekte kullanacağı modellerle test edin.
Hız limitleri ve yeniden denemeler
Bir sağlayıcı 429 döndürdüğünde FreeLLMAPI bir sonrakini dener. Kodunuz 429 hatasını yalnızca zincirdeki her anahtar limitinde olduğunda görür. O zaman yanıtta bir Retry-After başlığı bulunur. Birçok günlük limit gece yarısı UTC'de sıfırlanır.
Toplu işler için with_retry ile ikinci bir yeniden deneme katmanı ekleyin. Tüm çalıştırılabilir yapıyı artan bekleme süreleri ve rastgele gecikme ile yeniden dener.
Python: hız limitlerinde bir zinciri yeniden deneyin
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| Sorun | Neden | Çözüm |
|---|---|---|
openai.AuthenticationError | Yanlış birleşik anahtar | Anahtarı Keys sayfasından yeniden kopyalayın |
Her çağrıda openai.NotFoundError | Temel URL'de /v1 yok | http://localhost:3001/v1 kullanın |
openai.RateLimitError | Zincirdeki tüm anahtarlar limitinde | Sağlayıcı ekleyin, max_concurrency değerini düşürün veya Retry-After süresini bekleyin |
| Jeton veya girdi türüyle ilgili gömme hatası | LangChain metin yerine jeton gönderir | check_embedding_ctx_length=False ayarlayın |
tool_calls boş | Model araçları desteklemiyor | Araçlar tablosundaki bir modeli veya bir araç profilini kullanın |
| Akıl yürütme metni eksik | ChatOpenAI yalnızca standart OpenAI alanlarını tutar | Yanıtı content içinde okuyun; ek sağlayıcı alanları tutulmaz |
Sık sorulan sorular
LangChain ile ücretsiz bir LLM API kullanabilir miyim?
Evet. OpenAI uyumlu her API, ChatOpenAI ile çalışır. base_url değerini http://localhost:3001/v1, api_key değerini FreeLLMAPI birleşik anahtarınız olarak ayarlayın. Yönlendirici ücretsiz sağlayıcı katmanlarını kullanır.
LangChain ChatOpenAI'de özel bir temel URL nasıl ayarlanır?
Python'da base_url değerini ChatOpenAI'ye geçirin. JavaScript'te yapıcıya configuration: { baseURL } geçirin. OPENAI_BASE_URL ortam değişkeni de Python'da çalışır.
LangChain ajanları ücretsiz modellerle çalışır mı?
Evet, model araç çağrısını destekliyorsa. ChatOpenAI modeliyle create_agent kullanın ve araç çağrısı yapabilen modelleri FreeLLMAPI zincirinizde tutun.
OpenAIEmbeddings OpenAI dışı bir sağlayıcıyla neden başarısız oluyor?
Varsayılan olarak jeton kimlikleri gönderir. Diğer sağlayıcıların çoğu ham metin ister. Python'da check_embedding_ctx_length=False ayarlayın.
LangChain'de 429 hatalarını nasıl yönetirim?
ChatOpenAI üzerinde max_retries ayarlayın ve toplu işler için zincire with_retry ekleyin. FreeLLMAPI, kodunuz 429 görmeden önce zaten bir sonraki sağlayıcıya geçer.
İlgili rehberler
- LlamaIndex için ücretsiz LLM
- Python ile ücretsiz LLM API
- RAG için ücretsiz LLM API
- Ücretsiz embeddings API
- Fonksiyon çağrısı destekli ücretsiz LLM API
- AI ajanları için ücretsiz LLM API
Kaynaklar
- LangChain docs: ChatOpenAI integration (Python) (20 November 2026 tarihinde kontrol edildi)
- LangChain docs: ChatOpenAI integration (JavaScript) (20 November 2026 tarihinde kontrol edildi)
- LangChain docs: agents and create_agent (20 November 2026 tarihinde kontrol edildi)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (20 November 2026 tarihinde kontrol edildi)
- OpenAI Python SDK: retries and errors (20 November 2026 tarihinde kontrol edildi)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (20 November 2026 tarihinde kontrol edildi)