Ana sayfa / Rehberler / LangChain için ücretsiz LLM API

LangChain için ücretsiz LLM API

LangChain, OpenAI uyumlu API'lere ChatOpenAI ve OpenAIEmbeddings ile bağlanır. Temel URL'yi ve anahtarı değiştirirsiniz. Bu rehber her iki sınıfı da FreeLLMAPI'ye yönlendirir. FreeLLMAPI, 45 ücretsiz sağlayıcı katmanını tek bir anahtarın arkasında toplar. Aşağıdaki kod Python ve JavaScript'te çalışır ve hız limitlerini yönetir.

Kod, model adları ve canlı katalog etiketleri İngilizce gösterilir.

Ağ geçidini ve paketleri kurun

FreeLLMAPI'yi kurun ve panodaki Keys sayfasına iki veya daha fazla sağlayıcının ücretsiz anahtarını ekleyin. Birleşik anahtarı kopyalayın. Kodunuz yalnızca bu anahtarı kullanır. Sağlayıcı anahtarları FreeLLMAPI içinde kalır.

FreeLLMAPI ve LangChain paketlerini kurun

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

Ortam değişkenleri

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Yönlendiricinin bir model seçmesi için model="auto" kullanın. Bir yönlendirme stratejisi de kullanabilirsiniz, örneğin auto:fast veya auto:smart. auto:coding gibi adlandırılmış bir profil ve katalogdan sabit bir model kimliği de çalışır.

Anahtarlarınızın şu anda hangi modelleri çağırabildiğini görmek için GET /v1/models?execution_status=ready isteğinde bulunun. Tam listede anahtarı olmayan modeller de yer alır. exhausted durumundaki bir model için anahtarlar vardır, ancak bu anda hepsi limitte. Bu durum, bekleme süreleri bittiğinde temizlenir.

Şu anda yanıt verebilen modelleri listeleyin

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

ChatOpenAI ile sohbet

Python'da base_url ve api_key değerlerini ayarlayın. max_retries değeri OpenAI istemcisine gider. İstemci, 429 ve 5xx hatalarını artan bekleme süreleriyle yeniden dener.

Python: sohbet ve akış

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

JavaScript'te temel URL'yi configuration.baseURL alanına yazın. configuration nesnesi resmi OpenAI SDK istemcisine gider.

JavaScript: sohbet ve akış

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

x-routed-via başlığı yanıtı veren sağlayıcıyı ve modeli gösterir. Yönlendirici sağlayıcı değiştirdiyse x-fallback-trail her başarısız denemeyi ve nedenini gösterir.

Araçlar ve ajanlar

FreeLLMAPI, OpenAI tarzı tools alanını her sağlayıcıya iletir ve tool_calls değerini OpenAI biçiminde döndürür. Gemini için isteği Google biçimine çevirir ve yanıtı geri çevirir. Tek bir çağrı için bind_tools, araçları çalıştıran bir döngü için create_agent kullanın.

Python: bind_tools ve create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

Yalnızca bazı ücretsiz modeller araç çağrısını destekler. auto ile kullanırken araç çağrısı yapabilen modelleri geçiş zincirinizde tutun veya ajanlar için bir profil oluşturun. Bugün şu ücretsiz modeller araçları destekler:

Araç çağrısı ve 128K+ bağlamı olan ücretsiz modeller
ModelÜcretsiz olduğu yerBağlamÜcretsiz limitler (en iyi teklif)AraçlarGörsel girdi
GLM 5.3UnoRouter1M1 istek/dk
1 req/min per model
EvetHayır
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 istek/dk
40 RPM
EvetEvet
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaEvetEvet
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceEvetHayır
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditEvetEvet
Gemini 3.7 FlashGoogle AI Studio1M10 istek/dk
20 istek/gün
250,000 jeton/dk
~3M
EvetEvet
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditEvetEvet
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 istek/dk
50 istek/gün
50 req/day account-wide (1,000 after a $10 purchase)
EvetEvet
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 istek/dk
50 istek/gün
Shared rate limit
EvetHayır
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 istek/dk
250 istek/gün
70,000 jeton/dk
~6M
EvetEvet

109 eşleşen ücretsiz modelden 10 tanesi gösteriliyor. Tüm modelleri gör.

Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.

OpenAIEmbeddings ile gömmeler

Python'da varsayılan OpenAIEmbeddings, metni bir OpenAI tokenizer'ı ile böler ve jetonları gönderir. Diğer sağlayıcıların çoğu ham metin ister. Metni göndermek için check_embedding_ctx_length=False ayarlayın.

Python: gömmeler

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: gömmeler

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

FreeLLMAPI'deki gömme geçişi modeli asla değiştirmez. Yalnızca aynı aileyi sunan sağlayıcılar arasında geçiş yapar. Bu, bir vektör deposundaki tüm vektörlerin uyumlu kalmasını sağlar. Bir aile seçin ve onu değiştirmeyin. Bugünkü ücretsiz gömme modelleri şunlardır:

ModelSağlayıcıBoyutlarEn fazla girdiÜcretsiz limit
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Canlı veriler FreeLLMAPI kataloğundan alınır (sürüm 2026.11.19, 2026-11-19 tarihinde kontrol edildi). Ücretsiz limitler sık değişir. Katalog her gün kontrol edilir.

Yapılandırılmış çıktı, oturumlar ve model seçimi

with_structured_output, metin yerine bir Pydantic nesnesi döndürür. LangChain varsayılan olarak bunun için fonksiyon çağrısı kullanır. Bu yöntem, araçları destekleyen her ücretsiz modelde çalışır.

Python: yapılandırılmış çıktı

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

method="json_schema" ile auto kullanmayın. Her ücretsiz sağlayıcı katı JSON şeması çıktısını desteklemez ve yönlendirici her istek için farklı bir sağlayıcı seçebilir.

FreeLLMAPI, bir konuşmayı 30 dakika boyunca tek bir modelde tutar. Konuşmayı X-Session-Id başlığından bulur. Başlık yoksa ilk kullanıcı mesajının karma değerini kullanır. Çok kullanıcılı bir sohbet uygulamasında her kullanıcı için bir oturum kimliği gönderin:

Python: kullanıcı başına bir oturum

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

Uygulamanızın her bölümü için model dizesini seçin:

Uygulamanızdaki görevModel dizesiNeden
Kullanıcılar için sohbet yanıtlarıautoPanoda belirlediğiniz zinciri izler
Araçlı ajanauto:<profile>Yalnızca araç çağrısı yapan modelleri içeren bir profil
Sınıflandırma, yönlendirme, kısa özetlerauto:fastModelleri ölçülen hıza göre sıralar
Zor akıl yürütme adımlarıauto:smartModelleri zekâya göre sıralar
Tekrarlanabilir olması gereken testlerSabit bir model kimliğiHer seferinde aynı model, ancak o modelin limitinde durur

Ücretsiz katmanların SLA'sı yoktur. Gecikme gün içinde değişir ve en güçlü modeller günlük limitlerine ilk ulaşır. Zincirlerinizi, zincirin gerçekte kullanacağı modellerle test edin.

Hız limitleri ve yeniden denemeler

Bir sağlayıcı 429 döndürdüğünde FreeLLMAPI bir sonrakini dener. Kodunuz 429 hatasını yalnızca zincirdeki her anahtar limitinde olduğunda görür. O zaman yanıtta bir Retry-After başlığı bulunur. Birçok günlük limit gece yarısı UTC'de sıfırlanır.

Toplu işler için with_retry ile ikinci bir yeniden deneme katmanı ekleyin. Tüm çalıştırılabilir yapıyı artan bekleme süreleri ve rastgele gecikme ile yeniden dener.

Python: hız limitlerinde bir zinciri yeniden deneyin

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
SorunNedenÇözüm
openai.AuthenticationErrorYanlış birleşik anahtarAnahtarı Keys sayfasından yeniden kopyalayın
Her çağrıda openai.NotFoundErrorTemel URL'de /v1 yokhttp://localhost:3001/v1 kullanın
openai.RateLimitErrorZincirdeki tüm anahtarlar limitindeSağlayıcı ekleyin, max_concurrency değerini düşürün veya Retry-After süresini bekleyin
Jeton veya girdi türüyle ilgili gömme hatasıLangChain metin yerine jeton gönderircheck_embedding_ctx_length=False ayarlayın
tool_calls boşModel araçları desteklemiyorAraçlar tablosundaki bir modeli veya bir araç profilini kullanın
Akıl yürütme metni eksikChatOpenAI yalnızca standart OpenAI alanlarını tutarYanıtı content içinde okuyun; ek sağlayıcı alanları tutulmaz
Bunların hepsini tek bir anahtarla kullanın. FreeLLMAPI, açık kaynaklı ve kendi sunucunuzda çalışan bir yönlendiricidir. Tüm bu ücretsiz katmanları tek bir OpenAI uyumlu uç noktanın arkasında toplar ve bir sağlayıcı hız limitine takıldığında otomatik olarak başka birine geçer. Kataloğa göz atın veya canlı olarak incele.

Sık sorulan sorular

LangChain ile ücretsiz bir LLM API kullanabilir miyim?

Evet. OpenAI uyumlu her API, ChatOpenAI ile çalışır. base_url değerini http://localhost:3001/v1, api_key değerini FreeLLMAPI birleşik anahtarınız olarak ayarlayın. Yönlendirici ücretsiz sağlayıcı katmanlarını kullanır.

LangChain ChatOpenAI'de özel bir temel URL nasıl ayarlanır?

Python'da base_url değerini ChatOpenAI'ye geçirin. JavaScript'te yapıcıya configuration: { baseURL } geçirin. OPENAI_BASE_URL ortam değişkeni de Python'da çalışır.

LangChain ajanları ücretsiz modellerle çalışır mı?

Evet, model araç çağrısını destekliyorsa. ChatOpenAI modeliyle create_agent kullanın ve araç çağrısı yapabilen modelleri FreeLLMAPI zincirinizde tutun.

OpenAIEmbeddings OpenAI dışı bir sağlayıcıyla neden başarısız oluyor?

Varsayılan olarak jeton kimlikleri gönderir. Diğer sağlayıcıların çoğu ham metin ister. Python'da check_embedding_ctx_length=False ayarlayın.

LangChain'de 429 hatalarını nasıl yönetirim?

ChatOpenAI üzerinde max_retries ayarlayın ve toplu işler için zincire with_retry ekleyin. FreeLLMAPI, kodunuz 429 görmeden önce zaten bir sonraki sağlayıcıya geçer.

İlgili rehberler

Kaynaklar

Tüm rehberler · Tüm ücretsiz modelleri incele