Free LLM API untuk LangChain
LangChain terhubung ke API yang kompatibel dengan OpenAI melalui ChatOpenAI dan OpenAIEmbeddings. Anda mengubah base URL dan kuncinya. Panduan ini mengarahkan kedua kelas itu ke FreeLLMAPI, yang menggabungkan 45 paket penyedia gratis di balik satu kunci. Kode di bawah ini berjalan di Python dan JavaScript serta menangani batas permintaan.
Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.
Atur gateway dan paket
Pasang FreeLLMAPI dan tambahkan kunci gratis dari dua penyedia atau lebih di halaman Keys pada dasbor. Salin kunci terpadu. Kode Anda hanya memakai kunci ini. Kunci penyedia tetap berada di FreeLLMAPI.
Pasang FreeLLMAPI dan paket LangChain
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zodVariabel lingkungan
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Gunakan model="auto" agar router memilih model. Anda juga dapat memakai strategi routing, misalnya auto:fast atau auto:smart. Profil bernama seperti auto:coding dan ID model tetap dari katalog juga berfungsi.
Untuk melihat model mana yang dapat dipanggil kunci Anda saat ini, minta GET /v1/models?execution_status=ready. Daftar lengkap juga berisi model tanpa kunci. Model dengan status exhausted memiliki kunci, tetapi semua kuncinya sedang mencapai batas. Status itu hilang saat masa tunggu berakhir.
Daftar model yang dapat menjawab sekarang
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"Obrolan dengan ChatOpenAI
Di Python, atur base_url dan api_key. Nilai max_retries diteruskan ke klien OpenAI, yang mencoba ulang error 429 dan 5xx dengan backoff eksponensial.
Python: obrolan dan streaming
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)Di JavaScript, letakkan base URL di configuration.baseURL. Objek configuration diteruskan ke klien SDK OpenAI resmi.
JavaScript: obrolan dan streaming
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}Header x-routed-via menampilkan penyedia dan model yang menjawab. Jika router berganti penyedia, x-fallback-trail menampilkan setiap percobaan yang gagal beserta alasannya.
Tool dan agen
FreeLLMAPI meneruskan tools bergaya OpenAI ke setiap penyedia dan mengembalikan tool_calls dalam format OpenAI. Untuk Gemini, FreeLLMAPI menerjemahkan permintaan ke format Google dan kembali. Gunakan bind_tools untuk satu panggilan, atau create_agent untuk loop yang menjalankan tool.
Python: bind_tools dan create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);Hanya sebagian model gratis yang mendukung pemanggilan tool. Dengan auto, simpan model yang mendukung pemanggilan tool dalam rantai cadangan Anda, atau buat profil untuk agen. Model gratis berikut mendukung tool saat ini:
| Model | Gratis di | Konteks | Batas gratis (penawaran terbaik) | Alat | Pemrosesan gambar |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 permintaan/menit 1 req/min per model | Ya | Tidak |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 permintaan/menit 40 RPM | Ya | Ya |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ya | Ya |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ya | Tidak |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 permintaan/menit 50 permintaan/hari 50 req/day account-wide (1,000 after a $10 purchase) | Ya | Ya |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 permintaan/menit 50 permintaan/hari Shared rate limit | Ya | Tidak |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 permintaan/menit 250 permintaan/hari 70,000 token/menit ~6M | Ya | Ya |
Menampilkan 10 dari 109 model gratis yang cocok. Lihat semua model.
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
Embedding dengan OpenAIEmbeddings
Secara bawaan, OpenAIEmbeddings di Python memecah teks dengan tokenizer OpenAI dan mengirim token. Sebagian besar penyedia lain memerlukan teks mentah. Atur check_embedding_ctx_length=False untuk mengirim teks.
Python: embedding
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: embedding
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);Failover embedding di FreeLLMAPI tidak pernah mengubah model. Failover hanya berpindah di antara penyedia yang menyajikan keluarga yang sama. Ini menjaga semua vektor di satu penyimpanan vektor tetap kompatibel. Pilih satu keluarga dan pertahankan. Model embedding gratis saat ini adalah:
| Model | Penyedia | Dimensi | Input maks | Batas gratis |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
Keluaran terstruktur, sesi, dan pilihan model
with_structured_output mengembalikan objek Pydantic sebagai ganti teks. Secara bawaan, LangChain memakai pemanggilan fungsi untuk ini. Metode itu berfungsi pada setiap model gratis yang mendukung tool.
Python: keluaran terstruktur
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)Jangan gunakan method="json_schema" dengan auto. Tidak semua penyedia gratis mendukung keluaran JSON schema yang ketat, dan router dapat memilih penyedia yang berbeda untuk setiap permintaan.
FreeLLMAPI menyimpan percakapan pada satu model selama 30 menit. FreeLLMAPI menemukan percakapan dari header X-Session-Id. Jika tidak ada header, FreeLLMAPI memakai hash dari pesan pengguna pertama. Untuk aplikasi obrolan dengan banyak pengguna, kirim satu ID sesi per pengguna:
Python: satu sesi per pengguna
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)Pilih string model untuk setiap bagian aplikasi Anda:
| Tugas di aplikasi Anda | String model | Alasan |
|---|---|---|
| Jawaban obrolan untuk pengguna | auto | Mengikuti rantai yang Anda atur di dasbor |
| Agen dengan tool | auto:<profile> | Profil yang hanya berisi model dengan pemanggilan tool |
| Klasifikasi, routing, ringkasan singkat | auto:fast | Mengurutkan model berdasarkan kecepatan terukur |
| Langkah penalaran yang sulit | auto:smart | Mengurutkan model berdasarkan kecerdasan |
| Pengujian yang harus dapat diulang | ID model tetap | Model yang sama setiap kali, tetapi berhenti pada batas model itu |
Paket gratis tidak memiliki SLA. Latensi berubah sepanjang hari, dan model terkuat mencapai batas harian lebih dulu. Uji rantai Anda dengan model yang benar-benar akan digunakan rantai Anda.
Batas permintaan dan percobaan ulang
FreeLLMAPI mencoba penyedia berikutnya saat satu penyedia mengembalikan 429. Kode Anda hanya melihat 429 saat setiap kunci dalam rantai mencapai batasnya. Lalu respons memiliki header Retry-After. Banyak batas harian direset pada tengah malam UTC.
Untuk tugas batch, tambahkan lapisan percobaan ulang kedua dengan with_retry. Lapisan ini mencoba ulang seluruh runnable dengan backoff eksponensial dan jitter.
Python: coba ulang rantai saat batas permintaan
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| Masalah | Penyebab | Perbaikan |
|---|---|---|
openai.AuthenticationError | Kunci terpadu salah | Salin ulang kuncinya dari halaman Keys |
openai.NotFoundError pada setiap panggilan | Base URL tidak memiliki /v1 | Gunakan http://localhost:3001/v1 |
openai.RateLimitError | Semua kunci dalam rantai telah mencapai batasnya | Tambahkan penyedia, kurangi max_concurrency, atau tunggu Retry-After |
| Error embedding tentang token atau tipe input | LangChain mengirim token, bukan teks | Atur check_embedding_ctx_length=False |
tool_calls kosong | Model tidak mendukung tool | Gunakan model dari tabel tool atau profil tool |
| Teks penalaran tidak ada | ChatOpenAI hanya menyimpan kolom OpenAI standar | Baca jawaban di content; kolom tambahan dari penyedia tidak disimpan |
Pertanyaan yang sering diajukan
Bisakah saya memakai free LLM API dengan LangChain?
Bisa. API apa pun yang kompatibel dengan OpenAI berfungsi dengan ChatOpenAI. Atur base_url ke http://localhost:3001/v1 dan api_key ke kunci terpadu FreeLLMAPI Anda. Router memakai paket penyedia gratis.
Bagaimana cara mengatur base URL kustom di ChatOpenAI LangChain?
Di Python, teruskan base_url ke ChatOpenAI. Di JavaScript, teruskan configuration: { baseURL } ke konstruktor. Variabel lingkungan OPENAI_BASE_URL juga berfungsi di Python.
Apakah agen LangChain berfungsi dengan model gratis?
Berfungsi, jika model mendukung pemanggilan tool. Gunakan create_agent dengan model ChatOpenAI dan simpan model yang mendukung pemanggilan tool dalam rantai FreeLLMAPI Anda.
Mengapa OpenAIEmbeddings gagal dengan penyedia non-OpenAI?
Secara bawaan, OpenAIEmbeddings mengirim ID token. Sebagian besar penyedia lain memerlukan teks mentah. Atur check_embedding_ctx_length=False di Python.
Bagaimana cara menangani error 429 di LangChain?
Atur max_retries pada ChatOpenAI dan tambahkan with_retry ke rantai untuk tugas batch. FreeLLMAPI sudah berpindah ke penyedia berikutnya sebelum kode Anda melihat 429.
Panduan terkait
- LLM gratis untuk LlamaIndex
- API LLM gratis di Python
- API LLM gratis untuk RAG
- API embeddings gratis
- Free LLM API dengan function calling
- API LLM gratis untuk agen AI
Sumber
- LangChain docs: ChatOpenAI integration (Python) (diperiksa 20 November 2026)
- LangChain docs: ChatOpenAI integration (JavaScript) (diperiksa 20 November 2026)
- LangChain docs: agents and create_agent (diperiksa 20 November 2026)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (diperiksa 20 November 2026)
- OpenAI Python SDK: retries and errors (diperiksa 20 November 2026)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (diperiksa 20 November 2026)