Beranda / Panduan / Free LLM API untuk LangChain

Free LLM API untuk LangChain

LangChain terhubung ke API yang kompatibel dengan OpenAI melalui ChatOpenAI dan OpenAIEmbeddings. Anda mengubah base URL dan kuncinya. Panduan ini mengarahkan kedua kelas itu ke FreeLLMAPI, yang menggabungkan 45 paket penyedia gratis di balik satu kunci. Kode di bawah ini berjalan di Python dan JavaScript serta menangani batas permintaan.

Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.

Atur gateway dan paket

Pasang FreeLLMAPI dan tambahkan kunci gratis dari dua penyedia atau lebih di halaman Keys pada dasbor. Salin kunci terpadu. Kode Anda hanya memakai kunci ini. Kunci penyedia tetap berada di FreeLLMAPI.

Pasang FreeLLMAPI dan paket LangChain

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

Variabel lingkungan

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Gunakan model="auto" agar router memilih model. Anda juga dapat memakai strategi routing, misalnya auto:fast atau auto:smart. Profil bernama seperti auto:coding dan ID model tetap dari katalog juga berfungsi.

Untuk melihat model mana yang dapat dipanggil kunci Anda saat ini, minta GET /v1/models?execution_status=ready. Daftar lengkap juga berisi model tanpa kunci. Model dengan status exhausted memiliki kunci, tetapi semua kuncinya sedang mencapai batas. Status itu hilang saat masa tunggu berakhir.

Daftar model yang dapat menjawab sekarang

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

Obrolan dengan ChatOpenAI

Di Python, atur base_url dan api_key. Nilai max_retries diteruskan ke klien OpenAI, yang mencoba ulang error 429 dan 5xx dengan backoff eksponensial.

Python: obrolan dan streaming

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

Di JavaScript, letakkan base URL di configuration.baseURL. Objek configuration diteruskan ke klien SDK OpenAI resmi.

JavaScript: obrolan dan streaming

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

Header x-routed-via menampilkan penyedia dan model yang menjawab. Jika router berganti penyedia, x-fallback-trail menampilkan setiap percobaan yang gagal beserta alasannya.

Tool dan agen

FreeLLMAPI meneruskan tools bergaya OpenAI ke setiap penyedia dan mengembalikan tool_calls dalam format OpenAI. Untuk Gemini, FreeLLMAPI menerjemahkan permintaan ke format Google dan kembali. Gunakan bind_tools untuk satu panggilan, atau create_agent untuk loop yang menjalankan tool.

Python: bind_tools dan create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

Hanya sebagian model gratis yang mendukung pemanggilan tool. Dengan auto, simpan model yang mendukung pemanggilan tool dalam rantai cadangan Anda, atau buat profil untuk agen. Model gratis berikut mendukung tool saat ini:

Model gratis dengan pemanggilan tool dan konteks 128K+
ModelGratis diKonteksBatas gratis (penawaran terbaik)AlatPemrosesan gambar
GLM 5.3UnoRouter1M1 permintaan/menit
1 req/min per model
YaTidak
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 permintaan/menit
40 RPM
YaYa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaYaYa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceYaTidak
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditYaYa
Gemini 3.7 FlashGoogle AI Studio1M10 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditYaYa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 permintaan/menit
50 permintaan/hari
50 req/day account-wide (1,000 after a $10 purchase)
YaYa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 permintaan/menit
50 permintaan/hari
Shared rate limit
YaTidak
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 permintaan/menit
250 permintaan/hari
70,000 token/menit
~6M
YaYa

Menampilkan 10 dari 109 model gratis yang cocok. Lihat semua model.

Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.

Embedding dengan OpenAIEmbeddings

Secara bawaan, OpenAIEmbeddings di Python memecah teks dengan tokenizer OpenAI dan mengirim token. Sebagian besar penyedia lain memerlukan teks mentah. Atur check_embedding_ctx_length=False untuk mengirim teks.

Python: embedding

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: embedding

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

Failover embedding di FreeLLMAPI tidak pernah mengubah model. Failover hanya berpindah di antara penyedia yang menyajikan keluarga yang sama. Ini menjaga semua vektor di satu penyimpanan vektor tetap kompatibel. Pilih satu keluarga dan pertahankan. Model embedding gratis saat ini adalah:

ModelPenyediaDimensiInput maksBatas gratis
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.

Keluaran terstruktur, sesi, dan pilihan model

with_structured_output mengembalikan objek Pydantic sebagai ganti teks. Secara bawaan, LangChain memakai pemanggilan fungsi untuk ini. Metode itu berfungsi pada setiap model gratis yang mendukung tool.

Python: keluaran terstruktur

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

Jangan gunakan method="json_schema" dengan auto. Tidak semua penyedia gratis mendukung keluaran JSON schema yang ketat, dan router dapat memilih penyedia yang berbeda untuk setiap permintaan.

FreeLLMAPI menyimpan percakapan pada satu model selama 30 menit. FreeLLMAPI menemukan percakapan dari header X-Session-Id. Jika tidak ada header, FreeLLMAPI memakai hash dari pesan pengguna pertama. Untuk aplikasi obrolan dengan banyak pengguna, kirim satu ID sesi per pengguna:

Python: satu sesi per pengguna

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

Pilih string model untuk setiap bagian aplikasi Anda:

Tugas di aplikasi AndaString modelAlasan
Jawaban obrolan untuk penggunaautoMengikuti rantai yang Anda atur di dasbor
Agen dengan toolauto:<profile>Profil yang hanya berisi model dengan pemanggilan tool
Klasifikasi, routing, ringkasan singkatauto:fastMengurutkan model berdasarkan kecepatan terukur
Langkah penalaran yang sulitauto:smartMengurutkan model berdasarkan kecerdasan
Pengujian yang harus dapat diulangID model tetapModel yang sama setiap kali, tetapi berhenti pada batas model itu

Paket gratis tidak memiliki SLA. Latensi berubah sepanjang hari, dan model terkuat mencapai batas harian lebih dulu. Uji rantai Anda dengan model yang benar-benar akan digunakan rantai Anda.

Batas permintaan dan percobaan ulang

FreeLLMAPI mencoba penyedia berikutnya saat satu penyedia mengembalikan 429. Kode Anda hanya melihat 429 saat setiap kunci dalam rantai mencapai batasnya. Lalu respons memiliki header Retry-After. Banyak batas harian direset pada tengah malam UTC.

Untuk tugas batch, tambahkan lapisan percobaan ulang kedua dengan with_retry. Lapisan ini mencoba ulang seluruh runnable dengan backoff eksponensial dan jitter.

Python: coba ulang rantai saat batas permintaan

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
MasalahPenyebabPerbaikan
openai.AuthenticationErrorKunci terpadu salahSalin ulang kuncinya dari halaman Keys
openai.NotFoundError pada setiap panggilanBase URL tidak memiliki /v1Gunakan http://localhost:3001/v1
openai.RateLimitErrorSemua kunci dalam rantai telah mencapai batasnyaTambahkan penyedia, kurangi max_concurrency, atau tunggu Retry-After
Error embedding tentang token atau tipe inputLangChain mengirim token, bukan teksAtur check_embedding_ctx_length=False
tool_calls kosongModel tidak mendukung toolGunakan model dari tabel tool atau profil tool
Teks penalaran tidak adaChatOpenAI hanya menyimpan kolom OpenAI standarBaca jawaban di content; kolom tambahan dari penyedia tidak disimpan
Gunakan semua ini melalui satu kunci. FreeLLMAPI adalah router sumber terbuka yang Anda hosting sendiri. Router ini menempatkan semua paket gratis ini di balik satu endpoint yang kompatibel dengan OpenAI, dan beralih ke penyedia lain saat batas permintaan tercapai. Lihat katalog atau mulai.

Pertanyaan yang sering diajukan

Bisakah saya memakai free LLM API dengan LangChain?

Bisa. API apa pun yang kompatibel dengan OpenAI berfungsi dengan ChatOpenAI. Atur base_url ke http://localhost:3001/v1 dan api_key ke kunci terpadu FreeLLMAPI Anda. Router memakai paket penyedia gratis.

Bagaimana cara mengatur base URL kustom di ChatOpenAI LangChain?

Di Python, teruskan base_url ke ChatOpenAI. Di JavaScript, teruskan configuration: { baseURL } ke konstruktor. Variabel lingkungan OPENAI_BASE_URL juga berfungsi di Python.

Apakah agen LangChain berfungsi dengan model gratis?

Berfungsi, jika model mendukung pemanggilan tool. Gunakan create_agent dengan model ChatOpenAI dan simpan model yang mendukung pemanggilan tool dalam rantai FreeLLMAPI Anda.

Mengapa OpenAIEmbeddings gagal dengan penyedia non-OpenAI?

Secara bawaan, OpenAIEmbeddings mengirim ID token. Sebagian besar penyedia lain memerlukan teks mentah. Atur check_embedding_ctx_length=False di Python.

Bagaimana cara menangani error 429 di LangChain?

Atur max_retries pada ChatOpenAI dan tambahkan with_retry ke rantai untuk tugas batch. FreeLLMAPI sudah berpindah ke penyedia berikutnya sebelum kode Anda melihat 429.

Panduan terkait

Sumber

Semua panduan · Lihat semua model gratis