API LLM percuma untuk LangChain
LangChain bersambung ke API serasi OpenAI melalui ChatOpenAI dan OpenAIEmbeddings. Anda menukar URL asas dan kunci. Panduan ini menghalakan kedua-dua kelas ke FreeLLMAPI, yang menghimpunkan 45 peringkat pembekal percuma di belakang satu kunci. Kod di bawah berfungsi dalam Python dan JavaScript dan mengendalikan had kadar.
Kod, nama model dan label katalog langsung dipaparkan dalam bahasa Inggeris.
Sediakan get laluan dan pakej
Pasang FreeLLMAPI dan tambah kunci percuma daripada dua pembekal atau lebih pada halaman Keys papan pemuka. Salin kunci bersatu. Kod anda hanya menggunakan kunci ini. Kunci pembekal kekal dalam FreeLLMAPI.
Pasang FreeLLMAPI dan pakej LangChain
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zodPembolehubah persekitaran
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Gunakan model="auto" untuk membenarkan penghala memilih model. Anda juga boleh menggunakan strategi penghalaan, contohnya auto:fast atau auto:smart. Profil bernama seperti auto:coding dan ID model tetap dari katalog juga berfungsi.
Untuk melihat model yang boleh dipanggil oleh kunci anda sekarang, minta GET /v1/models?execution_status=ready. Senarai penuh juga mengandungi model tanpa kunci. Model dengan status exhausted mempunyai kunci, tetapi semuanya telah mencapai had pada masa ini. Status itu hilang apabila tempoh rehat tamat.
Senaraikan model yang boleh menjawab sekarang
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"Sembang dengan ChatOpenAI
Dalam Python, tetapkan base_url dan api_key. Nilai max_retries dihantar kepada klien OpenAI, yang mencuba semula ralat 429 dan 5xx dengan backoff eksponen.
Python: sembang dan penstriman
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)Dalam JavaScript, letakkan URL asas dalam configuration.baseURL. Objek configuration dihantar kepada klien SDK OpenAI rasmi.
JavaScript: sembang dan penstriman
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}Header x-routed-via menunjukkan pembekal dan model yang menjawab. Jika penghala menukar pembekal, x-fallback-trail menunjukkan setiap percubaan yang gagal dan sebabnya.
Alat dan ejen
FreeLLMAPI menghantar tools gaya OpenAI kepada setiap pembekal dan memulangkan tool_calls dalam format OpenAI. Untuk Gemini, ia menterjemahkan permintaan ke format Google dan kembali. Gunakan bind_tools untuk satu panggilan, atau create_agent untuk gelung yang menjalankan alat.
Python: bind_tools dan create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);Hanya sesetengah model percuma menyokong panggilan alat. Dengan auto, simpan model yang menyokong panggilan alat dalam rantai sandaran anda, atau buat profil untuk ejen. Model percuma berikut menyokong alat hari ini:
| Model | Percuma pada | Konteks | Had percuma (tawaran terbaik) | Alat | Penglihatan |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 permintaan/minit 1 req/min per model | Ya | Tidak |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 permintaan/minit 40 RPM | Ya | Ya |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ya | Ya |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ya | Tidak |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 permintaan/minit 50 permintaan/hari 50 req/day account-wide (1,000 after a $10 purchase) | Ya | Ya |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 permintaan/minit 50 permintaan/hari Shared rate limit | Ya | Tidak |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 permintaan/minit 250 permintaan/hari 70,000 token/minit ~6M | Ya | Ya |
Memaparkan 10 daripada 109 model percuma yang sepadan. Lihat semua model.
Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.
Embedding dengan OpenAIEmbeddings
Secara lalai, OpenAIEmbeddings dalam Python memecahkan teks dengan tokenizer OpenAI dan menghantar token. Kebanyakan pembekal lain memerlukan teks mentah. Tetapkan check_embedding_ctx_length=False untuk menghantar teks.
Python: embedding
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: embedding
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);Peralihan embedding dalam FreeLLMAPI tidak sekali-kali menukar model. Ia hanya beralih antara pembekal yang menyediakan keluarga yang sama. Ini memastikan semua vektor dalam satu storan vektor kekal serasi. Pilih satu keluarga dan kekalkannya. Model embedding percuma hari ini ialah:
| Model | Pembekal | Dimensi | Input maks | Had percuma |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.
Output berstruktur, sesi dan pemilihan model
with_structured_output memulangkan objek Pydantic sebagai ganti teks. Secara lalai, LangChain menggunakan panggilan fungsi untuk ini. Kaedah itu berfungsi pada setiap model percuma yang menyokong alat.
Python: output berstruktur
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)Jangan gunakan method="json_schema" dengan auto. Tidak setiap pembekal percuma menyokong output skema JSON yang ketat, dan penghala boleh memilih pembekal yang berbeza untuk setiap permintaan.
FreeLLMAPI mengekalkan perbualan pada satu model selama 30 minit. Ia mengenal pasti perbualan daripada header X-Session-Id. Jika tiada header, ia menggunakan hash mesej pengguna pertama. Untuk aplikasi sembang dengan ramai pengguna, hantar satu ID sesi bagi setiap pengguna:
Python: satu sesi bagi setiap pengguna
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)Pilih rentetan model untuk setiap bahagian aplikasi anda:
| Tugas dalam aplikasi anda | Rentetan model | Sebab |
|---|---|---|
| Jawapan sembang untuk pengguna | auto | Mengikut rantai yang anda tetapkan pada papan pemuka |
| Ejen dengan alat | auto:<profile> | Profil yang hanya mempunyai model yang menyokong panggilan alat |
| Pengelasan, penghalaan, ringkasan pendek | auto:fast | Menyusun model mengikut kelajuan yang diukur |
| Langkah penaakulan yang sukar | auto:smart | Menyusun model mengikut kecerdasan |
| Ujian yang mesti boleh diulang | ID model tetap | Model yang sama setiap kali, tetapi berhenti pada had model itu |
Peringkat percuma tidak mempunyai SLA. Kelewatan berubah sepanjang hari, dan model terkuat mencapai had harian mereka dahulu. Uji rantai anda dengan model yang akan digunakan oleh rantai anda.
Had kadar dan cuba semula
FreeLLMAPI mencuba pembekal seterusnya apabila satu memulangkan 429. Kod anda hanya melihat 429 apabila setiap kunci dalam rantai telah mencapai had. Kemudian respons mempunyai header Retry-After. Banyak had harian ditetapkan semula pada tengah malam UTC.
Untuk tugas kelompok, tambah lapisan cuba semula kedua dengan with_retry. Ia mencuba semula keseluruhan runnable dengan backoff eksponen dan jitter.
Python: cuba semula rantai apabila had kadar
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| Masalah | Punca | Pembetulan |
|---|---|---|
openai.AuthenticationError | Kunci bersatu salah | Salin semula kunci dari halaman Keys |
openai.NotFoundError pada setiap panggilan | URL asas tiada /v1 | Gunakan http://localhost:3001/v1 |
openai.RateLimitError | Semua kunci dalam rantai telah mencapai had | Tambah pembekal, kurangkan max_concurrency atau tunggu Retry-After |
| Ralat embedding tentang token atau jenis input | LangChain menghantar token, bukan teks | Tetapkan check_embedding_ctx_length=False |
tool_calls kosong | Model tidak menyokong alat | Gunakan model dari jadual alat atau profil alat |
| Teks penaakulan tiada | ChatOpenAI hanya mengekalkan medan OpenAI standard | Baca jawapan dalam content; medan tambahan pembekal tidak dikekalkan |
Soalan lazim
Bolehkah saya menggunakan API LLM percuma dengan LangChain?
Ya. Mana-mana API serasi OpenAI berfungsi dengan ChatOpenAI. Tetapkan base_url kepada http://localhost:3001/v1 dan api_key kepada kunci bersatu FreeLLMAPI anda. Penghala menggunakan peringkat pembekal percuma.
Bagaimana saya menetapkan URL asas tersuai dalam ChatOpenAI LangChain?
Dalam Python, hantar base_url kepada ChatOpenAI. Dalam JavaScript, hantar configuration: { baseURL } kepada pembina. Pembolehubah persekitaran OPENAI_BASE_URL juga berfungsi dalam Python.
Adakah ejen LangChain berfungsi dengan model percuma?
Ya, jika model menyokong panggilan alat. Gunakan create_agent dengan model ChatOpenAI dan simpan model yang menyokong panggilan alat dalam rantai FreeLLMAPI anda.
Mengapa OpenAIEmbeddings gagal dengan pembekal bukan OpenAI?
Secara lalai ia menghantar ID token. Kebanyakan pembekal lain memerlukan teks mentah. Tetapkan check_embedding_ctx_length=False dalam Python.
Bagaimana saya mengendalikan ralat 429 dalam LangChain?
Tetapkan max_retries pada ChatOpenAI dan tambah with_retry pada rantai untuk tugas kelompok. FreeLLMAPI sudah beralih ke pembekal seterusnya sebelum kod anda melihat 429.
Panduan berkaitan
- LLM percuma untuk LlamaIndex
- API LLM percuma dalam Python
- Free LLM API untuk RAG
- API embeddings percuma
- API LLM percuma dengan panggilan fungsi
- Free LLM API untuk ejen AI
Sumber
- LangChain docs: ChatOpenAI integration (Python) (disemak 20 November 2026)
- LangChain docs: ChatOpenAI integration (JavaScript) (disemak 20 November 2026)
- LangChain docs: agents and create_agent (disemak 20 November 2026)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (disemak 20 November 2026)
- OpenAI Python SDK: retries and errors (disemak 20 November 2026)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (disemak 20 November 2026)