API LLM miễn phí cho LangChain
LangChain kết nối với API tương thích OpenAI qua ChatOpenAI và OpenAIEmbeddings. Bạn đổi URL gốc và khóa. Hướng dẫn này trỏ cả hai lớp tới FreeLLMAPI, nơi gom 45 gói miễn phí của nhà cung cấp sau một khóa duy nhất. Mã bên dưới chạy được trên Python và JavaScript và xử lý giới hạn tốc độ.
Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.
Cài đặt cổng và các gói
Cài đặt FreeLLMAPI và thêm khóa miễn phí từ hai nhà cung cấp trở lên trên trang Keys của bảng điều khiển. Sao chép khóa thống nhất. Mã của bạn chỉ dùng khóa này. Khóa của nhà cung cấp vẫn nằm trong FreeLLMAPI.
Cài đặt FreeLLMAPI và các gói LangChain
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zodBiến môi trường
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Dùng model="auto" để bộ định tuyến chọn mô hình. Bạn cũng có thể dùng chiến lược định tuyến, ví dụ auto:fast hoặc auto:smart. Hồ sơ có tên như auto:coding và model ID cố định từ danh mục cũng hoạt động.
Để xem các mô hình mà khóa của bạn có thể gọi ngay bây giờ, gửi GET /v1/models?execution_status=ready. Danh sách đầy đủ cũng chứa các mô hình không có khóa. Mô hình có trạng thái exhausted có khóa, nhưng tất cả khóa đều đang ở mức giới hạn vào thời điểm này. Trạng thái đó sẽ mất khi thời gian chờ kết thúc.
Liệt kê các mô hình có thể trả lời ngay
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"Chat với ChatOpenAI
Trong Python, đặt base_url và api_key. Giá trị max_retries được chuyển cho client OpenAI, client này thử lại các lỗi 429 và 5xx với thời gian chờ tăng dần.
Python: chat và streaming
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)Trong JavaScript, đặt URL gốc vào configuration.baseURL. Đối tượng configuration được chuyển cho client SDK OpenAI chính thức.
JavaScript: chat và streaming
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}Tiêu đề x-routed-via cho biết nhà cung cấp và mô hình đã trả lời. Nếu bộ định tuyến đổi nhà cung cấp, x-fallback-trail hiển thị từng lần thử lỗi và lý do.
Công cụ và tác nhân
FreeLLMAPI chuyển tools theo kiểu OpenAI tới từng nhà cung cấp và trả về tool_calls theo định dạng OpenAI. Với Gemini, nó dịch yêu cầu sang định dạng của Google và dịch ngược lại. Dùng bind_tools cho một lệnh gọi, hoặc create_agent cho vòng lặp chạy các công cụ.
Python: bind_tools và create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);Chỉ một số mô hình miễn phí hỗ trợ gọi công cụ. Với auto, giữ các mô hình gọi công cụ trong chuỗi dự phòng, hoặc tạo một hồ sơ cho tác nhân. Các mô hình miễn phí sau đây hỗ trợ công cụ hiện nay:
| Mô hình | Miễn phí trên | Ngữ cảnh | Giới hạn miễn phí (ưu đãi tốt nhất) | Công cụ | Thị giác |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 yêu cầu/phút 1 req/min per model | Có | Không |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 yêu cầu/phút 40 RPM | Có | Có |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Có | Có |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Có | Không |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Có | Có |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Có | Có |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 yêu cầu/phút 50 yêu cầu/ngày 50 req/day account-wide (1,000 after a $10 purchase) | Có | Có |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 yêu cầu/phút 50 yêu cầu/ngày Shared rate limit | Có | Không |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 yêu cầu/phút 250 yêu cầu/ngày 70,000 token/phút ~6M | Có | Có |
Đang hiển thị 10 trong số 109 mô hình miễn phí phù hợp. Xem tất cả mô hình.
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
Embedding với OpenAIEmbeddings
Theo mặc định, OpenAIEmbeddings trong Python chia văn bản bằng bộ tách token của OpenAI và gửi token. Hầu hết nhà cung cấp khác cần văn bản thô. Đặt check_embedding_ctx_length=False để gửi văn bản.
Python: embedding
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: embedding
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);Chuyển đổi dự phòng embedding trong FreeLLMAPI không bao giờ đổi mô hình. Nó chỉ chuyển giữa các nhà cung cấp phục vụ cùng một họ. Điều này giữ cho mọi vector trong một kho vector đều tương thích. Chọn một họ và giữ nguyên. Các mô hình embedding miễn phí hiện nay là:
| Mô hình | Nhà cung cấp | Số chiều | Đầu vào tối đa | Giới hạn miễn phí |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
Đầu ra có cấu trúc, phiên và chọn mô hình
with_structured_output trả về đối tượng Pydantic thay cho văn bản. Theo mặc định, LangChain dùng gọi hàm cho việc này. Phương thức đó hoạt động trên mọi mô hình miễn phí hỗ trợ công cụ.
Python: đầu ra có cấu trúc
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)Không dùng method="json_schema" với auto. Không phải nhà cung cấp miễn phí nào cũng hỗ trợ đầu ra JSON schema nghiêm ngặt, và bộ định tuyến có thể chọn một nhà cung cấp khác cho mỗi yêu cầu.
FreeLLMAPI giữ một cuộc hội thoại trên một mô hình trong 30 phút. Nó tìm cuộc hội thoại qua tiêu đề X-Session-Id. Nếu không có tiêu đề, nó dùng băm của tin nhắn người dùng đầu tiên. Với ứng dụng chat có nhiều người dùng, gửi một ID phiên cho mỗi người dùng:
Python: một phiên cho mỗi người dùng
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)Chọn chuỗi mô hình cho từng phần của ứng dụng:
| Tác vụ trong ứng dụng | Chuỗi mô hình | Lý do |
|---|---|---|
| Câu trả lời chat cho người dùng | auto | Theo chuỗi bạn đặt trên bảng điều khiển |
| Tác nhân có công cụ | auto:<profile> | Một hồ sơ chỉ có mô hình gọi công cụ |
| Phân loại, định tuyến, tóm tắt ngắn | auto:fast | Xếp hạng mô hình theo tốc độ đo được |
| Các bước suy luận khó | auto:smart | Xếp hạng mô hình theo trí tuệ |
| Kiểm thử phải lặp lại được | Một model ID cố định | Cùng một mô hình mỗi lần, nhưng dừng khi mô hình đó đạt giới hạn |
Gói miễn phí không có SLA. Độ trễ thay đổi trong ngày, và các mô hình mạnh nhất đạt giới hạn hằng ngày trước tiên. Hãy kiểm thử các chuỗi của bạn với những mô hình mà chuỗi sẽ thực sự dùng.
Giới hạn tốc độ và thử lại
FreeLLMAPI thử nhà cung cấp tiếp theo khi một nhà cung cấp trả về 429. Mã của bạn chỉ thấy lỗi 429 khi mọi khóa trong chuỗi đều ở mức giới hạn. Khi đó phản hồi có tiêu đề Retry-After. Nhiều giới hạn hằng ngày đặt lại vào nửa đêm UTC.
Với các tác vụ theo lô, thêm lớp thử lại thứ hai bằng with_retry. Nó thử lại toàn bộ runnable với thời gian chờ tăng dần và jitter.
Python: thử lại chuỗi khi gặp giới hạn tốc độ
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| Vấn đề | Nguyên nhân | Cách khắc phục |
|---|---|---|
openai.AuthenticationError | Sai khóa thống nhất | Sao chép lại khóa từ trang Keys |
openai.NotFoundError ở mọi lệnh gọi | URL gốc không có /v1 | Dùng http://localhost:3001/v1 |
openai.RateLimitError | Mọi khóa trong chuỗi đều ở mức giới hạn | Thêm nhà cung cấp, giảm max_concurrency hoặc chờ Retry-After |
| Lỗi embedding về token hoặc kiểu đầu vào | LangChain gửi token, không phải văn bản | Đặt check_embedding_ctx_length=False |
tool_calls trống | Mô hình không hỗ trợ công cụ | Dùng mô hình trong bảng công cụ hoặc một hồ sơ công cụ |
| Thiếu văn bản suy luận | ChatOpenAI chỉ giữ các trường OpenAI chuẩn | Đọc câu trả lời trong content; các trường bổ sung của nhà cung cấp không được giữ lại |
Câu hỏi thường gặp
Tôi có thể dùng API LLM miễn phí với LangChain không?
Có. Mọi API tương thích OpenAI đều hoạt động với ChatOpenAI. Đặt base_url là http://localhost:3001/v1 và api_key là khóa thống nhất FreeLLMAPI của bạn. Bộ định tuyến dùng các gói miễn phí của nhà cung cấp.
Làm thế nào để đặt URL gốc tùy chỉnh trong LangChain ChatOpenAI?
Trong Python, truyền base_url cho ChatOpenAI. Trong JavaScript, truyền configuration: { baseURL } vào hàm khởi tạo. Biến môi trường OPENAI_BASE_URL cũng hoạt động trong Python.
Tác nhân LangChain có hoạt động với mô hình miễn phí không?
Có, nếu mô hình hỗ trợ gọi công cụ. Dùng create_agent với mô hình ChatOpenAI và giữ các mô hình gọi công cụ trong chuỗi FreeLLMAPI của bạn.
Tại sao OpenAIEmbeddings lỗi với nhà cung cấp không phải OpenAI?
Theo mặc định, nó gửi ID token. Hầu hết nhà cung cấp khác cần văn bản thô. Đặt check_embedding_ctx_length=False trong Python.
Làm thế nào để xử lý lỗi 429 trong LangChain?
Đặt max_retries trên ChatOpenAI và thêm with_retry vào chuỗi cho các tác vụ theo lô. FreeLLMAPI đã chuyển sang nhà cung cấp tiếp theo trước khi mã của bạn thấy lỗi 429.
Hướng dẫn liên quan
- LLM miễn phí cho LlamaIndex
- API LLM miễn phí trong Python
- API LLM miễn phí cho RAG
- API embeddings miễn phí
- API LLM miễn phí với function calling
- API LLM miễn phí cho AI agent
Nguồn
- LangChain docs: ChatOpenAI integration (Python) (đã kiểm tra 20 November 2026)
- LangChain docs: ChatOpenAI integration (JavaScript) (đã kiểm tra 20 November 2026)
- LangChain docs: agents and create_agent (đã kiểm tra 20 November 2026)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (đã kiểm tra 20 November 2026)
- OpenAI Python SDK: retries and errors (đã kiểm tra 20 November 2026)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (đã kiểm tra 20 November 2026)