Trang chủ / Hướng dẫn / API LLM miễn phí cho LangChain

API LLM miễn phí cho LangChain

LangChain kết nối với API tương thích OpenAI qua ChatOpenAI và OpenAIEmbeddings. Bạn đổi URL gốc và khóa. Hướng dẫn này trỏ cả hai lớp tới FreeLLMAPI, nơi gom 45 gói miễn phí của nhà cung cấp sau một khóa duy nhất. Mã bên dưới chạy được trên Python và JavaScript và xử lý giới hạn tốc độ.

Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.

Cài đặt cổng và các gói

Cài đặt FreeLLMAPI và thêm khóa miễn phí từ hai nhà cung cấp trở lên trên trang Keys của bảng điều khiển. Sao chép khóa thống nhất. Mã của bạn chỉ dùng khóa này. Khóa của nhà cung cấp vẫn nằm trong FreeLLMAPI.

Cài đặt FreeLLMAPI và các gói LangChain

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

Biến môi trường

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Dùng model="auto" để bộ định tuyến chọn mô hình. Bạn cũng có thể dùng chiến lược định tuyến, ví dụ auto:fast hoặc auto:smart. Hồ sơ có tên như auto:coding và model ID cố định từ danh mục cũng hoạt động.

Để xem các mô hình mà khóa của bạn có thể gọi ngay bây giờ, gửi GET /v1/models?execution_status=ready. Danh sách đầy đủ cũng chứa các mô hình không có khóa. Mô hình có trạng thái exhausted có khóa, nhưng tất cả khóa đều đang ở mức giới hạn vào thời điểm này. Trạng thái đó sẽ mất khi thời gian chờ kết thúc.

Liệt kê các mô hình có thể trả lời ngay

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

Chat với ChatOpenAI

Trong Python, đặt base_url và api_key. Giá trị max_retries được chuyển cho client OpenAI, client này thử lại các lỗi 429 và 5xx với thời gian chờ tăng dần.

Python: chat và streaming

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

Trong JavaScript, đặt URL gốc vào configuration.baseURL. Đối tượng configuration được chuyển cho client SDK OpenAI chính thức.

JavaScript: chat và streaming

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

Tiêu đề x-routed-via cho biết nhà cung cấp và mô hình đã trả lời. Nếu bộ định tuyến đổi nhà cung cấp, x-fallback-trail hiển thị từng lần thử lỗi và lý do.

Công cụ và tác nhân

FreeLLMAPI chuyển tools theo kiểu OpenAI tới từng nhà cung cấp và trả về tool_calls theo định dạng OpenAI. Với Gemini, nó dịch yêu cầu sang định dạng của Google và dịch ngược lại. Dùng bind_tools cho một lệnh gọi, hoặc create_agent cho vòng lặp chạy các công cụ.

Python: bind_tools và create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

Chỉ một số mô hình miễn phí hỗ trợ gọi công cụ. Với auto, giữ các mô hình gọi công cụ trong chuỗi dự phòng, hoặc tạo một hồ sơ cho tác nhân. Các mô hình miễn phí sau đây hỗ trợ công cụ hiện nay:

Mô hình miễn phí có gọi công cụ và ngữ cảnh 128K trở lên
Mô hìnhMiễn phí trênNgữ cảnhGiới hạn miễn phí (ưu đãi tốt nhất)Công cụThị giác
GLM 5.3UnoRouter1M1 yêu cầu/phút
1 req/min per model
CóKhông
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 yêu cầu/phút
40 RPM
CóCó
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaCóCó
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceCóKhông
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditCóCó
Gemini 3.7 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditCóCó
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 yêu cầu/phút
50 yêu cầu/ngày
50 req/day account-wide (1,000 after a $10 purchase)
CóCó
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 yêu cầu/phút
50 yêu cầu/ngày
Shared rate limit
CóKhông
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 yêu cầu/phút
250 yêu cầu/ngày
70,000 token/phút
~6M
CóCó

Đang hiển thị 10 trong số 109 mô hình miễn phí phù hợp. Xem tất cả mô hình.

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Embedding với OpenAIEmbeddings

Theo mặc định, OpenAIEmbeddings trong Python chia văn bản bằng bộ tách token của OpenAI và gửi token. Hầu hết nhà cung cấp khác cần văn bản thô. Đặt check_embedding_ctx_length=False để gửi văn bản.

Python: embedding

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: embedding

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

Chuyển đổi dự phòng embedding trong FreeLLMAPI không bao giờ đổi mô hình. Nó chỉ chuyển giữa các nhà cung cấp phục vụ cùng một họ. Điều này giữ cho mọi vector trong một kho vector đều tương thích. Chọn một họ và giữ nguyên. Các mô hình embedding miễn phí hiện nay là:

Mô hìnhNhà cung cấpSố chiềuĐầu vào tối đaGiới hạn miễn phí
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Đầu ra có cấu trúc, phiên và chọn mô hình

with_structured_output trả về đối tượng Pydantic thay cho văn bản. Theo mặc định, LangChain dùng gọi hàm cho việc này. Phương thức đó hoạt động trên mọi mô hình miễn phí hỗ trợ công cụ.

Python: đầu ra có cấu trúc

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

Không dùng method="json_schema" với auto. Không phải nhà cung cấp miễn phí nào cũng hỗ trợ đầu ra JSON schema nghiêm ngặt, và bộ định tuyến có thể chọn một nhà cung cấp khác cho mỗi yêu cầu.

FreeLLMAPI giữ một cuộc hội thoại trên một mô hình trong 30 phút. Nó tìm cuộc hội thoại qua tiêu đề X-Session-Id. Nếu không có tiêu đề, nó dùng băm của tin nhắn người dùng đầu tiên. Với ứng dụng chat có nhiều người dùng, gửi một ID phiên cho mỗi người dùng:

Python: một phiên cho mỗi người dùng

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

Chọn chuỗi mô hình cho từng phần của ứng dụng:

Tác vụ trong ứng dụngChuỗi mô hìnhLý do
Câu trả lời chat cho người dùngautoTheo chuỗi bạn đặt trên bảng điều khiển
Tác nhân có công cụauto:<profile>Một hồ sơ chỉ có mô hình gọi công cụ
Phân loại, định tuyến, tóm tắt ngắnauto:fastXếp hạng mô hình theo tốc độ đo được
Các bước suy luận khóauto:smartXếp hạng mô hình theo trí tuệ
Kiểm thử phải lặp lại đượcMột model ID cố địnhCùng một mô hình mỗi lần, nhưng dừng khi mô hình đó đạt giới hạn

Gói miễn phí không có SLA. Độ trễ thay đổi trong ngày, và các mô hình mạnh nhất đạt giới hạn hằng ngày trước tiên. Hãy kiểm thử các chuỗi của bạn với những mô hình mà chuỗi sẽ thực sự dùng.

Giới hạn tốc độ và thử lại

FreeLLMAPI thử nhà cung cấp tiếp theo khi một nhà cung cấp trả về 429. Mã của bạn chỉ thấy lỗi 429 khi mọi khóa trong chuỗi đều ở mức giới hạn. Khi đó phản hồi có tiêu đề Retry-After. Nhiều giới hạn hằng ngày đặt lại vào nửa đêm UTC.

Với các tác vụ theo lô, thêm lớp thử lại thứ hai bằng with_retry. Nó thử lại toàn bộ runnable với thời gian chờ tăng dần và jitter.

Python: thử lại chuỗi khi gặp giới hạn tốc độ

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
Vấn đềNguyên nhânCách khắc phục
openai.AuthenticationErrorSai khóa thống nhấtSao chép lại khóa từ trang Keys
openai.NotFoundError ở mọi lệnh gọiURL gốc không có /v1Dùng http://localhost:3001/v1
openai.RateLimitErrorMọi khóa trong chuỗi đều ở mức giới hạnThêm nhà cung cấp, giảm max_concurrency hoặc chờ Retry-After
Lỗi embedding về token hoặc kiểu đầu vàoLangChain gửi token, không phải văn bảnĐặt check_embedding_ctx_length=False
tool_calls trốngMô hình không hỗ trợ công cụDùng mô hình trong bảng công cụ hoặc một hồ sơ công cụ
Thiếu văn bản suy luậnChatOpenAI chỉ giữ các trường OpenAI chuẩnĐọc câu trả lời trong content; các trường bổ sung của nhà cung cấp không được giữ lại
Dùng tất cả các mô hình này qua một khóa duy nhất. FreeLLMAPI là bộ định tuyến mã nguồn mở, tự lưu trữ. Nó đặt tất cả các gói miễn phí này sau một endpoint duy nhất tương thích OpenAI, và tự chuyển sang nhà cung cấp khác khi một nhà cung cấp bị giới hạn tốc độ. Xem danh mục hoặc bắt đầu.

Câu hỏi thường gặp

Tôi có thể dùng API LLM miễn phí với LangChain không?

Có. Mọi API tương thích OpenAI đều hoạt động với ChatOpenAI. Đặt base_url là http://localhost:3001/v1 và api_key là khóa thống nhất FreeLLMAPI của bạn. Bộ định tuyến dùng các gói miễn phí của nhà cung cấp.

Làm thế nào để đặt URL gốc tùy chỉnh trong LangChain ChatOpenAI?

Trong Python, truyền base_url cho ChatOpenAI. Trong JavaScript, truyền configuration: { baseURL } vào hàm khởi tạo. Biến môi trường OPENAI_BASE_URL cũng hoạt động trong Python.

Tác nhân LangChain có hoạt động với mô hình miễn phí không?

Có, nếu mô hình hỗ trợ gọi công cụ. Dùng create_agent với mô hình ChatOpenAI và giữ các mô hình gọi công cụ trong chuỗi FreeLLMAPI của bạn.

Tại sao OpenAIEmbeddings lỗi với nhà cung cấp không phải OpenAI?

Theo mặc định, nó gửi ID token. Hầu hết nhà cung cấp khác cần văn bản thô. Đặt check_embedding_ctx_length=False trong Python.

Làm thế nào để xử lý lỗi 429 trong LangChain?

Đặt max_retries trên ChatOpenAI và thêm with_retry vào chuỗi cho các tác vụ theo lô. FreeLLMAPI đã chuyển sang nhà cung cấp tiếp theo trước khi mã của bạn thấy lỗi 429.

Hướng dẫn liên quan

Nguồn

Tất cả hướng dẫn · Xem tất cả mô hình miễn phí