Laman utama / Panduan / API LLM percuma untuk LangChain

API LLM percuma untuk LangChain

LangChain bersambung ke API serasi OpenAI melalui ChatOpenAI dan OpenAIEmbeddings. Anda menukar URL asas dan kunci. Panduan ini menghalakan kedua-dua kelas ke FreeLLMAPI, yang menghimpunkan 45 peringkat pembekal percuma di belakang satu kunci. Kod di bawah berfungsi dalam Python dan JavaScript dan mengendalikan had kadar.

Kod, nama model dan label katalog langsung dipaparkan dalam bahasa Inggeris.

Sediakan get laluan dan pakej

Pasang FreeLLMAPI dan tambah kunci percuma daripada dua pembekal atau lebih pada halaman Keys papan pemuka. Salin kunci bersatu. Kod anda hanya menggunakan kunci ini. Kunci pembekal kekal dalam FreeLLMAPI.

Pasang FreeLLMAPI dan pakej LangChain

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

Pembolehubah persekitaran

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Gunakan model="auto" untuk membenarkan penghala memilih model. Anda juga boleh menggunakan strategi penghalaan, contohnya auto:fast atau auto:smart. Profil bernama seperti auto:coding dan ID model tetap dari katalog juga berfungsi.

Untuk melihat model yang boleh dipanggil oleh kunci anda sekarang, minta GET /v1/models?execution_status=ready. Senarai penuh juga mengandungi model tanpa kunci. Model dengan status exhausted mempunyai kunci, tetapi semuanya telah mencapai had pada masa ini. Status itu hilang apabila tempoh rehat tamat.

Senaraikan model yang boleh menjawab sekarang

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

Sembang dengan ChatOpenAI

Dalam Python, tetapkan base_url dan api_key. Nilai max_retries dihantar kepada klien OpenAI, yang mencuba semula ralat 429 dan 5xx dengan backoff eksponen.

Python: sembang dan penstriman

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

Dalam JavaScript, letakkan URL asas dalam configuration.baseURL. Objek configuration dihantar kepada klien SDK OpenAI rasmi.

JavaScript: sembang dan penstriman

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

Header x-routed-via menunjukkan pembekal dan model yang menjawab. Jika penghala menukar pembekal, x-fallback-trail menunjukkan setiap percubaan yang gagal dan sebabnya.

Alat dan ejen

FreeLLMAPI menghantar tools gaya OpenAI kepada setiap pembekal dan memulangkan tool_calls dalam format OpenAI. Untuk Gemini, ia menterjemahkan permintaan ke format Google dan kembali. Gunakan bind_tools untuk satu panggilan, atau create_agent untuk gelung yang menjalankan alat.

Python: bind_tools dan create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

Hanya sesetengah model percuma menyokong panggilan alat. Dengan auto, simpan model yang menyokong panggilan alat dalam rantai sandaran anda, atau buat profil untuk ejen. Model percuma berikut menyokong alat hari ini:

Model percuma dengan panggilan alat dan konteks 128K+
ModelPercuma padaKonteksHad percuma (tawaran terbaik)AlatPenglihatan
GLM 5.3UnoRouter1M1 permintaan/minit
1 req/min per model
YaTidak
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 permintaan/minit
40 RPM
YaYa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaYaYa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceYaTidak
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditYaYa
Gemini 3.7 FlashGoogle AI Studio1M10 permintaan/minit
20 permintaan/hari
250,000 token/minit
~3M
YaYa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditYaYa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 permintaan/minit
50 permintaan/hari
50 req/day account-wide (1,000 after a $10 purchase)
YaYa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 permintaan/minit
50 permintaan/hari
Shared rate limit
YaTidak
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 permintaan/minit
250 permintaan/hari
70,000 token/minit
~6M
YaYa

Memaparkan 10 daripada 109 model percuma yang sepadan. Lihat semua model.

Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.

Embedding dengan OpenAIEmbeddings

Secara lalai, OpenAIEmbeddings dalam Python memecahkan teks dengan tokenizer OpenAI dan menghantar token. Kebanyakan pembekal lain memerlukan teks mentah. Tetapkan check_embedding_ctx_length=False untuk menghantar teks.

Python: embedding

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: embedding

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

Peralihan embedding dalam FreeLLMAPI tidak sekali-kali menukar model. Ia hanya beralih antara pembekal yang menyediakan keluarga yang sama. Ini memastikan semua vektor dalam satu storan vektor kekal serasi. Pilih satu keluarga dan kekalkannya. Model embedding percuma hari ini ialah:

ModelPembekalDimensiInput maksHad percuma
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.

Output berstruktur, sesi dan pemilihan model

with_structured_output memulangkan objek Pydantic sebagai ganti teks. Secara lalai, LangChain menggunakan panggilan fungsi untuk ini. Kaedah itu berfungsi pada setiap model percuma yang menyokong alat.

Python: output berstruktur

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

Jangan gunakan method="json_schema" dengan auto. Tidak setiap pembekal percuma menyokong output skema JSON yang ketat, dan penghala boleh memilih pembekal yang berbeza untuk setiap permintaan.

FreeLLMAPI mengekalkan perbualan pada satu model selama 30 minit. Ia mengenal pasti perbualan daripada header X-Session-Id. Jika tiada header, ia menggunakan hash mesej pengguna pertama. Untuk aplikasi sembang dengan ramai pengguna, hantar satu ID sesi bagi setiap pengguna:

Python: satu sesi bagi setiap pengguna

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

Pilih rentetan model untuk setiap bahagian aplikasi anda:

Tugas dalam aplikasi andaRentetan modelSebab
Jawapan sembang untuk penggunaautoMengikut rantai yang anda tetapkan pada papan pemuka
Ejen dengan alatauto:<profile>Profil yang hanya mempunyai model yang menyokong panggilan alat
Pengelasan, penghalaan, ringkasan pendekauto:fastMenyusun model mengikut kelajuan yang diukur
Langkah penaakulan yang sukarauto:smartMenyusun model mengikut kecerdasan
Ujian yang mesti boleh diulangID model tetapModel yang sama setiap kali, tetapi berhenti pada had model itu

Peringkat percuma tidak mempunyai SLA. Kelewatan berubah sepanjang hari, dan model terkuat mencapai had harian mereka dahulu. Uji rantai anda dengan model yang akan digunakan oleh rantai anda.

Had kadar dan cuba semula

FreeLLMAPI mencuba pembekal seterusnya apabila satu memulangkan 429. Kod anda hanya melihat 429 apabila setiap kunci dalam rantai telah mencapai had. Kemudian respons mempunyai header Retry-After. Banyak had harian ditetapkan semula pada tengah malam UTC.

Untuk tugas kelompok, tambah lapisan cuba semula kedua dengan with_retry. Ia mencuba semula keseluruhan runnable dengan backoff eksponen dan jitter.

Python: cuba semula rantai apabila had kadar

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
MasalahPuncaPembetulan
openai.AuthenticationErrorKunci bersatu salahSalin semula kunci dari halaman Keys
openai.NotFoundError pada setiap panggilanURL asas tiada /v1Gunakan http://localhost:3001/v1
openai.RateLimitErrorSemua kunci dalam rantai telah mencapai hadTambah pembekal, kurangkan max_concurrency atau tunggu Retry-After
Ralat embedding tentang token atau jenis inputLangChain menghantar token, bukan teksTetapkan check_embedding_ctx_length=False
tool_calls kosongModel tidak menyokong alatGunakan model dari jadual alat atau profil alat
Teks penaakulan tiadaChatOpenAI hanya mengekalkan medan OpenAI standardBaca jawapan dalam content; medan tambahan pembekal tidak dikekalkan
Guna setiap satu daripada ini melalui satu kunci. FreeLLMAPI ialah penghala sumber terbuka yang anda hoskan sendiri. Ia meletakkan semua peringkat percuma ini di belakang satu titik akhir serasi OpenAI dan beralih ke pembekal lain apabila had kadar dicapai. Layari katalog atau mula sekarang.

Soalan lazim

Bolehkah saya menggunakan API LLM percuma dengan LangChain?

Ya. Mana-mana API serasi OpenAI berfungsi dengan ChatOpenAI. Tetapkan base_url kepada http://localhost:3001/v1 dan api_key kepada kunci bersatu FreeLLMAPI anda. Penghala menggunakan peringkat pembekal percuma.

Bagaimana saya menetapkan URL asas tersuai dalam ChatOpenAI LangChain?

Dalam Python, hantar base_url kepada ChatOpenAI. Dalam JavaScript, hantar configuration: { baseURL } kepada pembina. Pembolehubah persekitaran OPENAI_BASE_URL juga berfungsi dalam Python.

Adakah ejen LangChain berfungsi dengan model percuma?

Ya, jika model menyokong panggilan alat. Gunakan create_agent dengan model ChatOpenAI dan simpan model yang menyokong panggilan alat dalam rantai FreeLLMAPI anda.

Mengapa OpenAIEmbeddings gagal dengan pembekal bukan OpenAI?

Secara lalai ia menghantar ID token. Kebanyakan pembekal lain memerlukan teks mentah. Tetapkan check_embedding_ctx_length=False dalam Python.

Bagaimana saya mengendalikan ralat 429 dalam LangChain?

Tetapkan max_retries pada ChatOpenAI dan tambah with_retry pada rantai untuk tugas kelompok. FreeLLMAPI sudah beralih ke pembekal seterusnya sebelum kod anda melihat 429.

Panduan berkaitan

Sumber

Semua panduan · Lihat semua model percuma