Strona główna / Poradniki / Darmowe API LLM dla LangChain

Darmowe API LLM dla LangChain

LangChain łączy się z API zgodnymi z OpenAI przez ChatOpenAI i OpenAIEmbeddings. Zmieniasz adres bazowy i klucz. Ten poradnik kieruje obie klasy na FreeLLMAPI, który zbiera 45 darmowych planów dostawców za jednym kluczem. Poniższy kod działa w Pythonie i JavaScript i obsługuje limity szybkości.

Kod, nazwy modeli i etykiety z katalogu na żywo są podane po angielsku.

Konfiguracja bramy i pakietów

Zainstaluj FreeLLMAPI i dodaj darmowe klucze od dwóch lub więcej dostawców na stronie Keys w panelu. Skopiuj wspólny klucz. Twój kod używa tylko tego klucza. Klucze dostawców pozostają w FreeLLMAPI.

Instalacja FreeLLMAPI i pakietów LangChain

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

Zmienne środowiskowe

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Użyj model="auto", aby router wybierał model. Możesz też użyć strategii routingu, na przykład auto:fast lub auto:smart. Działa też nazwany profil, taki jak auto:coding, oraz stały identyfikator modelu z katalogu.

Aby zobaczyć, które modele Twoje klucze mogą teraz wywołać, wyślij żądanie GET /v1/models?execution_status=ready. Pełna lista zawiera też modele bez klucza. Model ze statusem exhausted ma klucze, ale wszystkie są w tej chwili na limicie. Ten status znika, gdy kończą się przerwy po błędach.

Lista modeli, które mogą odpowiedzieć teraz

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

Czat z ChatOpenAI

W Pythonie ustaw base_url i api_key. Wartość max_retries trafia do klienta OpenAI, który ponawia błędy 429 i 5xx z rosnącym czasem oczekiwania.

Python: czat i strumieniowanie

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

W JavaScript umieść adres bazowy w configuration.baseURL. Obiekt configuration trafia do oficjalnego klienta OpenAI SDK.

JavaScript: czat i strumieniowanie

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

Nagłówek x-routed-via pokazuje dostawcę i model, które odpowiedziały. Jeśli router zmienił dostawcę, x-fallback-trail pokazuje każdą nieudaną próbę i jej przyczynę.

Narzędzia i agenci

FreeLLMAPI przekazuje tools w stylu OpenAI do każdego dostawcy i zwraca tool_calls w formacie OpenAI. Dla Gemini tłumaczy żądanie na format Google i z powrotem. Użyj bind_tools dla jednego wywołania albo create_agent dla pętli, która uruchamia narzędzia.

Python: bind_tools i create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

Tylko niektóre darmowe modele obsługują wywoływanie narzędzi. Przy auto trzymaj modele z obsługą narzędzi w łańcuchu zapasowym albo utwórz profil dla agentów. Te darmowe modele obsługują narzędzia dzisiaj:

Darmowe modele z wywoływaniem narzędzi i kontekstem 128K+
ModelZa darmo wKontekstDarmowe limity (najlepsza oferta)NarzędziaWizja
GLM 5.3UnoRouter1M1 żądań/min
1 req/min per model
TakNie
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 żądań/min
40 RPM
TakTak
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaTakTak
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceTakNie
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditTakTak
Gemini 3.7 FlashGoogle AI Studio1M10 żądań/min
20 żądań/dzień
250,000 tokenów/min
~3M
TakTak
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditTakTak
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 żądań/min
50 żądań/dzień
50 req/day account-wide (1,000 after a $10 purchase)
TakTak
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 żądań/min
50 żądań/dzień
Shared rate limit
TakNie
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 żądań/min
250 żądań/dzień
70,000 tokenów/min
~6M
TakTak

Pokazano 10 z 109 pasujących darmowych modeli. Zobacz wszystkie modele.

Dane na żywo z katalogu FreeLLMAPI (wersja 2026.11.19, sprawdzono 2026-11-19). Darmowe limity często się zmieniają. Katalog jest sprawdzany codziennie.

Osadzenia z OpenAIEmbeddings

Domyślnie OpenAIEmbeddings w Pythonie dzieli tekst tokenizerem OpenAI i wysyła tokeny. Większość innych dostawców wymaga surowego tekstu. Ustaw check_embedding_ctx_length=False, aby wysyłać tekst.

Python: osadzenia

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: osadzenia

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

Przełączanie osadzeń w FreeLLMAPI nigdy nie zmienia modelu. Przechodzi tylko między dostawcami obsługującymi tę samą rodzinę. Dzięki temu wszystkie wektory w jednej bazie wektorowej pozostają zgodne. Wybierz rodzinę i trzymaj się jej. Darmowe modele osadzeń dzisiaj to:

ModelDostawcaWymiaryMaks. wejścieDarmowy limit
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Dane na żywo z katalogu FreeLLMAPI (wersja 2026.11.19, sprawdzono 2026-11-19). Darmowe limity często się zmieniają. Katalog jest sprawdzany codziennie.

Dane wyjściowe o strukturze, sesje i wybór modelu

with_structured_output zwraca obiekt Pydantic zamiast tekstu. Domyślnie LangChain używa do tego wywołań funkcji. Ta metoda działa na każdym darmowym modelu, który obsługuje narzędzia.

Python: dane wyjściowe o strukturze

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

Nie używaj method="json_schema" z auto. Nie każdy darmowy dostawca obsługuje ścisłe wyjście JSON schema, a router może wybrać innego dostawcę dla każdego żądania.

FreeLLMAPI trzyma rozmowę na jednym modelu przez 30 minut. Znajduje rozmowę po nagłówku X-Session-Id. Jeśli nagłówka nie ma, używa skrótu pierwszej wiadomości użytkownika. W aplikacji czatu z wieloma użytkownikami wysyłaj jeden identyfikator sesji na użytkownika:

Python: jedna sesja na użytkownika

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

Wybierz ciąg modelu dla każdej części aplikacji:

Zadanie w aplikacjiCiąg modeluPowód
Odpowiedzi czatu dla użytkownikówautoKorzysta z łańcucha ustawionego w panelu
Agent z narzędziamiauto:<profile>Profil zawierający tylko modele z obsługą narzędzi
Klasyfikacja, routing, krótkie podsumowaniaauto:fastSortuje modele według zmierzonej szybkości
Trudne kroki rozumowaniaauto:smartSortuje modele według inteligencji
Testy, które muszą być powtarzalneStały identyfikator modeluZa każdym razem ten sam model, ale zatrzymuje się na limicie tego modelu

Darmowe plany nie mają SLA. Opóźnienia zmieniają się w ciągu dnia, a najmocniejsze modele pierwsze osiągają dzienne limity. Testuj swoje łańcuchy z modelami, których łańcuch faktycznie użyje.

Limity szybkości i ponowienia

FreeLLMAPI próbuje następnego dostawcy, gdy jeden zwróci 429. Twój kod widzi 429 dopiero wtedy, gdy każdy klucz w łańcuchu jest na limicie. Wtedy odpowiedź zawiera nagłówek Retry-After. Wiele dziennych limitów resetuje się o północy czasu UTC.

Przy zadaniach wsadowych dodaj drugą warstwę ponowień za pomocą with_retry. Ponawia cały runnable z rosnącym czasem oczekiwania i losowym rozrzutem.

Python: ponawianie łańcucha przy limitach

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
ProblemPrzyczynaRozwiązanie
openai.AuthenticationErrorZły wspólny kluczSkopiuj klucz ponownie ze strony Keys
openai.NotFoundError przy każdym wywołaniuAdres bazowy nie zawiera /v1Użyj http://localhost:3001/v1
openai.RateLimitErrorWszystkie klucze w łańcuchu są na limicieDodaj dostawców, zmniejsz max_concurrency albo poczekaj na Retry-After
Błąd osadzeń dotyczący tokenów lub typu wejściaLangChain wysyła tokeny, a nie tekstUstaw check_embedding_ctx_length=False
tool_calls jest pusteModel nie obsługuje narzędziUżyj modelu z tabeli narzędzi albo profilu narzędzi
Brak tekstu rozumowaniaChatOpenAI zachowuje tylko standardowe pola OpenAIOdczytaj odpowiedź z content; dodatkowe pola dostawcy nie są zachowywane
Używaj wszystkich tych modeli przez jeden klucz. FreeLLMAPI to router o otwartym kodzie, uruchamiany na własnym serwerze. Łączy wszystkie te darmowe plany za jednym punktem końcowym zgodnym z OpenAI i przełącza się na inny dostawcę, gdy limit zostanie przekroczony. Przeglądaj katalog lub uruchom.

Najczęstsze pytania

Czy mogę używać darmowego API LLM z LangChain?

Tak. Każde API zgodne z OpenAI działa z ChatOpenAI. Ustaw base_url na http://localhost:3001/v1, a api_key na swój wspólny klucz FreeLLMAPI. Router korzysta z darmowych planów dostawców.

Jak ustawić własny adres bazowy w ChatOpenAI w LangChain?

W Pythonie przekaż base_url do ChatOpenAI. W JavaScript przekaż configuration: { baseURL } do konstruktora. Zmienna środowiskowa OPENAI_BASE_URL też działa w Pythonie.

Czy agenty LangChain działają z darmowymi modelami?

Tak, jeśli model obsługuje wywoływanie narzędzi. Użyj create_agent z modelem ChatOpenAI i trzymaj modele z obsługą narzędzi w łańcuchu FreeLLMAPI.

Dlaczego OpenAIEmbeddings nie działa z dostawcą innym niż OpenAI?

Domyślnie wysyła identyfikatory tokenów. Większość innych dostawców wymaga surowego tekstu. W Pythonie ustaw check_embedding_ctx_length=False.

Jak obsłużyć błędy 429 w LangChain?

Ustaw max_retries w ChatOpenAI i dodaj with_retry do łańcucha przy zadaniach wsadowych. FreeLLMAPI przechodzi już do następnego dostawcy, zanim Twój kod zobaczy 429.

Powiązane poradniki

Źródła

Wszystkie poradniki · Przeglądaj wszystkie darmowe modele