LangChain용 무료 LLM API
LangChain은 ChatOpenAI와 OpenAIEmbeddings로 OpenAI 호환 API에 연결합니다. 기본 URL과 키만 바꾸면 됩니다. 이 가이드는 두 클래스를 모두 FreeLLMAPI에 연결합니다. FreeLLMAPI는 무료 제공업체 45곳을 하나의 키로 묶어 줍니다. 아래 코드는 Python과 JavaScript에서 작동하며 요청 한도를 처리합니다.
코드, 모델 이름, 실시간 카탈로그 레이블은 영어로 표시합니다.
게이트웨이와 패키지 설정
FreeLLMAPI를 설치하고, 대시보드의 Keys 페이지에서 두 개 이상의 제공업체 무료 키를 추가하십시오. 통합 키를 복사하십시오. 코드는 이 키만 사용합니다. 제공업체 키는 FreeLLMAPI에 남아 있습니다.
FreeLLMAPI 및 LangChain 패키지 설치
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zod환경 변수
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>라우터가 모델을 선택하도록 하려면 model="auto"를 사용하십시오. auto:fast 또는 auto:smart처럼 라우팅 전략을 사용할 수도 있습니다. auto:coding과 같은 이름이 지정된 프로필과 카탈로그의 고정 모델 ID도 작동합니다.
현재 키로 호출할 수 있는 모델을 보려면 GET /v1/models?execution_status=ready를 요청하십시오. 전체 목록에는 키가 없는 모델도 포함됩니다. 상태가 exhausted인 모델은 키는 있지만 지금은 모든 키가 한도에 도달한 상태입니다. 이 상태는 쿨다운이 끝나면 해제됩니다.
지금 응답할 수 있는 모델 목록
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"ChatOpenAI로 채팅
Python에서는 base_url과 api_key를 설정하십시오. max_retries 값은 OpenAI 클라이언트로 전달되며, 클라이언트는 지수 백오프로 429 및 5xx 오류를 재시도합니다.
Python: 채팅과 스트리밍
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)JavaScript에서는 기본 URL을 configuration.baseURL에 넣으십시오. configuration 객체는 공식 OpenAI SDK 클라이언트로 전달됩니다.
JavaScript: 채팅과 스트리밍
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}x-routed-via 헤더는 응답한 제공업체와 모델을 보여 줍니다. 라우터가 제공업체를 바꾸었다면 x-fallback-trail이 실패한 각 시도와 그 이유를 보여 줍니다.
도구와 에이전트
FreeLLMAPI는 OpenAI 형식의 tools를 각 제공업체에 전달하고, tool_calls를 OpenAI 형식으로 반환합니다. Gemini의 경우 요청을 Google 형식으로 변환했다가 다시 되돌립니다. 한 번의 호출에는 bind_tools를, 도구를 실행하는 루프에는 create_agent를 사용하십시오.
Python: bind_tools 및 create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);도구 호출을 지원하는 무료 모델은 일부뿐입니다. auto를 쓸 때는 도구 호출 모델을 폴백 체인에 유지하거나, 에이전트용 프로필을 만드십시오. 오늘 도구를 지원하는 무료 모델은 다음과 같습니다:
| 모델 | 무료 제공 | 컨텍스트 | 무료 한도 (가장 좋은 조건) | 도구 | 비전 |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 요청/분 1 req/min per model | 예 | 아니요 |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 요청/분 40 RPM | 예 | 예 |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | 예 | 예 |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | 예 | 아니요 |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | 예 | 예 |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 요청/분 20 요청/일 250,000 토큰/분 ~3M | 예 | 예 |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | 예 | 예 |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 요청/분 50 요청/일 50 req/day account-wide (1,000 after a $10 purchase) | 예 | 예 |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 요청/분 50 요청/일 Shared rate limit | 예 | 아니요 |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 요청/분 250 요청/일 70,000 토큰/분 ~6M | 예 | 예 |
일치하는 무료 모델 109개 중 10개를 표시합니다. 모든 모델 보기.
FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.
OpenAIEmbeddings로 임베딩
기본적으로 Python의 OpenAIEmbeddings는 OpenAI 토크나이저로 텍스트를 나누고 토큰을 보냅니다. 다른 제공업체 대부분은 원시 텍스트를 필요로 합니다. 텍스트를 보내려면 check_embedding_ctx_length=False를 설정하십시오.
Python: 임베딩
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: 임베딩
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);FreeLLMAPI의 임베딩 자동 전환은 모델을 바꾸지 않습니다. 같은 계열을 제공하는 제공업체 사이에서만 이동합니다. 그래서 하나의 벡터 저장소에 있는 모든 벡터가 호환됩니다. 계열 하나를 선택하고 계속 사용하십시오. 오늘의 무료 임베딩 모델은 다음과 같습니다:
| 모델 | 제공업체 | 차원 | 최대 입력 | 무료 한도 |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
FreeLLMAPI 카탈로그의 실시간 데이터입니다 (버전 2026.11.19, 2026-11-19 확인). 무료 한도는 자주 바뀝니다. 카탈로그는 매일 확인합니다.
구조화된 출력, 세션, 모델 선택
with_structured_output은 텍스트 대신 Pydantic 객체를 반환합니다. 기본적으로 LangChain은 이를 위해 함수 호출을 사용합니다. 이 방식은 도구를 지원하는 모든 무료 모델에서 작동합니다.
Python: 구조화된 출력
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)method="json_schema"는 auto와 함께 사용하지 마십시오. 모든 무료 제공업체가 엄격한 JSON 스키마 출력을 지원하지는 않으며, 라우터가 요청마다 다른 제공업체를 선택할 수 있습니다.
FreeLLMAPI는 대화를 30분 동안 같은 모델에 유지합니다. 대화는 X-Session-Id 헤더로 찾습니다. 헤더가 없으면 첫 번째 사용자 메시지의 해시를 사용합니다. 사용자가 많은 채팅 앱이라면 사용자마다 세션 ID 하나를 보내십시오:
Python: 사용자별 세션 하나
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)앱의 각 작업에 맞는 모델 문자열을 선택하십시오:
| 앱의 작업 | 모델 문자열 | 이유 |
|---|---|---|
| 사용자에게 보내는 채팅 답변 | auto | 대시보드에서 설정한 체인을 따릅니다 |
| 도구를 사용하는 에이전트 | auto:<profile> | 도구 호출 모델만 포함한 프로필 |
| 분류, 라우팅, 짧은 요약 | auto:fast | 측정된 속도 순으로 모델을 정렬합니다 |
| 어려운 추론 단계 | auto:smart | 지능 순으로 모델을 정렬합니다 |
| 반복 가능해야 하는 테스트 | 고정 모델 ID | 매번 같은 모델을 사용하지만, 그 모델의 한도에 도달하면 멈춥니다 |
무료 등급에는 SLA가 없습니다. 지연 시간은 하루 중 바뀌며, 가장 성능이 좋은 모델이 일일 한도에 가장 먼저 도달합니다. 체인이 실제로 사용할 모델로 체인을 테스트하십시오.
요청 한도와 재시도
FreeLLMAPI는 한 제공업체가 429를 반환하면 다음 제공업체를 시도합니다. 체인의 모든 키가 한도에 도달했을 때만 코드가 429를 받습니다. 그때 응답에는 Retry-After 헤더가 포함됩니다. 많은 일일 한도는 UTC 자정에 초기화됩니다.
일괄 작업에는 with_retry로 두 번째 재시도 계층을 추가하십시오. 지수 백오프와 지터를 사용해 실행 가능한 전체 작업을 다시 시도합니다.
Python: 요청 한도에서 체인 재시도
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| 문제 | 원인 | 해결 방법 |
|---|---|---|
openai.AuthenticationError | 통합 키가 잘못됨 | Keys 페이지에서 키를 다시 복사하십시오 |
모든 호출에서 openai.NotFoundError | 기본 URL에 /v1이 없음 | http://localhost:3001/v1을 사용하십시오 |
openai.RateLimitError | 체인의 모든 키가 한도에 도달함 | 제공업체를 추가하거나, max_concurrency를 줄이거나, Retry-After까지 기다리십시오 |
| 토큰 또는 입력 형식에 대한 임베딩 오류 | LangChain이 텍스트가 아닌 토큰을 보냄 | check_embedding_ctx_length=False를 설정하십시오 |
tool_calls가 비어 있음 | 모델이 도구를 지원하지 않음 | 도구 표의 모델 또는 도구용 프로필을 사용하십시오 |
| 추론 텍스트가 없음 | ChatOpenAI는 표준 OpenAI 필드만 유지함 | 답변은 content에서 읽으십시오. 제공업체의 추가 필드는 유지되지 않습니다 |
자주 묻는 질문
LangChain에서 무료 LLM API를 사용할 수 있습니까?
예. OpenAI 호환 API는 모두 ChatOpenAI와 함께 작동합니다. base_url을 http://localhost:3001/v1로, api_key를 FreeLLMAPI 통합 키로 설정하십시오. 라우터는 무료 제공업체 등급을 사용합니다.
LangChain ChatOpenAI에서 사용자 지정 기본 URL은 어떻게 설정합니까?
Python에서는 base_url을 ChatOpenAI에 전달하십시오. JavaScript에서는 생성자에 configuration: { baseURL }을 전달하십시오. Python에서는 OPENAI_BASE_URL 환경 변수도 작동합니다.
LangChain 에이전트는 무료 모델에서 작동합니까?
모델이 도구 호출을 지원하면 작동합니다. ChatOpenAI 모델과 함께 create_agent를 사용하고, 도구 호출 모델을 FreeLLMAPI 체인에 유지하십시오.
OpenAI가 아닌 제공업체에서 OpenAIEmbeddings가 실패하는 이유는 무엇입니까?
기본적으로 토큰 ID를 보냅니다. 다른 제공업체 대부분은 원시 텍스트를 필요로 합니다. Python에서 check_embedding_ctx_length=False를 설정하십시오.
LangChain에서 429 오류는 어떻게 처리합니까?
ChatOpenAI에 max_retries를 설정하고, 일괄 작업에는 체인에 with_retry를 추가하십시오. FreeLLMAPI는 코드가 429를 보기 전에 이미 다음 제공업체로 넘어갑니다.
관련 가이드
- LlamaIndex용 무료 LLM
- Python에서 무료 LLM API
- RAG용 무료 LLM API
- 무료 임베딩 API
- 함수 호출을 지원하는 무료 LLM API
- AI 에이전트용 무료 LLM API
출처
- LangChain docs: ChatOpenAI integration (Python) (20 November 2026 확인)
- LangChain docs: ChatOpenAI integration (JavaScript) (20 November 2026 확인)
- LangChain docs: agents and create_agent (20 November 2026 확인)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (20 November 2026 확인)
- OpenAI Python SDK: retries and errors (20 November 2026 확인)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (20 November 2026 확인)