API رایگان LLM برای LangChain
LangChain از طریق ChatOpenAI و OpenAIEmbeddings به API های سازگار با OpenAI وصل میشود. شما آدرس پایه و کلید را تغییر میدهید. این راهنما هر دو کلاس را به FreeLLMAPI وصل میکند. FreeLLMAPI با یک کلید، 45 سطح رایگان ارائهدهنده را در اختیار شما قرار میدهد. کد زیر در Python و JavaScript کار میکند و محدودیتهای نرخ را مدیریت میکند.
کد، نام مدلها و برچسبهای زندهٔ کاتالوگ به زبان انگلیسی نمایش داده میشوند.
راهاندازی درگاه و بستهها
FreeLLMAPI را نصب کنید و کلیدهای رایگان دو یا چند ارائهدهنده را در صفحه Keys داشبورد اضافه کنید. کلید یکپارچه را کپی کنید. کد شما فقط از این کلید استفاده میکند. کلیدهای ارائهدهندگان در FreeLLMAPI باقی میمانند.
نصب FreeLLMAPI و بستههای LangChain
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zodمتغیرهای محیطی
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>از model="auto" استفاده کنید تا روتر مدل را انتخاب کند. میتوانید یک استراتژی مسیریابی هم استفاده کنید، برای مثال auto:fast یا auto:smart. یک پروفایل نامدار مانند auto:coding و یک شناسه مدل ثابت از کاتالوگ هم کار میکنند.
برای دیدن مدلهایی که کلیدهای شما اکنون میتوانند فراخوانی کنند، GET /v1/models?execution_status=ready را درخواست کنید. فهرست کامل شامل مدلهایی بدون کلید هم میشود. مدلی با وضعیت exhausted کلید دارد، اما همه آنها در همین لحظه به حد مجاز رسیدهاند. این وضعیت وقتی دورههای استراحت تمام شوند، پاک میشود.
فهرست مدلهایی که اکنون میتوانند پاسخ دهند
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"گفتگو با ChatOpenAI
در Python، base_url و api_key را تنظیم کنید. مقدار max_retries به کلاینت OpenAI داده میشود که خطاهای 429 و 5xx را با تأخیر تصاعدی دوباره امتحان میکند.
Python: گفتگو و استریم
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)در JavaScript، آدرس پایه را در configuration.baseURL قرار دهید. شیء configuration به کلاینت رسمی OpenAI SDK داده میشود.
JavaScript: گفتگو و استریم
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}هدر x-routed-via ارائهدهنده و مدلی را نشان میدهد که پاسخ داده است. اگر روتر ارائهدهنده را تغییر داده باشد، x-fallback-trail هر تلاش ناموفق و دلیل آن را نشان میدهد.
ابزارها و عاملها
FreeLLMAPI مقدار tools به سبک OpenAI را به هر ارائهدهنده میفرستد و tool_calls را با قالب OpenAI برمیگرداند. برای Gemini، درخواست را به قالب Google تبدیل میکند و پاسخ را برمیگرداند. برای یک فراخوانی از bind_tools استفاده کنید، یا برای حلقهای که ابزارها را اجرا میکند از create_agent استفاده کنید.
Python: bind_tools و create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);فقط برخی مدلهای رایگان از فراخوانی ابزار پشتیبانی میکنند. با auto، مدلهای دارای فراخوانی ابزار را در زنجیره جایگزین خود نگه دارید، یا برای عاملها یک پروفایل بسازید. این مدلهای رایگان امروز از ابزارها پشتیبانی میکنند:
| مدل | رایگان در | متن ورودی | محدودیتهای رایگان (بهترین پیشنهاد) | ابزارها | بینایی |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 درخواست در دقیقه 1 req/min per model | بله | خیر |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 درخواست در دقیقه 40 RPM | بله | بله |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | بله | بله |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | بله | خیر |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | بله | بله |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 درخواست در دقیقه 20 درخواست در روز 250,000 توکن در دقیقه ~3M | بله | بله |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | بله | بله |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 درخواست در دقیقه 50 درخواست در روز 50 req/day account-wide (1,000 after a $10 purchase) | بله | بله |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 درخواست در دقیقه 50 درخواست در روز Shared rate limit | بله | خیر |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 درخواست در دقیقه 250 درخواست در روز 70,000 توکن در دقیقه ~6M | بله | بله |
نمایش 10 مدل رایگان مطابق از 109 مدل. مشاهده همه مدلها.
دادههای زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسیشده در 2026-11-19). محدودیتهای رایگان اغلب تغییر میکنند. کاتالوگ هر روز بررسی میشود.
Embedding با OpenAIEmbeddings
به طور پیشفرض، OpenAIEmbeddings در Python متن را با یک توکنایزر OpenAI تقسیم میکند و توکنها را میفرستد. بیشتر ارائهدهندگان دیگر متن خام میخواهند. برای فرستادن متن، check_embedding_ctx_length=False را تنظیم کنید.
Python: embedding
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: embedding
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);جایگزینی خودکار embedding در FreeLLMAPI هرگز مدل را تغییر نمیدهد. فقط بین ارائهدهندگانی جابهجا میشود که یک خانواده یکسان را ارائه میدهند. این کار باعث میشود همه بردارها در یک vector store سازگار بمانند. یک خانواده را انتخاب کنید و آن را نگه دارید. مدلهای embedding رایگان امروز اینها هستند:
| مدل | ارائهدهنده | ابعاد | حداکثر ورودی | محدودیت رایگان |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
دادههای زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسیشده در 2026-11-19). محدودیتهای رایگان اغلب تغییر میکنند. کاتالوگ هر روز بررسی میشود.
خروجی ساختاریافته، نشستها و انتخاب مدل
with_structured_output به جای متن، یک شیء Pydantic برمیگرداند. به طور پیشفرض LangChain برای این کار از function calling استفاده میکند. این روش روی هر مدل رایگانی که ابزار را پشتیبانی میکند کار میکند.
Python: خروجی ساختاریافته
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)از method="json_schema" با auto استفاده نکنید. همه ارائهدهندگان رایگان از خروجی سختگیرانه JSON schema پشتیبانی نمیکنند و روتر ممکن است برای هر درخواست ارائهدهنده متفاوتی را انتخاب کند.
FreeLLMAPI یک گفتگو را 30 دقیقه روی یک مدل نگه میدارد. گفتگو را از هدر X-Session-Id پیدا میکند. اگر هدری نباشد، از هش اولین پیام کاربر استفاده میکند. برای یک برنامه گفتگو با کاربران زیاد، برای هر کاربر یک شناسه نشست بفرستید:
Python: یک نشست برای هر کاربر
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)رشته مدل را برای هر بخش برنامه خود انتخاب کنید:
| وظیفه در برنامه شما | رشته مدل | دلیل |
|---|---|---|
| پاسخهای گفتگو برای کاربران | auto | زنجیرهای را دنبال میکند که در داشبورد تنظیم کردهاید |
| عامل با ابزارها | auto:<profile> | پروفایلی که فقط مدلهای دارای فراخوانی ابزار دارد |
| دستهبندی، مسیریابی، خلاصههای کوتاه | auto:fast | مدلها را بر اساس سرعت اندازهگیریشده رتبهبندی میکند |
| مراحل استدلال سخت | auto:smart | مدلها را بر اساس هوش رتبهبندی میکند |
| آزمونهایی که باید قابل تکرار باشند | یک شناسه مدل ثابت | هر بار همان مدل، اما وقتی به محدودیت آن مدل برسد متوقف میشود |
سطوح رایگان SLA ندارند. تأخیر در طول روز تغییر میکند و قویترین مدلها زودتر به محدودیت روزانه خود میرسند. زنجیرههای خود را با مدلهایی آزمایش کنید که زنجیره شما واقعاً از آنها استفاده میکند.
محدودیتهای نرخ و تلاش مجدد
وقتی یک ارائهدهنده 429 برگرداند، FreeLLMAPI ارائهدهنده بعدی را امتحان میکند. کد شما فقط وقتی 429 میبیند که همه کلیدهای زنجیره به حد مجاز رسیده باشند. در این حالت پاسخ هدر Retry-After دارد. بسیاری از محدودیتهای روزانه در نیمهشب UTC بازنشانی میشوند.
برای کارهای دستهای، یک لایه تلاش مجدد دوم با with_retry اضافه کنید. این کار کل runnable را با تأخیر تصاعدی و jitter دوباره امتحان میکند.
Python: تلاش مجدد یک زنجیره پس از محدودیت نرخ
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| مشکل | علت | راهحل |
|---|---|---|
openai.AuthenticationError | کلید یکپارچه اشتباه | کلید را دوباره از صفحه Keys کپی کنید |
openai.NotFoundError در هر فراخوانی | آدرس پایه /v1 ندارد | از http://localhost:3001/v1 استفاده کنید |
openai.RateLimitError | همه کلیدهای زنجیره به حد مجاز رسیدهاند | ارائهدهندگان اضافه کنید، max_concurrency را کم کنید، یا منتظر Retry-After بمانید |
| خطای embedding درباره توکن یا نوع ورودی | LangChain توکن میفرستد، نه متن | check_embedding_ctx_length=False را تنظیم کنید |
tool_calls خالی است | مدل از ابزارها پشتیبانی نمیکند | از یک مدل جدول ابزارها یا یک پروفایل ابزار استفاده کنید |
| متن استدلال وجود ندارد | ChatOpenAI فقط فیلدهای استاندارد OpenAI را نگه میدارد | پاسخ را در content بخوانید؛ فیلدهای اضافی ارائهدهنده نگه داشته نمیشوند |
پرسشهای متداول
آیا میتوانم از یک API رایگان LLM با LangChain استفاده کنم؟
بله. هر API سازگار با OpenAI با ChatOpenAI کار میکند. base_url را روی http://localhost:3001/v1 و api_key را روی کلید یکپارچه FreeLLMAPI خود تنظیم کنید. روتر از سطوح رایگان ارائهدهندگان استفاده میکند.
چگونه در ChatOpenAI در LangChain آدرس پایه سفارشی تنظیم کنم؟
در Python، base_url را به ChatOpenAI بدهید. در JavaScript، configuration: { baseURL } را به سازنده بدهید. متغیر محیطی OPENAI_BASE_URL هم در Python کار میکند.
آیا عاملهای LangChain با مدلهای رایگان کار میکنند؟
بله، اگر مدل از فراخوانی ابزار پشتیبانی کند. از create_agent با یک مدل ChatOpenAI استفاده کنید و مدلهای دارای فراخوانی ابزار را در زنجیره FreeLLMAPI خود نگه دارید.
چرا OpenAIEmbeddings با یک ارائهدهنده غیر OpenAI خطا میدهد؟
به طور پیشفرض شناسه توکنها را میفرستد. بیشتر ارائهدهندگان دیگر متن خام میخواهند. در Python، check_embedding_ctx_length=False را تنظیم کنید.
خطاهای 429 را در LangChain چگونه مدیریت کنم؟
max_retries را روی ChatOpenAI تنظیم کنید و برای کارهای دستهای، with_retry را به زنجیره اضافه کنید. FreeLLMAPI پیش از اینکه کد شما 429 ببیند، به ارائهدهنده بعدی میرود.
راهنماهای مرتبط
- LLM رایگان برای LlamaIndex
- API رایگان LLM در Python
- API رایگان LLM برای RAG
- API رایگان embedding
- LLM API رایگان با فراخوانی تابع
- API رایگان LLM برای عاملهای هوش مصنوعی
منابع
- LangChain docs: ChatOpenAI integration (Python) (بررسیشده در 20 November 2026)
- LangChain docs: ChatOpenAI integration (JavaScript) (بررسیشده در 20 November 2026)
- LangChain docs: agents and create_agent (بررسیشده در 20 November 2026)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (بررسیشده در 20 November 2026)
- OpenAI Python SDK: retries and errors (بررسیشده در 20 November 2026)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (بررسیشده در 20 November 2026)