خانه / راهنماها / API رایگان LLM برای LangChain

API رایگان LLM برای LangChain

LangChain از طریق ChatOpenAI و OpenAIEmbeddings به API های سازگار با OpenAI وصل می‌شود. شما آدرس پایه و کلید را تغییر می‌دهید. این راهنما هر دو کلاس را به FreeLLMAPI وصل می‌کند. FreeLLMAPI با یک کلید، 45 سطح رایگان ارائه‌دهنده را در اختیار شما قرار می‌دهد. کد زیر در Python و JavaScript کار می‌کند و محدودیت‌های نرخ را مدیریت می‌کند.

کد، نام مدل‌ها و برچسب‌های زندهٔ کاتالوگ به زبان انگلیسی نمایش داده می‌شوند.

راه‌اندازی درگاه و بسته‌ها

FreeLLMAPI را نصب کنید و کلیدهای رایگان دو یا چند ارائه‌دهنده را در صفحه Keys داشبورد اضافه کنید. کلید یکپارچه را کپی کنید. کد شما فقط از این کلید استفاده می‌کند. کلیدهای ارائه‌دهندگان در FreeLLMAPI باقی می‌مانند.

نصب FreeLLMAPI و بسته‌های LangChain

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

متغیرهای محیطی

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

از model="auto" استفاده کنید تا روتر مدل را انتخاب کند. می‌توانید یک استراتژی مسیریابی هم استفاده کنید، برای مثال auto:fast یا auto:smart. یک پروفایل نام‌دار مانند auto:coding و یک شناسه مدل ثابت از کاتالوگ هم کار می‌کنند.

برای دیدن مدل‌هایی که کلیدهای شما اکنون می‌توانند فراخوانی کنند، GET /v1/models?execution_status=ready را درخواست کنید. فهرست کامل شامل مدل‌هایی بدون کلید هم می‌شود. مدلی با وضعیت exhausted کلید دارد، اما همه آن‌ها در همین لحظه به حد مجاز رسیده‌اند. این وضعیت وقتی دوره‌های استراحت تمام شوند، پاک می‌شود.

فهرست مدل‌هایی که اکنون می‌توانند پاسخ دهند

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

گفتگو با ChatOpenAI

در Python، base_url و api_key را تنظیم کنید. مقدار max_retries به کلاینت OpenAI داده می‌شود که خطاهای 429 و 5xx را با تأخیر تصاعدی دوباره امتحان می‌کند.

Python: گفتگو و استریم

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

در JavaScript، آدرس پایه را در configuration.baseURL قرار دهید. شیء configuration به کلاینت رسمی OpenAI SDK داده می‌شود.

JavaScript: گفتگو و استریم

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

هدر x-routed-via ارائه‌دهنده و مدلی را نشان می‌دهد که پاسخ داده است. اگر روتر ارائه‌دهنده را تغییر داده باشد، x-fallback-trail هر تلاش ناموفق و دلیل آن را نشان می‌دهد.

ابزارها و عامل‌ها

FreeLLMAPI مقدار tools به سبک OpenAI را به هر ارائه‌دهنده می‌فرستد و tool_calls را با قالب OpenAI برمی‌گرداند. برای Gemini، درخواست را به قالب Google تبدیل می‌کند و پاسخ را برمی‌گرداند. برای یک فراخوانی از bind_tools استفاده کنید، یا برای حلقه‌ای که ابزارها را اجرا می‌کند از create_agent استفاده کنید.

Python: bind_tools و create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

فقط برخی مدل‌های رایگان از فراخوانی ابزار پشتیبانی می‌کنند. با auto، مدل‌های دارای فراخوانی ابزار را در زنجیره جایگزین خود نگه دارید، یا برای عامل‌ها یک پروفایل بسازید. این مدل‌های رایگان امروز از ابزارها پشتیبانی می‌کنند:

مدل‌های رایگان با فراخوانی ابزار و متن ورودی 128K یا بیشتر
مدلرایگان درمتن ورودیمحدودیت‌های رایگان (بهترین پیشنهاد)ابزارهابینایی
GLM 5.3UnoRouter1M1 درخواست در دقیقه
1 req/min per model
بلهخیر
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 درخواست در دقیقه
40 RPM
بلهبله
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaبلهبله
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceبلهخیر
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditبلهبله
Gemini 3.7 FlashGoogle AI Studio1M10 درخواست در دقیقه
20 درخواست در روز
250,000 توکن در دقیقه
~3M
بلهبله
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditبلهبله
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 درخواست در دقیقه
50 درخواست در روز
50 req/day account-wide (1,000 after a $10 purchase)
بلهبله
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 درخواست در دقیقه
50 درخواست در روز
Shared rate limit
بلهخیر
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 درخواست در دقیقه
250 درخواست در روز
70,000 توکن در دقیقه
~6M
بلهبله

نمایش 10 مدل رایگان مطابق از 109 مدل. مشاهده همه مدل‌ها.

داده‌های زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسی‌شده در 2026-11-19). محدودیت‌های رایگان اغلب تغییر می‌کنند. کاتالوگ هر روز بررسی می‌شود.

Embedding با OpenAIEmbeddings

به طور پیش‌فرض، OpenAIEmbeddings در Python متن را با یک توکنایزر OpenAI تقسیم می‌کند و توکن‌ها را می‌فرستد. بیشتر ارائه‌دهندگان دیگر متن خام می‌خواهند. برای فرستادن متن، check_embedding_ctx_length=False را تنظیم کنید.

Python: embedding

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: embedding

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

جایگزینی خودکار embedding در FreeLLMAPI هرگز مدل را تغییر نمی‌دهد. فقط بین ارائه‌دهندگانی جابه‌جا می‌شود که یک خانواده یکسان را ارائه می‌دهند. این کار باعث می‌شود همه بردارها در یک vector store سازگار بمانند. یک خانواده را انتخاب کنید و آن را نگه دارید. مدل‌های embedding رایگان امروز این‌ها هستند:

مدلارائه‌دهندهابعادحداکثر ورودیمحدودیت رایگان
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

داده‌های زنده از کاتالوگ FreeLLMAPI (نسخه 2026.11.19، بررسی‌شده در 2026-11-19). محدودیت‌های رایگان اغلب تغییر می‌کنند. کاتالوگ هر روز بررسی می‌شود.

خروجی ساختاریافته، نشست‌ها و انتخاب مدل

with_structured_output به جای متن، یک شیء Pydantic برمی‌گرداند. به طور پیش‌فرض LangChain برای این کار از function calling استفاده می‌کند. این روش روی هر مدل رایگانی که ابزار را پشتیبانی می‌کند کار می‌کند.

Python: خروجی ساختاریافته

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

از method="json_schema" با auto استفاده نکنید. همه ارائه‌دهندگان رایگان از خروجی سختگیرانه JSON schema پشتیبانی نمی‌کنند و روتر ممکن است برای هر درخواست ارائه‌دهنده متفاوتی را انتخاب کند.

FreeLLMAPI یک گفتگو را 30 دقیقه روی یک مدل نگه می‌دارد. گفتگو را از هدر X-Session-Id پیدا می‌کند. اگر هدری نباشد، از هش اولین پیام کاربر استفاده می‌کند. برای یک برنامه گفتگو با کاربران زیاد، برای هر کاربر یک شناسه نشست بفرستید:

Python: یک نشست برای هر کاربر

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

رشته مدل را برای هر بخش برنامه خود انتخاب کنید:

وظیفه در برنامه شمارشته مدلدلیل
پاسخ‌های گفتگو برای کاربرانautoزنجیره‌ای را دنبال می‌کند که در داشبورد تنظیم کرده‌اید
عامل با ابزارهاauto:<profile>پروفایلی که فقط مدل‌های دارای فراخوانی ابزار دارد
دسته‌بندی، مسیریابی، خلاصه‌های کوتاهauto:fastمدل‌ها را بر اساس سرعت اندازه‌گیری‌شده رتبه‌بندی می‌کند
مراحل استدلال سختauto:smartمدل‌ها را بر اساس هوش رتبه‌بندی می‌کند
آزمون‌هایی که باید قابل تکرار باشندیک شناسه مدل ثابتهر بار همان مدل، اما وقتی به محدودیت آن مدل برسد متوقف می‌شود

سطوح رایگان SLA ندارند. تأخیر در طول روز تغییر می‌کند و قوی‌ترین مدل‌ها زودتر به محدودیت روزانه خود می‌رسند. زنجیره‌های خود را با مدل‌هایی آزمایش کنید که زنجیره شما واقعاً از آن‌ها استفاده می‌کند.

محدودیت‌های نرخ و تلاش مجدد

وقتی یک ارائه‌دهنده 429 برگرداند، FreeLLMAPI ارائه‌دهنده بعدی را امتحان می‌کند. کد شما فقط وقتی 429 می‌بیند که همه کلیدهای زنجیره به حد مجاز رسیده باشند. در این حالت پاسخ هدر Retry-After دارد. بسیاری از محدودیت‌های روزانه در نیمه‌شب UTC بازنشانی می‌شوند.

برای کارهای دسته‌ای، یک لایه تلاش مجدد دوم با with_retry اضافه کنید. این کار کل runnable را با تأخیر تصاعدی و jitter دوباره امتحان می‌کند.

Python: تلاش مجدد یک زنجیره پس از محدودیت نرخ

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
مشکلعلتراه‌حل
openai.AuthenticationErrorکلید یکپارچه اشتباهکلید را دوباره از صفحه Keys کپی کنید
openai.NotFoundError در هر فراخوانیآدرس پایه /v1 ندارداز http://localhost:3001/v1 استفاده کنید
openai.RateLimitErrorهمه کلیدهای زنجیره به حد مجاز رسیده‌اندارائه‌دهندگان اضافه کنید، max_concurrency را کم کنید، یا منتظر Retry-After بمانید
خطای embedding درباره توکن یا نوع ورودیLangChain توکن می‌فرستد، نه متنcheck_embedding_ctx_length=False را تنظیم کنید
tool_calls خالی استمدل از ابزارها پشتیبانی نمی‌کنداز یک مدل جدول ابزارها یا یک پروفایل ابزار استفاده کنید
متن استدلال وجود نداردChatOpenAI فقط فیلدهای استاندارد OpenAI را نگه می‌داردپاسخ را در content بخوانید؛ فیلدهای اضافی ارائه‌دهنده نگه داشته نمی‌شوند
هر یک از این‌ها را با یک کلید استفاده کنید. FreeLLMAPI یک روتر متن‌باز و میزبانی‌شده روی سرور خودتان است. این روتر همه این سطوح رایگان را پشت یک نقطه پایانی سازگار با OpenAI قرار می‌دهد و وقتی یک سرویس به محدودیت نرخ برسد، به سرویس بعدی منتقل می‌شود. مرور کاتالوگ یا اجرای زنده.

پرسش‌های متداول

آیا می‌توانم از یک API رایگان LLM با LangChain استفاده کنم؟

بله. هر API سازگار با OpenAI با ChatOpenAI کار می‌کند. base_url را روی http://localhost:3001/v1 و api_key را روی کلید یکپارچه FreeLLMAPI خود تنظیم کنید. روتر از سطوح رایگان ارائه‌دهندگان استفاده می‌کند.

چگونه در ChatOpenAI در LangChain آدرس پایه سفارشی تنظیم کنم؟

در Python، base_url را به ChatOpenAI بدهید. در JavaScript، configuration: { baseURL } را به سازنده بدهید. متغیر محیطی OPENAI_BASE_URL هم در Python کار می‌کند.

آیا عامل‌های LangChain با مدل‌های رایگان کار می‌کنند؟

بله، اگر مدل از فراخوانی ابزار پشتیبانی کند. از create_agent با یک مدل ChatOpenAI استفاده کنید و مدل‌های دارای فراخوانی ابزار را در زنجیره FreeLLMAPI خود نگه دارید.

چرا OpenAIEmbeddings با یک ارائه‌دهنده غیر OpenAI خطا می‌دهد؟

به طور پیش‌فرض شناسه توکن‌ها را می‌فرستد. بیشتر ارائه‌دهندگان دیگر متن خام می‌خواهند. در Python، check_embedding_ctx_length=False را تنظیم کنید.

خطاهای 429 را در LangChain چگونه مدیریت کنم؟

max_retries را روی ChatOpenAI تنظیم کنید و برای کارهای دسته‌ای، with_retry را به زنجیره اضافه کنید. FreeLLMAPI پیش از اینکه کد شما 429 ببیند، به ارائه‌دهنده بعدی می‌رود.

راهنماهای مرتبط

منابع

همه راهنماها · مرور همه مدل‌های رایگان