ہوم / گائیڈز / LangChain کے لیے مفت LLM API

LangChain کے لیے مفت LLM API

LangChain ChatOpenAI اور OpenAIEmbeddings کے ذریعے OpenAI سے ہم آہنگ APIs سے جڑتا ہے۔ آپ بیس URL اور کلید تبدیل کرتے ہیں۔ یہ گائیڈ دونوں کلاسز کو FreeLLMAPI کی طرف موڑتی ہے، جو ایک کلید کے پیچھے 45 مفت فراہم کنندہ ٹائرز یکجا کرتا ہے۔ نیچے دیا گیا کوڈ Python اور JavaScript میں کام کرتا ہے اور ریٹ حدوں کو سنبھالتا ہے۔

کوڈ، ماڈل کے نام اور براہِ راست کیٹلاگ کے لیبل انگریزی میں دکھائے جاتے ہیں۔

گیٹ وے اور پیکیجز سیٹ کریں

FreeLLMAPI انسٹال کریں اور ڈیش بورڈ کے Keys صفحے پر دو یا زائد فراہم کنندگان کی مفت کلیدیں شامل کریں۔ یکجا کلید کاپی کریں۔ آپ کا کوڈ صرف یہی کلید استعمال کرتا ہے۔ فراہم کنندہ کی کلیدیں FreeLLMAPI میں رہتی ہیں۔

FreeLLMAPI اور LangChain پیکیجز انسٹال کریں

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

ماحولیاتی متغیرات

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

راؤٹر کو ماڈل منتخب کرنے دینے کے لیے model="auto" استعمال کریں۔ آپ روٹنگ حکمت عملی بھی استعمال کر سکتے ہیں، مثلاً auto:fast یا auto:smart۔ نامزد پروفائل جیسے auto:coding اور کیٹلاگ سے مقررہ ماڈل ID بھی کام کرتے ہیں۔

یہ دیکھنے کے لیے کہ آپ کی کلیدیں ابھی کون سے ماڈلز کال کر سکتی ہیں، GET /v1/models?execution_status=ready درخواست کریں۔ مکمل فہرست میں وہ ماڈلز بھی ہیں جن کی کلید نہیں۔ جس ماڈل کی حیثیت exhausted ہو، اس کی کلیدیں ہیں، لیکن اس وقت ان سب کی حد ختم ہے۔ یہ حیثیت کول ڈاؤن ختم ہونے پر صاف ہو جاتی ہے۔

وہ ماڈلز دیکھیں جو ابھی جواب دے سکتے ہیں

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

ChatOpenAI کے ساتھ چیٹ کریں

Python میں base_url اور api_key سیٹ کریں۔ max_retries قدر OpenAI کلائنٹ کو جاتی ہے، جو 429 اور 5xx خرابیوں کو بڑھتے وقفوں (exponential backoff) کے ساتھ دوبارہ کوشش کرتا ہے۔

Python: چیٹ اور اسٹریمنگ

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

JavaScript میں بیس URL configuration.baseURL میں رکھیں۔ configuration آبجیکٹ سرکاری OpenAI SDK کلائنٹ کو جاتا ہے۔

JavaScript: چیٹ اور اسٹریمنگ

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

x-routed-via ہیڈر دکھاتا ہے کہ کس فراہم کنندہ اور ماڈل نے جواب دیا۔ اگر راؤٹر نے فراہم کنندہ بدلا ہو تو x-fallback-trail ہر ناکام کوشش اور اس کی وجہ دکھاتا ہے۔

ٹولز اور ایجنٹس

FreeLLMAPI OpenAI طرز کے tools ہر فراہم کنندہ کو بھیجتا ہے اور tool_calls OpenAI فارمیٹ میں لوٹاتا ہے۔ Gemini کے لیے یہ درخواست Google کے فارمیٹ میں بدلتا ہے اور جواب واپس بدلتا ہے۔ ایک کال کے لیے bind_tools استعمال کریں، یا ٹولز چلانے والے لوپ کے لیے create_agent۔

Python: bind_tools اور create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

صرف کچھ مفت ماڈلز ٹول کالنگ سپورٹ کرتے ہیں۔ auto کے ساتھ، ٹول کالنگ والے ماڈلز اپنی متبادل زنجیر میں رکھیں، یا ایجنٹس کے لیے پروفائل بنائیں۔ آج یہ مفت ماڈلز ٹولز سپورٹ کرتے ہیں:

ٹول کالنگ اور 128K+ سیاق و سباق والے مفت ماڈلز
ماڈلمفت دستیابسیاق و سباقمفت حدیں (بہترین پیشکش)ٹولزویژن
GLM 5.3UnoRouter1M1 درخواستیں فی منٹ
1 req/min per model
ہاںنہیں
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 درخواستیں فی منٹ
40 RPM
ہاںہاں
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaہاںہاں
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceہاںنہیں
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditہاںہاں
Gemini 3.7 FlashGoogle AI Studio1M10 درخواستیں فی منٹ
20 درخواستیں فی دن
250,000 ٹوکن فی منٹ
~3M
ہاںہاں
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditہاںہاں
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 درخواستیں فی منٹ
50 درخواستیں فی دن
50 req/day account-wide (1,000 after a $10 purchase)
ہاںہاں
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 درخواستیں فی منٹ
50 درخواستیں فی دن
Shared rate limit
ہاںنہیں
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 درخواستیں فی منٹ
250 درخواستیں فی دن
70,000 ٹوکن فی منٹ
~6M
ہاںہاں

109 میں سے 10 مماثل مفت ماڈلز دکھائے جا رہے ہیں۔ تمام ماڈلز دیکھیں.

FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔

OpenAIEmbeddings کے ساتھ ایمبیڈنگز

ڈیفالٹ طور پر Python میں OpenAIEmbeddings متن کو OpenAI ٹوکنائزر سے تقسیم کرتا ہے اور ٹوکنز بھیجتا ہے۔ زیادہ تر دیگر فراہم کنندگان خام متن چاہتے ہیں۔ متن بھیجنے کے لیے check_embedding_ctx_length=False سیٹ کریں۔

Python: ایمبیڈنگز

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: ایمبیڈنگز

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

FreeLLMAPI میں ایمبیڈنگ کی متبادل منتقلی کبھی ماڈل تبدیل نہیں کرتی۔ یہ صرف ان فراہم کنندگان کے درمیان جاتی ہے جو ایک ہی خاندان دیتے ہیں۔ اس سے ایک ویکٹر اسٹور کے تمام ویکٹرز مطابقت رکھتے ہیں۔ ایک خاندان منتخب کریں اور اسے رکھیں۔ آج کے مفت ایمبیڈنگ ماڈلز یہ ہیں:

ماڈلفراہم کنندہابعادزیادہ سے زیادہ ان پٹمفت حد
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

FreeLLMAPI کیٹلاگ کا براہِ راست ڈیٹا (ورژن 2026.11.19، 2026-11-19 کو جانچا گیا)۔ مفت حدیں اکثر بدلتی ہیں۔ کیٹلاگ ہر روز جانچا جاتا ہے۔

ساختی آؤٹ پٹ، سیشنز اور ماڈل کا انتخاب

with_structured_output متن کے بجائے Pydantic آبجیکٹ لوٹاتا ہے۔ ڈیفالٹ طور پر LangChain اس کے لیے فنکشن کالنگ استعمال کرتا ہے۔ یہ طریقہ ہر اس مفت ماڈل پر کام کرتا ہے جو ٹولز سپورٹ کرتا ہے۔

Python: ساختی آؤٹ پٹ

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

method="json_schema" کو auto کے ساتھ استعمال نہ کریں۔ ہر مفت فراہم کنندہ سخت JSON schema آؤٹ پٹ سپورٹ نہیں کرتا، اور راؤٹر ہر درخواست کے لیے مختلف فراہم کنندہ منتخب کر سکتا ہے۔

FreeLLMAPI ایک گفتگو کو 30 منٹ تک ایک ماڈل پر رکھتا ہے۔ یہ گفتگو X-Session-Id ہیڈر سے تلاش کرتا ہے۔ اگر ہیڈر نہ ہو تو یہ پہلے صارف پیغام کا ہیش استعمال کرتا ہے۔ بہت سے صارفین والی چیٹ ایپ کے لیے ہر صارف کے لیے ایک سیشن ID بھیجیں:

Python: ہر صارف کے لیے ایک سیشن

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

اپنی ایپ کے ہر حصے کے لیے ماڈل کی سٹرنگ منتخب کریں:

آپ کی ایپ میں کامماڈل سٹرنگوجہ
صارفین کے لیے چیٹ جواباتautoوہ زنجیر فالو کرتا ہے جو آپ ڈیش بورڈ پر سیٹ کرتے ہیں
ٹولز والا ایجنٹauto:<profile>ایک پروفائل جس میں صرف ٹول کالنگ والے ماڈلز ہوں
درجہ بندی، روٹنگ، مختصر خلاصےauto:fastماڈلز کو ناپی گئی رفتار کے لحاظ سے ترتیب دیتا ہے
مشکل استدلال کے مراحلauto:smartماڈلز کو ذہانت کے لحاظ سے ترتیب دیتا ہے
ایسے ٹیسٹس جو قابلِ تکرار ہوںایک مقررہ ماڈل IDہر بار ایک ہی ماڈل، لیکن اس ماڈل کی حد پر رک جاتا ہے

مفت ٹائرز کا کوئی SLA نہیں ہوتا۔ تاخیر دن بھر بدلتی ہے، اور سب سے طاقتور ماڈلز پہلے اپنی روزانہ حد تک پہنچتے ہیں۔ اپنی زنجیروں کو ان ماڈلز کے ساتھ جانچیں جو آپ کی زنجیر حقیقت میں استعمال کرے گی۔

ریٹ حدیں اور دوبارہ کوششیں

جب کوئی فراہم کنندہ 429 لوٹاتا ہے تو FreeLLMAPI اگلے فراہم کنندہ کو آزماتا ہے۔ آپ کا کوڈ 429 صرف اس وقت دیکھتا ہے جب زنجیر کی ہر کلید اپنی حد پر ہو۔ پھر جواب میں Retry-After ہیڈر ہوتا ہے۔ کئی روزانہ حدیں UTC آدھی رات کو ری سیٹ ہوتی ہیں۔

بیچ جابز کے لیے with_retry سے دوبارہ کوشش کی دوسری تہہ شامل کریں۔ یہ پورے runnable کو بڑھتے وقفوں اور jitter کے ساتھ دوبارہ چلاتا ہے۔

Python: ریٹ حدوں پر زنجیر کی دوبارہ کوشش

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
مسئلہوجہحل
openai.AuthenticationErrorغلط یکجا کلیدKeys صفحے سے کلید دوبارہ کاپی کریں
ہر کال پر openai.NotFoundErrorبیس URL میں /v1 نہیں ہےhttp://localhost:3001/v1 استعمال کریں
openai.RateLimitErrorزنجیر کی تمام کلیدیں اپنی حد پر ہیںفراہم کنندگان شامل کریں، max_concurrency کم کریں، یا Retry-After کا انتظار کریں
ٹوکنز یا ان پٹ کی قسم کے بارے میں ایمبیڈنگ کی خرابیLangChain ٹوکنز بھیجتا ہے، متن نہیںcheck_embedding_ctx_length=False سیٹ کریں
tool_calls خالی ہےماڈل ٹولز سپورٹ نہیں کرتاٹولز کی جدول کا ماڈل یا ٹولز کا پروفائل استعمال کریں
استدلال کا متن غائب ہےChatOpenAI صرف معیاری OpenAI فیلڈز رکھتا ہےجواب content میں پڑھیں؛ فراہم کنندہ کے اضافی فیلڈز محفوظ نہیں ہوتے
ان سب کو ایک ہی کلید سے استعمال کریں۔ FreeLLMAPI ایک اوپن سورس، خود میزبانی والا راؤٹر ہے۔ یہ ان تمام مفت ٹائرز کو ایک ہی OpenAI سے ہم آہنگ اینڈ پوائنٹ کے پیچھے رکھتا ہے، اور جب کوئی ایک ریٹ لمٹ ہو جائے تو خودکار طور پر دوسرے پر منتقل ہو جاتا ہے۔ کیٹلاگ دیکھیں یا لائیو جائیں.

اکثر پوچھے گئے سوالات

کیا میں LangChain کے ساتھ مفت LLM API استعمال کر سکتا ہوں؟

ہاں۔ کوئی بھی OpenAI سے ہم آہنگ API ChatOpenAI کے ساتھ کام کرتی ہے۔ base_url کو http://localhost:3001/v1 اور api_key کو اپنی FreeLLMAPI یکجا کلید پر سیٹ کریں۔ راؤٹر مفت فراہم کنندہ ٹائرز استعمال کرتا ہے۔

LangChain ChatOpenAI میں اپنا بیس URL کیسے سیٹ کروں؟

Python میں base_url کو ChatOpenAI کو پاس کریں۔ JavaScript میں constructor کو configuration: { baseURL } پاس کریں۔ Python میں OPENAI_BASE_URL ماحولیاتی متغیر بھی کام کرتا ہے۔

کیا LangChain ایجنٹس مفت ماڈلز کے ساتھ کام کرتے ہیں؟

ہاں، اگر ماڈل ٹول کالنگ سپورٹ کرتا ہو۔ ChatOpenAI ماڈل کے ساتھ create_agent استعمال کریں اور ٹول کالنگ والے ماڈلز اپنی FreeLLMAPI زنجیر میں رکھیں۔

OpenAIEmbeddings غیر OpenAI فراہم کنندہ کے ساتھ کیوں ناکام ہوتا ہے؟

ڈیفالٹ طور پر یہ ٹوکن IDs بھیجتا ہے۔ زیادہ تر دیگر فراہم کنندگان خام متن چاہتے ہیں۔ Python میں check_embedding_ctx_length=False سیٹ کریں۔

LangChain میں 429 خرابیوں کو کیسے سنبھالوں؟

ChatOpenAI پر max_retries سیٹ کریں اور بیچ جابز کے لیے زنجیر میں with_retry شامل کریں۔ FreeLLMAPI آپ کے کوڈ کو 429 دیکھنے سے پہلے ہی اگلے فراہم کنندہ پر منتقل ہو جاتا ہے۔

متعلقہ گائیڈز

ماخذ

تمام گائیڈز · تمام مفت ماڈلز دیکھیں