ಮುಖಪುಟ / ಮಾರ್ಗದರ್ಶಿಗಳು / LangChain ಗಾಗಿ ಉಚಿತ LLM API

LangChain ಗಾಗಿ ಉಚಿತ LLM API

LangChain, ChatOpenAI ಮತ್ತು OpenAIEmbeddings ಮೂಲಕ OpenAI-ಹೊಂದಾಣಿಕೆಯ APIಗಳಿಗೆ ಸಂಪರ್ಕಿಸುತ್ತದೆ. ನೀವು ಬೇಸ್ URL ಮತ್ತು ಕೀಯನ್ನು ಬದಲಿಸುತ್ತೀರಿ. ಈ ಮಾರ್ಗದರ್ಶಿ ಎರಡೂ ವರ್ಗಗಳನ್ನು FreeLLMAPI ಗೆ ತೋರಿಸುತ್ತದೆ, ಇದು ಒಂದು ಕೀ ಹಿಂದೆ 45 ಉಚಿತ ಪೂರೈಕೆದಾರ ಶ್ರೇಣಿಗಳನ್ನು ಸೇರಿಸುತ್ತದೆ. ಕೆಳಗಿನ ಕೋಡ್ Python ಮತ್ತು JavaScript ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಮತ್ತು ದರ ಮಿತಿಗಳನ್ನು ನಿಭಾಯಿಸುತ್ತದೆ.

ಕೋಡ್, ಮಾದರಿ ಹೆಸರುಗಳು ಮತ್ತು ನೇರ ಕ್ಯಾಟಲಾಗ್ ಲೇಬಲ್‌ಗಳನ್ನು ಇಂಗ್ಲಿಷ್‌ನಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ.

ಗೇಟ್‌ವೇ ಮತ್ತು ಪ್ಯಾಕೇಜ್‌ಗಳನ್ನು ಹೊಂದಿಸಿ

FreeLLMAPI ಸ್ಥಾಪಿಸಿ ಮತ್ತು ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನ Keys ಪುಟದಲ್ಲಿ ಎರಡು ಅಥವಾ ಹೆಚ್ಚು ಪೂರೈಕೆದಾರರಿಂದ ಉಚಿತ ಕೀಗಳನ್ನು ಸೇರಿಸಿ. ಏಕೀಕೃತ ಕೀಯನ್ನು ನಕಲಿಸಿ. ನಿಮ್ಮ ಕೋಡ್ ಈ ಕೀಯನ್ನು ಮಾತ್ರ ಬಳಸುತ್ತದೆ. ಪೂರೈಕೆದಾರರ ಕೀಗಳು FreeLLMAPI ನಲ್ಲಿಯೇ ಉಳಿಯುತ್ತವೆ.

FreeLLMAPI ಮತ್ತು LangChain ಪ್ಯಾಕೇಜ್‌ಗಳನ್ನು ಸ್ಥಾಪಿಸಿ

curl -fsSL https://freellmapi.co/install.sh | bash

# Python
pip install -U langchain langchain-openai

# JavaScript
npm install @langchain/openai @langchain/core zod

ಪರಿಸರ ವೇರಿಯಬಲ್‌ಗಳು

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

ರೂಟರ್ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡಲು model="auto" ಬಳಸಿ. ನೀವು ರೂಟಿಂಗ್ ತಂತ್ರವನ್ನೂ ಬಳಸಬಹುದು, ಉದಾಹರಣೆಗೆ auto:fast ಅಥವಾ auto:smart. auto:coding ನಂತಹ ಹೆಸರಿಟ್ಟ ಪ್ರೊಫೈಲ್ ಮತ್ತು ಕ್ಯಾಟಲಾಗ್‌ನಿಂದ ಸ್ಥಿರ ಮಾದರಿ ID ಸಹ ಕೆಲಸ ಮಾಡುತ್ತವೆ.

ನಿಮ್ಮ ಕೀಗಳು ಈಗ ಯಾವ ಮಾದರಿಗಳನ್ನು ಕರೆ ಮಾಡಬಹುದು ಎಂದು ನೋಡಲು, GET /v1/models?execution_status=ready ಅನ್ನು ವಿನಂತಿಸಿ. ಸಂಪೂರ್ಣ ಪಟ್ಟಿಯಲ್ಲಿ ಕೀ ಇಲ್ಲದ ಮಾದರಿಗಳೂ ಇವೆ. exhausted ಸ್ಥಿತಿಯ ಮಾದರಿಗೆ ಕೀಗಳಿವೆ, ಆದರೆ ಈ ಕ್ಷಣದಲ್ಲಿ ಅವೆಲ್ಲವೂ ಮಿತಿಯಲ್ಲಿವೆ. ತಣ್ಣಗಾಗುವ ಅವಧಿ ಮುಗಿದಾಗ ಈ ಸ್ಥಿತಿ ತೆರವುಗೊಳ್ಳುತ್ತದೆ.

ಈಗ ಉತ್ತರಿಸಬಲ್ಲ ಮಾದರಿಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿ

curl "http://localhost:3001/v1/models?execution_status=ready" \
  -H "Authorization: Bearer <unified-key>"

ChatOpenAI ಜೊತೆ ಚಾಟ್ ಮಾಡಿ

Python ನಲ್ಲಿ, base_url ಮತ್ತು api_key ಹೊಂದಿಸಿ. max_retries ಮೌಲ್ಯವು OpenAI ಕ್ಲೈಂಟ್‌ಗೆ ಹೋಗುತ್ತದೆ, ಅದು 429 ಮತ್ತು 5xx ದೋಷಗಳನ್ನು ಘಾತೀಯ ಹಿಂದೆಗೆತದೊಂದಿಗೆ ಮರುಪ್ರಯತ್ನಿಸುತ್ತದೆ.

Python: ಚಾಟ್ ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="auto",
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    temperature=0.2,
    max_retries=3,
    timeout=60,
    include_response_headers=True,
)

msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))

for chunk in llm.stream("Write a haiku about SQLite."):
    print(chunk.content, end="", flush=True)

JavaScript ನಲ್ಲಿ, ಬೇಸ್ URL ಅನ್ನು configuration.baseURL ನಲ್ಲಿ ಇರಿಸಿ. configuration ವಸ್ತುವು ಅಧಿಕೃತ OpenAI SDK ಕ್ಲೈಂಟ್‌ಗೆ ಹೋಗುತ್ತದೆ.

JavaScript: ಚಾಟ್ ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "auto",
  apiKey: process.env.FREELLMAPI_API_KEY,
  temperature: 0.2,
  maxRetries: 3,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});

const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);

for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
  process.stdout.write(String(chunk.content));
}

x-routed-via ಹೆಡರ್ ಉತ್ತರಿಸಿದ ಪೂರೈಕೆದಾರ ಮತ್ತು ಮಾದರಿಯನ್ನು ತೋರಿಸುತ್ತದೆ. ರೂಟರ್ ಪೂರೈಕೆದಾರರನ್ನು ಬದಲಿಸಿದ್ದರೆ, x-fallback-trail ಪ್ರತಿ ವಿಫಲ ಪ್ರಯತ್ನ ಮತ್ತು ಕಾರಣವನ್ನು ತೋರಿಸುತ್ತದೆ.

ಟೂಲ್‌ಗಳು ಮತ್ತು ಏಜೆಂಟ್‌ಗಳು

FreeLLMAPI OpenAI ಶೈಲಿಯ tools ಅನ್ನು ಪ್ರತಿ ಪೂರೈಕೆದಾರರಿಗೆ ರವಾನಿಸುತ್ತದೆ ಮತ್ತು tool_calls ಅನ್ನು OpenAI ಸ್ವರೂಪದಲ್ಲಿ ಹಿಂದಿರುಗಿಸುತ್ತದೆ. Gemini ಗಾಗಿ, ಅದು ವಿನಂತಿಯನ್ನು Google ಸ್ವರೂಪಕ್ಕೆ ಮತ್ತು ಹಿಂದಕ್ಕೆ ಭಾಷಾಂತರಿಸುತ್ತದೆ. ಒಂದು ಕರೆಗೆ bind_tools ಬಳಸಿ, ಅಥವಾ ಟೂಲ್‌ಗಳನ್ನು ಚಲಾಯಿಸುವ ಲೂಪ್‌ಗೆ create_agent ಬಳಸಿ.

Python: bind_tools ಮತ್ತು create_agent

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    """Return the current weather for a city."""
    return f"It is 18 C and cloudy in {city}."

# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)

# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
    model=llm,
    tools=[get_weather],
    system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)

JavaScript: bindTools

import { tool } from "@langchain/core/tools";
import { z } from "zod";

const getWeather = tool(
  async ({ city }) => `It is 18 C and cloudy in ${city}.`,
  {
    name: "get_weather",
    description: "Return the current weather for a city.",
    schema: z.object({ city: z.string() }),
  },
);

const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);

ಕೆಲವು ಉಚಿತ ಮಾದರಿಗಳು ಮಾತ್ರ ಟೂಲ್ ಕರೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ. auto ಬಳಸುವಾಗ, ಟೂಲ್ ಕರೆ ಮಾಡುವ ಮಾದರಿಗಳನ್ನು ನಿಮ್ಮ fallback ಸರಣಿಯಲ್ಲಿ ಇರಿಸಿ, ಅಥವಾ ಏಜೆಂಟ್‌ಗಳಿಗೆ ಪ್ರೊಫೈಲ್ ಮಾಡಿ. ಇಂದು ಈ ಉಚಿತ ಮಾದರಿಗಳು ಟೂಲ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ:

ಟೂಲ್ ಕರೆ ಮತ್ತು 128K+ ಸಂದರ್ಭವಿರುವ ಉಚಿತ ಮಾದರಿಗಳು
ಮಾದರಿಉಚಿತಸಂದರ್ಭಉಚಿತ ಮಿತಿಗಳು (ಅತ್ಯುತ್ತಮ ಕೊಡುಗೆ)ಉಪಕರಣಗಳುದೃಷ್ಟಿ
GLM 5.3UnoRouter1M1 ವಿನಂತಿ/ನಿಮಿಷ
1 req/min per model
ಹೌದುಇಲ್ಲ
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 ವಿನಂತಿ/ನಿಮಿಷ
40 RPM
ಹೌದುಹೌದು
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaಹೌದುಹೌದು
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceಹೌದುಇಲ್ಲ
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditಹೌದುಹೌದು
Gemini 3.7 FlashGoogle AI Studio1M10 ವಿನಂತಿ/ನಿಮಿಷ
20 ವಿನಂತಿ/ದಿನ
250,000 ಟೋಕನ್/ನಿಮಿಷ
~3M
ಹೌದುಹೌದು
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditಹೌದುಹೌದು
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 ವಿನಂತಿ/ನಿಮಿಷ
50 ವಿನಂತಿ/ದಿನ
50 req/day account-wide (1,000 after a $10 purchase)
ಹೌದುಹೌದು
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 ವಿನಂತಿ/ನಿಮಿಷ
50 ವಿನಂತಿ/ದಿನ
Shared rate limit
ಹೌದುಇಲ್ಲ
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 ವಿನಂತಿ/ನಿಮಿಷ
250 ವಿನಂತಿ/ದಿನ
70,000 ಟೋಕನ್/ನಿಮಿಷ
~6M
ಹೌದುಹೌದು

ಹೊಂದಾಣಿಕೆಯಾಗುವ 109 ಉಚಿತ ಮಾದರಿಗಳಲ್ಲಿ 10 ಅನ್ನು ತೋರಿಸಲಾಗುತ್ತಿದೆ. ಎಲ್ಲಾ ಮಾದರಿಗಳನ್ನು ನೋಡಿ.

FreeLLMAPI ಕ್ಯಾಟಲಾಗ್‌ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.

OpenAIEmbeddings ಜೊತೆ embeddings

ಡೀಫಾಲ್ಟ್ ಆಗಿ, Python ನಲ್ಲಿರುವ OpenAIEmbeddings ಪಠ್ಯವನ್ನು OpenAI ಟೋಕನೈಸರ್‌ನಿಂದ ವಿಭಜಿಸಿ ಟೋಕನ್‌ಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ. ಇತರ ಹೆಚ್ಚಿನ ಪೂರೈಕೆದಾರರಿಗೆ ಕಚ್ಚಾ ಪಠ್ಯ ಬೇಕು. ಪಠ್ಯ ಕಳುಹಿಸಲು check_embedding_ctx_length=False ಹೊಂದಿಸಿ.

Python: embeddings

from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(
    model="bge-m3",  # one embedding family, 1024 dimensions
    base_url=os.environ["FREELLMAPI_BASE_URL"],
    api_key=os.environ["FREELLMAPI_API_KEY"],
    check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))

JavaScript: embeddings

import { OpenAIEmbeddings } from "@langchain/openai";

const emb = new OpenAIEmbeddings({
  model: "bge-m3",
  apiKey: process.env.FREELLMAPI_API_KEY,
  configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);

FreeLLMAPI ನಲ್ಲಿ embedding ಬದಲಾವಣೆಯು ಎಂದಿಗೂ ಮಾದರಿಯನ್ನು ಬದಲಿಸುವುದಿಲ್ಲ. ಅದು ಒಂದೇ ಕುಟುಂಬವನ್ನು ನೀಡುವ ಪೂರೈಕೆದಾರರ ನಡುವೆ ಮಾತ್ರ ಚಲಿಸುತ್ತದೆ. ಇದರಿಂದ ಒಂದೇ ವೆಕ್ಟರ್ ಸ್ಟೋರ್‌ನ ಎಲ್ಲಾ ವೆಕ್ಟರ್‌ಗಳು ಹೊಂದಿಕೆಯಾಗುತ್ತವೆ. ಒಂದು ಕುಟುಂಬವನ್ನು ಆಯ್ಕೆ ಮಾಡಿ ಮತ್ತು ಅದನ್ನೇ ಇರಿಸಿ. ಇಂದಿನ ಉಚಿತ embedding ಮಾದರಿಗಳು:

ಮಾದರಿಪೂರೈಕೆದಾರಆಯಾಮಗಳುಗರಿಷ್ಠ ಇನ್‌ಪುಟ್ಉಚಿತ ಮಿತಿ
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

FreeLLMAPI ಕ್ಯಾಟಲಾಗ್‌ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.

ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್, ಸೆಷನ್‌ಗಳು ಮತ್ತು ಮಾದರಿ ಆಯ್ಕೆ

with_structured_output ಪಠ್ಯದ ಬದಲು Pydantic ವಸ್ತುವನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ. ಡೀಫಾಲ್ಟ್ ಆಗಿ, LangChain ಇದಕ್ಕೆ ಫಂಕ್ಷನ್ ಕರೆಯನ್ನು ಬಳಸುತ್ತದೆ. ಈ ವಿಧಾನವು ಟೂಲ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುವ ಪ್ರತಿ ಉಚಿತ ಮಾದರಿಯಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ.

Python: ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್

from pydantic import BaseModel, Field

class Ticket(BaseModel):
    category: str = Field(description="billing, bug or other")
    urgent: bool

classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)

method="json_schema" ಅನ್ನು auto ಜೊತೆ ಬಳಸಬೇಡಿ. ಪ್ರತಿ ಉಚಿತ ಪೂರೈಕೆದಾರರೂ ಕಠಿಣ JSON ಸ್ಕೀಮಾ ಔಟ್‌ಪುಟ್ ಬೆಂಬಲಿಸುವುದಿಲ್ಲ, ಮತ್ತು ರೂಟರ್ ಪ್ರತಿ ವಿನಂತಿಗೆ ಬೇರೆ ಪೂರೈಕೆದಾರರನ್ನು ಆಯ್ಕೆ ಮಾಡಬಹುದು.

FreeLLMAPI ಒಂದು ಸಂಭಾಷಣೆಯನ್ನು 30 ನಿಮಿಷಗಳ ಕಾಲ ಒಂದೇ ಮಾದರಿಯಲ್ಲಿ ಇಡುತ್ತದೆ. ಅದು X-Session-Id ಹೆಡರ್‌ನಿಂದ ಸಂಭಾಷಣೆಯನ್ನು ಕಂಡುಹಿಡಿಯುತ್ತದೆ. ಹೆಡರ್ ಇಲ್ಲದಿದ್ದರೆ, ಮೊದಲ ಬಳಕೆದಾರ ಸಂದೇಶದ ಹ್ಯಾಶ್ ಬಳಸುತ್ತದೆ. ಹಲವು ಬಳಕೆದಾರರಿರುವ ಚಾಟ್ ಆ್ಯಪ್‌ಗಾಗಿ, ಪ್ರತಿ ಬಳಕೆದಾರರಿಗೆ ಒಂದು ಸೆಷನ್ ID ಕಳುಹಿಸಿ:

Python: ಪ್ರತಿ ಬಳಕೆದಾರರಿಗೆ ಒಂದು ಸೆಷನ್

def llm_for(user_id: str) -> ChatOpenAI:
    return ChatOpenAI(
        model="auto",
        base_url=os.environ["FREELLMAPI_BASE_URL"],
        api_key=os.environ["FREELLMAPI_API_KEY"],
        default_headers={"X-Session-Id": f"user-{user_id}"},
        max_retries=3,
    )

ನಿಮ್ಮ ಆ್ಯಪ್‌ನ ಪ್ರತಿ ಭಾಗಕ್ಕೆ ಮಾದರಿ ಸ್ಟ್ರಿಂಗ್ ಆಯ್ಕೆ ಮಾಡಿ:

ನಿಮ್ಮ ಆ್ಯಪ್‌ನಲ್ಲಿರುವ ಕಾರ್ಯಮಾದರಿ ಸ್ಟ್ರಿಂಗ್ಕಾರಣ
ಬಳಕೆದಾರರಿಗೆ ಚಾಟ್ ಉತ್ತರಗಳುautoಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ ನೀವು ಹೊಂದಿಸಿದ ಸರಣಿಯನ್ನು ಅನುಸರಿಸುತ್ತದೆ
ಟೂಲ್‌ಗಳೊಂದಿಗೆ ಏಜೆಂಟ್auto:<profile>ಟೂಲ್ ಕರೆ ಮಾಡುವ ಮಾದರಿಗಳನ್ನು ಮಾತ್ರ ಹೊಂದಿರುವ ಪ್ರೊಫೈಲ್
ವರ್ಗೀಕರಣ, ರೂಟಿಂಗ್, ಸಣ್ಣ ಸಾರಾಂಶಗಳುauto:fastಅಳತೆ ಮಾಡಿದ ವೇಗದ ಪ್ರಕಾರ ಮಾದರಿಗಳನ್ನು ಶ್ರೇಣೀಕರಿಸುತ್ತದೆ
ಕಠಿಣ ತಾರ್ಕಿಕ ಹಂತಗಳುauto:smartಬುದ್ಧಿಮತ್ತೆಯ ಪ್ರಕಾರ ಮಾದರಿಗಳನ್ನು ಶ್ರೇಣೀಕರಿಸುತ್ತದೆ
ಪುನರಾವರ್ತನೀಯವಾಗಿರಬೇಕಾದ ಪರೀಕ್ಷೆಗಳುಸ್ಥಿರ ಮಾದರಿ IDಪ್ರತಿ ಬಾರಿಯೂ ಒಂದೇ ಮಾದರಿ, ಆದರೆ ಆ ಮಾದರಿಯ ಮಿತಿಯಲ್ಲಿ ನಿಲ್ಲುತ್ತದೆ

ಉಚಿತ ಶ್ರೇಣಿಗಳಿಗೆ SLA ಇಲ್ಲ. ದಿನದಲ್ಲಿ ವಿಳಂಬ ಬದಲಾಗುತ್ತದೆ, ಮತ್ತು ಅತ್ಯಂತ ಬಲವಾದ ಮಾದರಿಗಳು ಮೊದಲು ದೈನಂದಿನ ಮಿತಿಯನ್ನು ತಲುಪುತ್ತವೆ. ನಿಮ್ಮ ಸರಣಿ ನಿಜವಾಗಿ ಬಳಸುವ ಮಾದರಿಗಳೊಂದಿಗೆ ನಿಮ್ಮ ಸರಣಿಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ.

ದರ ಮಿತಿಗಳು ಮತ್ತು ಮರುಪ್ರಯತ್ನಗಳು

ಒಂದು ಪೂರೈಕೆದಾರ 429 ಹಿಂದಿರುಗಿಸಿದಾಗ, FreeLLMAPI ಮುಂದಿನ ಪೂರೈಕೆದಾರರನ್ನು ಪ್ರಯತ್ನಿಸುತ್ತದೆ. ಸರಣಿಯ ಪ್ರತಿ ಕೀ ತನ್ನ ಮಿತಿಯಲ್ಲಿದ್ದಾಗ ಮಾತ್ರ ನಿಮ್ಮ ಕೋಡ್ 429 ನೋಡುತ್ತದೆ. ಆಗ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲಿ Retry-After ಹೆಡರ್ ಇರುತ್ತದೆ. ಅನೇಕ ದೈನಂದಿನ ಮಿತಿಗಳು ಮಧ್ಯರಾತ್ರಿ UTC ಗೆ ಮರುಹೊಂದುತ್ತವೆ.

ಬ್ಯಾಚ್ ಕೆಲಸಗಳಿಗಾಗಿ, with_retry ಜೊತೆ ಎರಡನೇ ಮರುಪ್ರಯತ್ನ ಪದರ ಸೇರಿಸಿ. ಅದು ಸಂಪೂರ್ಣ runnable ಅನ್ನು ಘಾತೀಯ ಹಿಂದೆಗೆತ ಮತ್ತು ಜಿಟರ್‌ನೊಂದಿಗೆ ಮರುಪ್ರಯತ್ನಿಸುತ್ತದೆ.

Python: ದರ ಮಿತಿಗಳಲ್ಲಿ ಸರಣಿಯನ್ನು ಮರುಪ್ರಯತ್ನಿಸಿ

import openai
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Summarize the text in one sentence."),
    ("user", "{text}"),
])

chain = (prompt | llm).with_retry(
    retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
    wait_exponential_jitter=True,
    stop_after_attempt=5,
)

# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
    [{"text": t} for t in ["First document.", "Second document."]],
    config={"max_concurrency": 4},
)
ಸಮಸ್ಯೆಕಾರಣಪರಿಹಾರ
openai.AuthenticationErrorತಪ್ಪಾದ ಏಕೀಕೃತ ಕೀKeys ಪುಟದಿಂದ ಕೀಯನ್ನು ಮತ್ತೆ ನಕಲಿಸಿ
ಪ್ರತಿ ಕರೆಯಲ್ಲೂ openai.NotFoundErrorಬೇಸ್ URL ನಲ್ಲಿ /v1 ಇಲ್ಲhttp://localhost:3001/v1 ಬಳಸಿ
openai.RateLimitErrorಸರಣಿಯ ಎಲ್ಲಾ ಕೀಗಳು ತಮ್ಮ ಮಿತಿಯಲ್ಲಿವೆಪೂರೈಕೆದಾರರನ್ನು ಸೇರಿಸಿ, max_concurrency ಕಡಿಮೆ ಮಾಡಿ, ಅಥವಾ Retry-After ಗಾಗಿ ಕಾಯಿರಿ
ಟೋಕನ್ ಅಥವಾ ಇನ್‌ಪುಟ್ ಪ್ರಕಾರದ ಬಗ್ಗೆ embedding ದೋಷLangChain ಪಠ್ಯವನ್ನಲ್ಲ, ಟೋಕನ್‌ಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆcheck_embedding_ctx_length=False ಹೊಂದಿಸಿ
tool_calls ಖಾಲಿಯಾಗಿದೆಮಾದರಿ ಟೂಲ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುವುದಿಲ್ಲಟೂಲ್ಸ್ ಕೋಷ್ಟಕದ ಮಾದರಿ ಅಥವಾ ಟೂಲ್ಸ್ ಪ್ರೊಫೈಲ್ ಬಳಸಿ
ತಾರ್ಕಿಕ ಪಠ್ಯ ಕಾಣೆಯಾಗಿದೆChatOpenAI ಪ್ರಮಾಣಿತ OpenAI ಕ್ಷೇತ್ರಗಳನ್ನು ಮಾತ್ರ ಇಡುತ್ತದೆಉತ್ತರವನ್ನು content ನಲ್ಲಿ ಓದಿ; ಹೆಚ್ಚುವರಿ ಪೂರೈಕೆದಾರ ಕ್ಷೇತ್ರಗಳನ್ನು ಇಡಲಾಗುವುದಿಲ್ಲ
ಇವೆಲ್ಲವನ್ನೂ ಒಂದೇ ಕೀ ಮೂಲಕ ಬಳಸಿ. FreeLLMAPI ಒಂದು ಮುಕ್ತ ಮೂಲದ, ಸ್ವಯಂ-ಹೋಸ್ಟ್ ಮಾಡಿದ ರೂಟರ್ ಆಗಿದೆ. ಇದು ಈ ಎಲ್ಲಾ ಉಚಿತ ಶ್ರೇಣಿಗಳನ್ನು ಒಂದೇ OpenAI-ಹೊಂದಾಣಿಕೆಯ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಹಿಂದೆ ಇಡುತ್ತದೆ ಮತ್ತು ಒಂದು ಮಿತಿಗೆ ಒಳಪಟ್ಟಾಗ ಬದಲಾಯಿಸುತ್ತದೆ. ಕ್ಯಾಟಲಾಗ್ ನೋಡಿ ಅಥವಾ ಲೈವ್ ಆಗಿ.

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

LangChain ಜೊತೆ ಉಚಿತ LLM API ಬಳಸಬಹುದೇ?

ಹೌದು. ಯಾವುದೇ OpenAI-ಹೊಂದಾಣಿಕೆಯ API ChatOpenAI ಜೊತೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ. base_url ಅನ್ನು http://localhost:3001/v1 ಗೆ ಮತ್ತು api_key ಅನ್ನು ನಿಮ್ಮ FreeLLMAPI ಏಕೀಕೃತ ಕೀಗೆ ಹೊಂದಿಸಿ. ರೂಟರ್ ಉಚಿತ ಪೂರೈಕೆದಾರ ಶ್ರೇಣಿಗಳನ್ನು ಬಳಸುತ್ತದೆ.

LangChain ChatOpenAI ನಲ್ಲಿ ಕಸ್ಟಮ್ ಬೇಸ್ URL ಅನ್ನು ಹೇಗೆ ಹೊಂದಿಸುವುದು?

Python ನಲ್ಲಿ, ChatOpenAI ಗೆ base_url ಅನ್ನು ರವಾನಿಸಿ. JavaScript ನಲ್ಲಿ, ಕನ್‌ಸ್ಟ್ರಕ್ಟರ್‌ಗೆ configuration: { baseURL } ರವಾನಿಸಿ. OPENAI_BASE_URL ಪರಿಸರ ವೇರಿಯಬಲ್ Python ನಲ್ಲಿಯೂ ಕೆಲಸ ಮಾಡುತ್ತದೆ.

LangChain ಏಜೆಂಟ್‌ಗಳು ಉಚಿತ ಮಾದರಿಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುತ್ತವೆಯೇ?

ಹೌದು, ಮಾದರಿ ಟೂಲ್ ಕರೆಯನ್ನು ಬೆಂಬಲಿಸಿದರೆ. ChatOpenAI ಮಾದರಿಯೊಂದಿಗೆ create_agent ಬಳಸಿ ಮತ್ತು ಟೂಲ್ ಕರೆ ಮಾಡುವ ಮಾದರಿಗಳನ್ನು ನಿಮ್ಮ FreeLLMAPI ಸರಣಿಯಲ್ಲಿ ಇರಿಸಿ.

OpenAI ಅಲ್ಲದ ಪೂರೈಕೆದಾರರೊಂದಿಗೆ OpenAIEmbeddings ಏಕೆ ವಿಫಲವಾಗುತ್ತದೆ?

ಡೀಫಾಲ್ಟ್ ಆಗಿ ಅದು ಟೋಕನ್ ID ಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ. ಇತರ ಹೆಚ್ಚಿನ ಪೂರೈಕೆದಾರರಿಗೆ ಕಚ್ಚಾ ಪಠ್ಯ ಬೇಕು. Python ನಲ್ಲಿ check_embedding_ctx_length=False ಹೊಂದಿಸಿ.

LangChain ನಲ್ಲಿ 429 ದೋಷಗಳನ್ನು ಹೇಗೆ ನಿಭಾಯಿಸುವುದು?

ChatOpenAI ನಲ್ಲಿ max_retries ಹೊಂದಿಸಿ, ಮತ್ತು ಬ್ಯಾಚ್ ಕೆಲಸಗಳಿಗಾಗಿ ಸರಣಿಗೆ with_retry ಸೇರಿಸಿ. ನಿಮ್ಮ ಕೋಡ್ 429 ನೋಡುವ ಮೊದಲೇ FreeLLMAPI ಮುಂದಿನ ಪೂರೈಕೆದಾರರಿಗೆ ಈಗಾಗಲೇ ಹೋಗಿರುತ್ತದೆ.

ಸಂಬಂಧಿತ ಮಾರ್ಗದರ್ಶಿಗಳು

ಮೂಲಗಳು

ಎಲ್ಲಾ ಮಾರ್ಗದರ್ಶಿಗಳು · ಎಲ್ಲಾ ಉಚಿತ ಮಾದರಿಗಳನ್ನು ನೋಡಿ