LangChain ಗಾಗಿ ಉಚಿತ LLM API
LangChain, ChatOpenAI ಮತ್ತು OpenAIEmbeddings ಮೂಲಕ OpenAI-ಹೊಂದಾಣಿಕೆಯ APIಗಳಿಗೆ ಸಂಪರ್ಕಿಸುತ್ತದೆ. ನೀವು ಬೇಸ್ URL ಮತ್ತು ಕೀಯನ್ನು ಬದಲಿಸುತ್ತೀರಿ. ಈ ಮಾರ್ಗದರ್ಶಿ ಎರಡೂ ವರ್ಗಗಳನ್ನು FreeLLMAPI ಗೆ ತೋರಿಸುತ್ತದೆ, ಇದು ಒಂದು ಕೀ ಹಿಂದೆ 45 ಉಚಿತ ಪೂರೈಕೆದಾರ ಶ್ರೇಣಿಗಳನ್ನು ಸೇರಿಸುತ್ತದೆ. ಕೆಳಗಿನ ಕೋಡ್ Python ಮತ್ತು JavaScript ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಮತ್ತು ದರ ಮಿತಿಗಳನ್ನು ನಿಭಾಯಿಸುತ್ತದೆ.
ಕೋಡ್, ಮಾದರಿ ಹೆಸರುಗಳು ಮತ್ತು ನೇರ ಕ್ಯಾಟಲಾಗ್ ಲೇಬಲ್ಗಳನ್ನು ಇಂಗ್ಲಿಷ್ನಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ.
ಗೇಟ್ವೇ ಮತ್ತು ಪ್ಯಾಕೇಜ್ಗಳನ್ನು ಹೊಂದಿಸಿ
FreeLLMAPI ಸ್ಥಾಪಿಸಿ ಮತ್ತು ಡ್ಯಾಶ್ಬೋರ್ಡ್ನ Keys ಪುಟದಲ್ಲಿ ಎರಡು ಅಥವಾ ಹೆಚ್ಚು ಪೂರೈಕೆದಾರರಿಂದ ಉಚಿತ ಕೀಗಳನ್ನು ಸೇರಿಸಿ. ಏಕೀಕೃತ ಕೀಯನ್ನು ನಕಲಿಸಿ. ನಿಮ್ಮ ಕೋಡ್ ಈ ಕೀಯನ್ನು ಮಾತ್ರ ಬಳಸುತ್ತದೆ. ಪೂರೈಕೆದಾರರ ಕೀಗಳು FreeLLMAPI ನಲ್ಲಿಯೇ ಉಳಿಯುತ್ತವೆ.
FreeLLMAPI ಮತ್ತು LangChain ಪ್ಯಾಕೇಜ್ಗಳನ್ನು ಸ್ಥಾಪಿಸಿ
curl -fsSL https://freellmapi.co/install.sh | bash
# Python
pip install -U langchain langchain-openai
# JavaScript
npm install @langchain/openai @langchain/core zodಪರಿಸರ ವೇರಿಯಬಲ್ಗಳು
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>ರೂಟರ್ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡಲು model="auto" ಬಳಸಿ. ನೀವು ರೂಟಿಂಗ್ ತಂತ್ರವನ್ನೂ ಬಳಸಬಹುದು, ಉದಾಹರಣೆಗೆ auto:fast ಅಥವಾ auto:smart. auto:coding ನಂತಹ ಹೆಸರಿಟ್ಟ ಪ್ರೊಫೈಲ್ ಮತ್ತು ಕ್ಯಾಟಲಾಗ್ನಿಂದ ಸ್ಥಿರ ಮಾದರಿ ID ಸಹ ಕೆಲಸ ಮಾಡುತ್ತವೆ.
ನಿಮ್ಮ ಕೀಗಳು ಈಗ ಯಾವ ಮಾದರಿಗಳನ್ನು ಕರೆ ಮಾಡಬಹುದು ಎಂದು ನೋಡಲು, GET /v1/models?execution_status=ready ಅನ್ನು ವಿನಂತಿಸಿ. ಸಂಪೂರ್ಣ ಪಟ್ಟಿಯಲ್ಲಿ ಕೀ ಇಲ್ಲದ ಮಾದರಿಗಳೂ ಇವೆ. exhausted ಸ್ಥಿತಿಯ ಮಾದರಿಗೆ ಕೀಗಳಿವೆ, ಆದರೆ ಈ ಕ್ಷಣದಲ್ಲಿ ಅವೆಲ್ಲವೂ ಮಿತಿಯಲ್ಲಿವೆ. ತಣ್ಣಗಾಗುವ ಅವಧಿ ಮುಗಿದಾಗ ಈ ಸ್ಥಿತಿ ತೆರವುಗೊಳ್ಳುತ್ತದೆ.
ಈಗ ಉತ್ತರಿಸಬಲ್ಲ ಮಾದರಿಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿ
curl "http://localhost:3001/v1/models?execution_status=ready" \
-H "Authorization: Bearer <unified-key>"ChatOpenAI ಜೊತೆ ಚಾಟ್ ಮಾಡಿ
Python ನಲ್ಲಿ, base_url ಮತ್ತು api_key ಹೊಂದಿಸಿ. max_retries ಮೌಲ್ಯವು OpenAI ಕ್ಲೈಂಟ್ಗೆ ಹೋಗುತ್ತದೆ, ಅದು 429 ಮತ್ತು 5xx ದೋಷಗಳನ್ನು ಘಾತೀಯ ಹಿಂದೆಗೆತದೊಂದಿಗೆ ಮರುಪ್ರಯತ್ನಿಸುತ್ತದೆ.
Python: ಚಾಟ್ ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
temperature=0.2,
max_retries=3,
timeout=60,
include_response_headers=True,
)
msg = llm.invoke("Explain retrieval-augmented generation in two sentences.")
print(msg.content)
print("Served by:", msg.response_metadata["headers"].get("x-routed-via"))
for chunk in llm.stream("Write a haiku about SQLite."):
print(chunk.content, end="", flush=True)JavaScript ನಲ್ಲಿ, ಬೇಸ್ URL ಅನ್ನು configuration.baseURL ನಲ್ಲಿ ಇರಿಸಿ. configuration ವಸ್ತುವು ಅಧಿಕೃತ OpenAI SDK ಕ್ಲೈಂಟ್ಗೆ ಹೋಗುತ್ತದೆ.
JavaScript: ಚಾಟ್ ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "auto",
apiKey: process.env.FREELLMAPI_API_KEY,
temperature: 0.2,
maxRetries: 3,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const msg = await llm.invoke("Explain retrieval-augmented generation in two sentences.");
console.log(msg.content);
for await (const chunk of await llm.stream("Write a haiku about SQLite.")) {
process.stdout.write(String(chunk.content));
}x-routed-via ಹೆಡರ್ ಉತ್ತರಿಸಿದ ಪೂರೈಕೆದಾರ ಮತ್ತು ಮಾದರಿಯನ್ನು ತೋರಿಸುತ್ತದೆ. ರೂಟರ್ ಪೂರೈಕೆದಾರರನ್ನು ಬದಲಿಸಿದ್ದರೆ, x-fallback-trail ಪ್ರತಿ ವಿಫಲ ಪ್ರಯತ್ನ ಮತ್ತು ಕಾರಣವನ್ನು ತೋರಿಸುತ್ತದೆ.
ಟೂಲ್ಗಳು ಮತ್ತು ಏಜೆಂಟ್ಗಳು
FreeLLMAPI OpenAI ಶೈಲಿಯ tools ಅನ್ನು ಪ್ರತಿ ಪೂರೈಕೆದಾರರಿಗೆ ರವಾನಿಸುತ್ತದೆ ಮತ್ತು tool_calls ಅನ್ನು OpenAI ಸ್ವರೂಪದಲ್ಲಿ ಹಿಂದಿರುಗಿಸುತ್ತದೆ. Gemini ಗಾಗಿ, ಅದು ವಿನಂತಿಯನ್ನು Google ಸ್ವರೂಪಕ್ಕೆ ಮತ್ತು ಹಿಂದಕ್ಕೆ ಭಾಷಾಂತರಿಸುತ್ತದೆ. ಒಂದು ಕರೆಗೆ bind_tools ಬಳಸಿ, ಅಥವಾ ಟೂಲ್ಗಳನ್ನು ಚಲಾಯಿಸುವ ಲೂಪ್ಗೆ create_agent ಬಳಸಿ.
Python: bind_tools ಮತ್ತು create_agent
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
"""Return the current weather for a city."""
return f"It is 18 C and cloudy in {city}."
# One call: the model returns the tool call, your code runs it
msg = llm.bind_tools([get_weather]).invoke("What is the weather in Dublin?")
print(msg.tool_calls)
# Agent loop: LangChain runs the tool and sends the result back
agent = create_agent(
model=llm,
tools=[get_weather],
system_prompt="You answer weather questions. Use the tool.",
)
result = agent.invoke({"messages": [{"role": "user", "content": "Weather in Dublin?"}]})
print(result["messages"][-1].content)JavaScript: bindTools
import { tool } from "@langchain/core/tools";
import { z } from "zod";
const getWeather = tool(
async ({ city }) => `It is 18 C and cloudy in ${city}.`,
{
name: "get_weather",
description: "Return the current weather for a city.",
schema: z.object({ city: z.string() }),
},
);
const reply = await llm.bindTools([getWeather]).invoke("What is the weather in Dublin?");
console.log(reply.tool_calls);ಕೆಲವು ಉಚಿತ ಮಾದರಿಗಳು ಮಾತ್ರ ಟೂಲ್ ಕರೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ. auto ಬಳಸುವಾಗ, ಟೂಲ್ ಕರೆ ಮಾಡುವ ಮಾದರಿಗಳನ್ನು ನಿಮ್ಮ fallback ಸರಣಿಯಲ್ಲಿ ಇರಿಸಿ, ಅಥವಾ ಏಜೆಂಟ್ಗಳಿಗೆ ಪ್ರೊಫೈಲ್ ಮಾಡಿ. ಇಂದು ಈ ಉಚಿತ ಮಾದರಿಗಳು ಟೂಲ್ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ:
| ಮಾದರಿ | ಉಚಿತ | ಸಂದರ್ಭ | ಉಚಿತ ಮಿತಿಗಳು (ಅತ್ಯುತ್ತಮ ಕೊಡುಗೆ) | ಉಪಕರಣಗಳು | ದೃಷ್ಟಿ |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 ವಿನಂತಿ/ನಿಮಿಷ 1 req/min per model | ಹೌದು | ಇಲ್ಲ |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 ವಿನಂತಿ/ನಿಮಿಷ 40 RPM | ಹೌದು | ಹೌದು |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | ಹೌದು | ಹೌದು |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | ಹೌದು | ಇಲ್ಲ |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | ಹೌದು | ಹೌದು |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 20 ವಿನಂತಿ/ದಿನ 250,000 ಟೋಕನ್/ನಿಮಿಷ ~3M | ಹೌದು | ಹೌದು |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | ಹೌದು | ಹೌದು |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 ವಿನಂತಿ/ನಿಮಿಷ 50 ವಿನಂತಿ/ದಿನ 50 req/day account-wide (1,000 after a $10 purchase) | ಹೌದು | ಹೌದು |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 ವಿನಂತಿ/ನಿಮಿಷ 50 ವಿನಂತಿ/ದಿನ Shared rate limit | ಹೌದು | ಇಲ್ಲ |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 ವಿನಂತಿ/ನಿಮಿಷ 250 ವಿನಂತಿ/ದಿನ 70,000 ಟೋಕನ್/ನಿಮಿಷ ~6M | ಹೌದು | ಹೌದು |
ಹೊಂದಾಣಿಕೆಯಾಗುವ 109 ಉಚಿತ ಮಾದರಿಗಳಲ್ಲಿ 10 ಅನ್ನು ತೋರಿಸಲಾಗುತ್ತಿದೆ. ಎಲ್ಲಾ ಮಾದರಿಗಳನ್ನು ನೋಡಿ.
FreeLLMAPI ಕ್ಯಾಟಲಾಗ್ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.
OpenAIEmbeddings ಜೊತೆ embeddings
ಡೀಫಾಲ್ಟ್ ಆಗಿ, Python ನಲ್ಲಿರುವ OpenAIEmbeddings ಪಠ್ಯವನ್ನು OpenAI ಟೋಕನೈಸರ್ನಿಂದ ವಿಭಜಿಸಿ ಟೋಕನ್ಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ. ಇತರ ಹೆಚ್ಚಿನ ಪೂರೈಕೆದಾರರಿಗೆ ಕಚ್ಚಾ ಪಠ್ಯ ಬೇಕು. ಪಠ್ಯ ಕಳುಹಿಸಲು check_embedding_ctx_length=False ಹೊಂದಿಸಿ.
Python: embeddings
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(
model="bge-m3", # one embedding family, 1024 dimensions
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
check_embedding_ctx_length=False,
)
vectors = emb.embed_documents(["FreeLLMAPI pools free tiers.", "LangChain builds LLM apps."])
print(len(vectors), len(vectors[0]))JavaScript: embeddings
import { OpenAIEmbeddings } from "@langchain/openai";
const emb = new OpenAIEmbeddings({
model: "bge-m3",
apiKey: process.env.FREELLMAPI_API_KEY,
configuration: { baseURL: process.env.FREELLMAPI_BASE_URL },
});
const vector = await emb.embedQuery("What does FreeLLMAPI do?");
console.log(vector.length);FreeLLMAPI ನಲ್ಲಿ embedding ಬದಲಾವಣೆಯು ಎಂದಿಗೂ ಮಾದರಿಯನ್ನು ಬದಲಿಸುವುದಿಲ್ಲ. ಅದು ಒಂದೇ ಕುಟುಂಬವನ್ನು ನೀಡುವ ಪೂರೈಕೆದಾರರ ನಡುವೆ ಮಾತ್ರ ಚಲಿಸುತ್ತದೆ. ಇದರಿಂದ ಒಂದೇ ವೆಕ್ಟರ್ ಸ್ಟೋರ್ನ ಎಲ್ಲಾ ವೆಕ್ಟರ್ಗಳು ಹೊಂದಿಕೆಯಾಗುತ್ತವೆ. ಒಂದು ಕುಟುಂಬವನ್ನು ಆಯ್ಕೆ ಮಾಡಿ ಮತ್ತು ಅದನ್ನೇ ಇರಿಸಿ. ಇಂದಿನ ಉಚಿತ embedding ಮಾದರಿಗಳು:
| ಮಾದರಿ | ಪೂರೈಕೆದಾರ | ಆಯಾಮಗಳು | ಗರಿಷ್ಠ ಇನ್ಪುಟ್ | ಉಚಿತ ಮಿತಿ |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
FreeLLMAPI ಕ್ಯಾಟಲಾಗ್ನಿಂದ ನೇರ ಡೇಟಾ (ಆವೃತ್ತಿ 2026.11.19, 2026-11-19 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ). ಉಚಿತ ಮಿತಿಗಳು ಆಗಾಗ್ಗೆ ಬದಲಾಗುತ್ತವೆ. ಕ್ಯಾಟಲಾಗ್ ಪ್ರತಿದಿನ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.
ರಚನಾತ್ಮಕ ಔಟ್ಪುಟ್, ಸೆಷನ್ಗಳು ಮತ್ತು ಮಾದರಿ ಆಯ್ಕೆ
with_structured_output ಪಠ್ಯದ ಬದಲು Pydantic ವಸ್ತುವನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ. ಡೀಫಾಲ್ಟ್ ಆಗಿ, LangChain ಇದಕ್ಕೆ ಫಂಕ್ಷನ್ ಕರೆಯನ್ನು ಬಳಸುತ್ತದೆ. ಈ ವಿಧಾನವು ಟೂಲ್ಗಳನ್ನು ಬೆಂಬಲಿಸುವ ಪ್ರತಿ ಉಚಿತ ಮಾದರಿಯಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ.
Python: ರಚನಾತ್ಮಕ ಔಟ್ಪುಟ್
from pydantic import BaseModel, Field
class Ticket(BaseModel):
category: str = Field(description="billing, bug or other")
urgent: bool
classifier = llm.with_structured_output(Ticket)
ticket = classifier.invoke("The app crashes when I pay. Please fix it today.")
print(ticket.category, ticket.urgent)method="json_schema" ಅನ್ನು auto ಜೊತೆ ಬಳಸಬೇಡಿ. ಪ್ರತಿ ಉಚಿತ ಪೂರೈಕೆದಾರರೂ ಕಠಿಣ JSON ಸ್ಕೀಮಾ ಔಟ್ಪುಟ್ ಬೆಂಬಲಿಸುವುದಿಲ್ಲ, ಮತ್ತು ರೂಟರ್ ಪ್ರತಿ ವಿನಂತಿಗೆ ಬೇರೆ ಪೂರೈಕೆದಾರರನ್ನು ಆಯ್ಕೆ ಮಾಡಬಹುದು.
FreeLLMAPI ಒಂದು ಸಂಭಾಷಣೆಯನ್ನು 30 ನಿಮಿಷಗಳ ಕಾಲ ಒಂದೇ ಮಾದರಿಯಲ್ಲಿ ಇಡುತ್ತದೆ. ಅದು X-Session-Id ಹೆಡರ್ನಿಂದ ಸಂಭಾಷಣೆಯನ್ನು ಕಂಡುಹಿಡಿಯುತ್ತದೆ. ಹೆಡರ್ ಇಲ್ಲದಿದ್ದರೆ, ಮೊದಲ ಬಳಕೆದಾರ ಸಂದೇಶದ ಹ್ಯಾಶ್ ಬಳಸುತ್ತದೆ. ಹಲವು ಬಳಕೆದಾರರಿರುವ ಚಾಟ್ ಆ್ಯಪ್ಗಾಗಿ, ಪ್ರತಿ ಬಳಕೆದಾರರಿಗೆ ಒಂದು ಸೆಷನ್ ID ಕಳುಹಿಸಿ:
Python: ಪ್ರತಿ ಬಳಕೆದಾರರಿಗೆ ಒಂದು ಸೆಷನ್
def llm_for(user_id: str) -> ChatOpenAI:
return ChatOpenAI(
model="auto",
base_url=os.environ["FREELLMAPI_BASE_URL"],
api_key=os.environ["FREELLMAPI_API_KEY"],
default_headers={"X-Session-Id": f"user-{user_id}"},
max_retries=3,
)ನಿಮ್ಮ ಆ್ಯಪ್ನ ಪ್ರತಿ ಭಾಗಕ್ಕೆ ಮಾದರಿ ಸ್ಟ್ರಿಂಗ್ ಆಯ್ಕೆ ಮಾಡಿ:
| ನಿಮ್ಮ ಆ್ಯಪ್ನಲ್ಲಿರುವ ಕಾರ್ಯ | ಮಾದರಿ ಸ್ಟ್ರಿಂಗ್ | ಕಾರಣ |
|---|---|---|
| ಬಳಕೆದಾರರಿಗೆ ಚಾಟ್ ಉತ್ತರಗಳು | auto | ಡ್ಯಾಶ್ಬೋರ್ಡ್ನಲ್ಲಿ ನೀವು ಹೊಂದಿಸಿದ ಸರಣಿಯನ್ನು ಅನುಸರಿಸುತ್ತದೆ |
| ಟೂಲ್ಗಳೊಂದಿಗೆ ಏಜೆಂಟ್ | auto:<profile> | ಟೂಲ್ ಕರೆ ಮಾಡುವ ಮಾದರಿಗಳನ್ನು ಮಾತ್ರ ಹೊಂದಿರುವ ಪ್ರೊಫೈಲ್ |
| ವರ್ಗೀಕರಣ, ರೂಟಿಂಗ್, ಸಣ್ಣ ಸಾರಾಂಶಗಳು | auto:fast | ಅಳತೆ ಮಾಡಿದ ವೇಗದ ಪ್ರಕಾರ ಮಾದರಿಗಳನ್ನು ಶ್ರೇಣೀಕರಿಸುತ್ತದೆ |
| ಕಠಿಣ ತಾರ್ಕಿಕ ಹಂತಗಳು | auto:smart | ಬುದ್ಧಿಮತ್ತೆಯ ಪ್ರಕಾರ ಮಾದರಿಗಳನ್ನು ಶ್ರೇಣೀಕರಿಸುತ್ತದೆ |
| ಪುನರಾವರ್ತನೀಯವಾಗಿರಬೇಕಾದ ಪರೀಕ್ಷೆಗಳು | ಸ್ಥಿರ ಮಾದರಿ ID | ಪ್ರತಿ ಬಾರಿಯೂ ಒಂದೇ ಮಾದರಿ, ಆದರೆ ಆ ಮಾದರಿಯ ಮಿತಿಯಲ್ಲಿ ನಿಲ್ಲುತ್ತದೆ |
ಉಚಿತ ಶ್ರೇಣಿಗಳಿಗೆ SLA ಇಲ್ಲ. ದಿನದಲ್ಲಿ ವಿಳಂಬ ಬದಲಾಗುತ್ತದೆ, ಮತ್ತು ಅತ್ಯಂತ ಬಲವಾದ ಮಾದರಿಗಳು ಮೊದಲು ದೈನಂದಿನ ಮಿತಿಯನ್ನು ತಲುಪುತ್ತವೆ. ನಿಮ್ಮ ಸರಣಿ ನಿಜವಾಗಿ ಬಳಸುವ ಮಾದರಿಗಳೊಂದಿಗೆ ನಿಮ್ಮ ಸರಣಿಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ.
ದರ ಮಿತಿಗಳು ಮತ್ತು ಮರುಪ್ರಯತ್ನಗಳು
ಒಂದು ಪೂರೈಕೆದಾರ 429 ಹಿಂದಿರುಗಿಸಿದಾಗ, FreeLLMAPI ಮುಂದಿನ ಪೂರೈಕೆದಾರರನ್ನು ಪ್ರಯತ್ನಿಸುತ್ತದೆ. ಸರಣಿಯ ಪ್ರತಿ ಕೀ ತನ್ನ ಮಿತಿಯಲ್ಲಿದ್ದಾಗ ಮಾತ್ರ ನಿಮ್ಮ ಕೋಡ್ 429 ನೋಡುತ್ತದೆ. ಆಗ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲಿ Retry-After ಹೆಡರ್ ಇರುತ್ತದೆ. ಅನೇಕ ದೈನಂದಿನ ಮಿತಿಗಳು ಮಧ್ಯರಾತ್ರಿ UTC ಗೆ ಮರುಹೊಂದುತ್ತವೆ.
ಬ್ಯಾಚ್ ಕೆಲಸಗಳಿಗಾಗಿ, with_retry ಜೊತೆ ಎರಡನೇ ಮರುಪ್ರಯತ್ನ ಪದರ ಸೇರಿಸಿ. ಅದು ಸಂಪೂರ್ಣ runnable ಅನ್ನು ಘಾತೀಯ ಹಿಂದೆಗೆತ ಮತ್ತು ಜಿಟರ್ನೊಂದಿಗೆ ಮರುಪ್ರಯತ್ನಿಸುತ್ತದೆ.
Python: ದರ ಮಿತಿಗಳಲ್ಲಿ ಸರಣಿಯನ್ನು ಮರುಪ್ರಯತ್ನಿಸಿ
import openai
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([
("system", "Summarize the text in one sentence."),
("user", "{text}"),
])
chain = (prompt | llm).with_retry(
retry_if_exception_type=(openai.RateLimitError, openai.APITimeoutError),
wait_exponential_jitter=True,
stop_after_attempt=5,
)
# batch() runs requests in parallel; max_concurrency keeps the rate low
results = chain.batch(
[{"text": t} for t in ["First document.", "Second document."]],
config={"max_concurrency": 4},
)| ಸಮಸ್ಯೆ | ಕಾರಣ | ಪರಿಹಾರ |
|---|---|---|
openai.AuthenticationError | ತಪ್ಪಾದ ಏಕೀಕೃತ ಕೀ | Keys ಪುಟದಿಂದ ಕೀಯನ್ನು ಮತ್ತೆ ನಕಲಿಸಿ |
ಪ್ರತಿ ಕರೆಯಲ್ಲೂ openai.NotFoundError | ಬೇಸ್ URL ನಲ್ಲಿ /v1 ಇಲ್ಲ | http://localhost:3001/v1 ಬಳಸಿ |
openai.RateLimitError | ಸರಣಿಯ ಎಲ್ಲಾ ಕೀಗಳು ತಮ್ಮ ಮಿತಿಯಲ್ಲಿವೆ | ಪೂರೈಕೆದಾರರನ್ನು ಸೇರಿಸಿ, max_concurrency ಕಡಿಮೆ ಮಾಡಿ, ಅಥವಾ Retry-After ಗಾಗಿ ಕಾಯಿರಿ |
| ಟೋಕನ್ ಅಥವಾ ಇನ್ಪುಟ್ ಪ್ರಕಾರದ ಬಗ್ಗೆ embedding ದೋಷ | LangChain ಪಠ್ಯವನ್ನಲ್ಲ, ಟೋಕನ್ಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ | check_embedding_ctx_length=False ಹೊಂದಿಸಿ |
tool_calls ಖಾಲಿಯಾಗಿದೆ | ಮಾದರಿ ಟೂಲ್ಗಳನ್ನು ಬೆಂಬಲಿಸುವುದಿಲ್ಲ | ಟೂಲ್ಸ್ ಕೋಷ್ಟಕದ ಮಾದರಿ ಅಥವಾ ಟೂಲ್ಸ್ ಪ್ರೊಫೈಲ್ ಬಳಸಿ |
| ತಾರ್ಕಿಕ ಪಠ್ಯ ಕಾಣೆಯಾಗಿದೆ | ChatOpenAI ಪ್ರಮಾಣಿತ OpenAI ಕ್ಷೇತ್ರಗಳನ್ನು ಮಾತ್ರ ಇಡುತ್ತದೆ | ಉತ್ತರವನ್ನು content ನಲ್ಲಿ ಓದಿ; ಹೆಚ್ಚುವರಿ ಪೂರೈಕೆದಾರ ಕ್ಷೇತ್ರಗಳನ್ನು ಇಡಲಾಗುವುದಿಲ್ಲ |
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
LangChain ಜೊತೆ ಉಚಿತ LLM API ಬಳಸಬಹುದೇ?
ಹೌದು. ಯಾವುದೇ OpenAI-ಹೊಂದಾಣಿಕೆಯ API ChatOpenAI ಜೊತೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ. base_url ಅನ್ನು http://localhost:3001/v1 ಗೆ ಮತ್ತು api_key ಅನ್ನು ನಿಮ್ಮ FreeLLMAPI ಏಕೀಕೃತ ಕೀಗೆ ಹೊಂದಿಸಿ. ರೂಟರ್ ಉಚಿತ ಪೂರೈಕೆದಾರ ಶ್ರೇಣಿಗಳನ್ನು ಬಳಸುತ್ತದೆ.
LangChain ChatOpenAI ನಲ್ಲಿ ಕಸ್ಟಮ್ ಬೇಸ್ URL ಅನ್ನು ಹೇಗೆ ಹೊಂದಿಸುವುದು?
Python ನಲ್ಲಿ, ChatOpenAI ಗೆ base_url ಅನ್ನು ರವಾನಿಸಿ. JavaScript ನಲ್ಲಿ, ಕನ್ಸ್ಟ್ರಕ್ಟರ್ಗೆ configuration: { baseURL } ರವಾನಿಸಿ. OPENAI_BASE_URL ಪರಿಸರ ವೇರಿಯಬಲ್ Python ನಲ್ಲಿಯೂ ಕೆಲಸ ಮಾಡುತ್ತದೆ.
LangChain ಏಜೆಂಟ್ಗಳು ಉಚಿತ ಮಾದರಿಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುತ್ತವೆಯೇ?
ಹೌದು, ಮಾದರಿ ಟೂಲ್ ಕರೆಯನ್ನು ಬೆಂಬಲಿಸಿದರೆ. ChatOpenAI ಮಾದರಿಯೊಂದಿಗೆ create_agent ಬಳಸಿ ಮತ್ತು ಟೂಲ್ ಕರೆ ಮಾಡುವ ಮಾದರಿಗಳನ್ನು ನಿಮ್ಮ FreeLLMAPI ಸರಣಿಯಲ್ಲಿ ಇರಿಸಿ.
OpenAI ಅಲ್ಲದ ಪೂರೈಕೆದಾರರೊಂದಿಗೆ OpenAIEmbeddings ಏಕೆ ವಿಫಲವಾಗುತ್ತದೆ?
ಡೀಫಾಲ್ಟ್ ಆಗಿ ಅದು ಟೋಕನ್ ID ಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆ. ಇತರ ಹೆಚ್ಚಿನ ಪೂರೈಕೆದಾರರಿಗೆ ಕಚ್ಚಾ ಪಠ್ಯ ಬೇಕು. Python ನಲ್ಲಿ check_embedding_ctx_length=False ಹೊಂದಿಸಿ.
LangChain ನಲ್ಲಿ 429 ದೋಷಗಳನ್ನು ಹೇಗೆ ನಿಭಾಯಿಸುವುದು?
ChatOpenAI ನಲ್ಲಿ max_retries ಹೊಂದಿಸಿ, ಮತ್ತು ಬ್ಯಾಚ್ ಕೆಲಸಗಳಿಗಾಗಿ ಸರಣಿಗೆ with_retry ಸೇರಿಸಿ. ನಿಮ್ಮ ಕೋಡ್ 429 ನೋಡುವ ಮೊದಲೇ FreeLLMAPI ಮುಂದಿನ ಪೂರೈಕೆದಾರರಿಗೆ ಈಗಾಗಲೇ ಹೋಗಿರುತ್ತದೆ.
ಸಂಬಂಧಿತ ಮಾರ್ಗದರ್ಶಿಗಳು
- LlamaIndex ಗಾಗಿ ಉಚಿತ LLM
- ಪೈಥಾನ್ನಲ್ಲಿ ಉಚಿತ LLM API
- RAG ಗಾಗಿ ಉಚಿತ LLM API
- ಉಚಿತ ಎಂಬೆಡಿಂಗ್ಸ್ API
- ಫಂಕ್ಷನ್ ಕರೆಯೊಂದಿಗೆ ಉಚಿತ LLM API
- ಏಜೆಂಟ್ಗಳಿಗಾಗಿ ಉಚಿತ LLM API
ಮೂಲಗಳು
- LangChain docs: ChatOpenAI integration (Python) (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)
- LangChain docs: ChatOpenAI integration (JavaScript) (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)
- LangChain docs: agents and create_agent (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)
- LangChain source: OpenAIEmbeddings note on OpenAI-compatible APIs (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)
- OpenAI Python SDK: retries and errors (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)
- FreeLLMAPI docs: REST API (tool calling, embeddings, response headers) (20 November 2026 ರಂದು ಪರಿಶೀಲಿಸಲಾಗಿದೆ)