LLM miễn phí cho LlamaIndex
LlamaIndex có hai lớp cho API tương thích OpenAI: OpenAILike cho chat và OpenAILikeEmbedding cho embeddings. Hướng dẫn này trỏ cả hai tới FreeLLMAPI, nơi gom 45 gói miễn phí của nhà cung cấp sau một khóa. Bạn xây một chỉ mục retrieval-augmented generation (RAG), truy vấn nó và thêm một agent. Mã xử lý giới hạn tốc độ.
Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.
Cài đặt các gói
Cài đặt FreeLLMAPI và thêm khóa miễn phí từ hai nhà cung cấp trở lên ở trang Keys trên bảng điều khiển. Sao chép khóa thống nhất. Sau đó cài đặt các gói LlamaIndex.
Cài đặt
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Đừng dùng lớp OpenAI thuần từ llama-index-llms-openai với tên model mà OpenAI không biết. Lớp đó kiểm tra tên model và kích thước ngữ cảnh theo danh sách model OpenAI. OpenAILike thì không, nên bạn tự đặt các giá trị này.
Cấu hình model LLM và model embeddings
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: nếu thiếu, LlamaIndex gửi yêu cầu tới endpoint completions kiểu cũ.
- context_window: LlamaIndex dùng giá trị này để quyết định có bao nhiêu đoạn đã truy xuất vừa trong prompt. Với
auto, bộ định tuyến có thể chọn các model khác nhau. Dùng cửa sổ ngữ cảnh nhỏ nhất trong chuỗi của bạn. - is_function_calling_model=True: chỉ đặt khi chuỗi của bạn có model hỗ trợ gọi công cụ.
- embed_batch_size: mỗi lô là một yêu cầu. Lô lớn hơn dùng ít yêu cầu hơn mỗi phút.
Một prompt RAG mang theo nhiều đoạn đã truy xuất, nên model chat cần chỗ cho chúng. Tạo một hồ sơ chuỗi dự phòng với các model ngữ cảnh dài cho RAG. Sau đó đặt model="auto:<profile>" và tăng context_window lên cửa sổ nhỏ nhất trong hồ sơ đó. Các model miễn phí này có cửa sổ ngữ cảnh lớn nhất hiện nay:
| Mô hình | Miễn phí trên | Ngữ cảnh | Giới hạn miễn phí (ưu đãi tốt nhất) | Công cụ | Thị giác |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Không | Không |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 yêu cầu/phút 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Có | Có |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 yêu cầu/phút 50 yêu cầu/ngày Shared rate limit | Có | Không |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Không | Không |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 yêu cầu/ngày Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | Không | Không |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
Đang hiển thị 8 trong số 115 mô hình miễn phí phù hợp. Xem tất cả mô hình.
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
Để giữ một người dùng trên một model, gửi tiêu đề X-Session-Id. OpenAILike chấp nhận default_headers, ví dụ default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI giữ một phiên trên cùng một model trong 30 phút. Điều này cho câu trả lời cùng văn phong trong một cuộc trò chuyện.
Xây và truy vấn chỉ mục RAG
Tập lệnh đọc tệp từ một thư mục, tạo embeddings, lưu chỉ mục và trả lời một câu hỏi. Chạy một lần để xây chỉ mục. Các lần chạy sau tải chỉ mục đã lưu và không nhúng lại tệp.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage và xây lại chỉ mục.Các model embeddings này miễn phí trong danh mục hôm nay. Cột số chiều cho biết kích thước vector của mỗi họ.
| Mô hình | Nhà cung cấp | Số chiều | Đầu vào tối đa | Giới hạn miễn phí |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
Thêm agent với FunctionAgent
FunctionAgent dùng gọi công cụ. Bạn có thể đưa cho nó query engine như một công cụ và thêm các hàm Python của riêng bạn.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())Với công việc agent, chọn model có gọi công cụ. Tạo một hồ sơ chuỗi dự phòng chỉ có các model này, và dùng auto:<profile> làm tên model.
| Mô hình | Miễn phí trên | Ngữ cảnh | Giới hạn miễn phí (ưu đãi tốt nhất) | Công cụ | Thị giác |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 yêu cầu/phút 1 req/min per model | Có | Không |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 yêu cầu/phút 40 RPM | Có | Có |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Có | Có |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Có | Không |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Có | Có |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 yêu cầu/phút 20 yêu cầu/ngày 250,000 token/phút ~3M | Có | Có |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Có | Có |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 yêu cầu/phút 50 yêu cầu/ngày 50 req/day account-wide (1,000 after a $10 purchase) | Có | Có |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 yêu cầu/phút 50 yêu cầu/ngày Shared rate limit | Có | Không |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 yêu cầu/phút 250 yêu cầu/ngày 70,000 token/phút ~6M | Có | Có |
Đang hiển thị 10 trong số 109 mô hình miễn phí phù hợp. Xem tất cả mô hình.
Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.
Giữ việc nạp dữ liệu trong giới hạn miễn phí
Nạp dữ liệu gửi nhiều yêu cầu embeddings trong thời gian ngắn. Gói embeddings miễn phí có giới hạn thấp. Ví dụ, một số cho phép 10 yêu cầu mỗi phút và số khác đếm lệnh gọi theo tháng. Hãy lên kế hoạch cho lần nạp đầu tiên trước khi bắt đầu.
- Dùng đoạn lớn. Ít đoạn hơn nghĩa là ít vector và ít yêu cầu hơn. Kích thước đoạn gần 1.024 token là điểm khởi đầu tốt.
- Dùng lô. Đặt
embed_batch_sizethành 16 trở lên. Khi đó một yêu cầu mang nhiều đoạn. - Lưu chỉ mục. Ghi chỉ mục xuống đĩa sau lần chạy đầu. Đừng nhúng lại cùng các tệp.
- Giữ thử lại.
OpenAILikeEmbeddingthử lại tối đa 10 lần theo mặc định. Giữ giá trị này cho các tác vụ nạp dữ liệu dài. - Nạp theo phần. Với hàng nghìn tệp, nạp mỗi lần một thư mục.
Truy vấn rẻ hơn nạp dữ liệu. Mỗi truy vấn dùng một yêu cầu embeddings và một yêu cầu chat. Một yêu cầu chat với bốn đoạn 1.024 token gửi khoảng 5.000 token. Gói miễn phí có giới hạn token mỗi phút thấp có thể từ chối yêu cầu này. Khi đó FreeLLMAPI thử nhà cung cấp tiếp theo.
Khắc phục sự cố
| Vấn đề | Nguyên nhân | Cách khắc phục |
|---|---|---|
Unknown model 'auto' | Bạn đã dùng lớp OpenAI | Dùng OpenAILike |
Yêu cầu đi tới /v1/completions | Chưa đặt is_chat_model | Đặt is_chat_model=True |
| Agent không gọi công cụ | is_function_calling_model đang tắt, hoặc model không gọi công cụ | Đặt thành True và dùng hồ sơ có công cụ |
| Lỗi 429 khi nạp dữ liệu | Họ embeddings đã đạt giới hạn trên mọi nhà cung cấp | Dùng lô lớn hơn, chờ Retry-After và chạy lại |
| Câu trả lời sai sau khi đổi model embeddings | Vector từ hai họ trong cùng một chỉ mục | Xóa chỉ mục đã lưu và xây lại |
| Lỗi độ dài ngữ cảnh | context_window lớn hơn model đã trả lời | Đặt giá trị nhỏ hơn hoặc dùng hồ sơ ngữ cảnh dài |
Để xem nhà cung cấp nào đã trả lời một yêu cầu, dùng bảng điều khiển FreeLLMAPI. Trang Analytics hiển thị yêu cầu, độ trễ và lỗi theo từng nhà cung cấp và model. Mỗi phản hồi cũng có tiêu đề X-Routed-Via. Nếu bộ định tuyến đổi nhà cung cấp, tiêu đề X-Fallback-Trail nêu từng lần thử thất bại và lý do.
Câu hỏi thường gặp
Tôi có thể dùng LlamaIndex với LLM miễn phí không?
Có. Dùng OpenAILike với api_base đặt thành một URL tương thích OpenAI. FreeLLMAPI cung cấp một URL cho nhiều gói miễn phí của nhà cung cấp. Mỗi gói có giới hạn riêng.
Khác biệt giữa OpenAI và OpenAILike trong LlamaIndex là gì?
Lớp OpenAI kiểm tra tên model theo model của OpenAI. OpenAILike chấp nhận mọi tên model. Bạn tự đặt cửa sổ ngữ cảnh và các cờ chat và gọi hàm.
Model embeddings miễn phí nào tốt nhất cho LlamaIndex?
Chọn một họ có đủ yêu cầu miễn phí cho việc nạp dữ liệu và giữ nó cho toàn bộ chỉ mục. Họ bge-m3 miễn phí trên nhiều nhà cung cấp, nên chuyển dự phòng có thể đi giữa chúng.
FunctionAgent có hoạt động với model miễn phí không?
Có, nếu model hỗ trợ gọi công cụ và bạn đặt is_function_calling_model=True. Dùng hồ sơ chuỗi dự phòng chỉ có các model gọi công cụ.
Làm sao để tránh giới hạn tốc độ khi xây chỉ mục LlamaIndex?
Dùng đoạn lớn, đặt embed_batch_size thành 16 trở lên, lưu chỉ mục và nạp các thư mục lớn theo từng phần.
Hướng dẫn liên quan
- API LLM miễn phí cho RAG
- API embeddings miễn phí
- API LLM miễn phí cho LangChain
- API LLM miễn phí trong Python
- API LLM miễn phí với ngữ cảnh 1 triệu token
Nguồn
- LlamaIndex: llama-index-llms-openai-like README (đã kiểm tra 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (đã kiểm tra 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (đã kiểm tra 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (đã kiểm tra 20 November 2026)