Trang chủ / Hướng dẫn / LLM miễn phí cho LlamaIndex

LLM miễn phí cho LlamaIndex

LlamaIndex có hai lớp cho API tương thích OpenAI: OpenAILike cho chat và OpenAILikeEmbedding cho embeddings. Hướng dẫn này trỏ cả hai tới FreeLLMAPI, nơi gom 45 gói miễn phí của nhà cung cấp sau một khóa. Bạn xây một chỉ mục retrieval-augmented generation (RAG), truy vấn nó và thêm một agent. Mã xử lý giới hạn tốc độ.

Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.

Cài đặt các gói

Cài đặt FreeLLMAPI và thêm khóa miễn phí từ hai nhà cung cấp trở lên ở trang Keys trên bảng điều khiển. Sao chép khóa thống nhất. Sau đó cài đặt các gói LlamaIndex.

Cài đặt

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Đừng dùng lớp OpenAI thuần từ llama-index-llms-openai với tên model mà OpenAI không biết. Lớp đó kiểm tra tên model và kích thước ngữ cảnh theo danh sách model OpenAI. OpenAILike thì không, nên bạn tự đặt các giá trị này.

Cấu hình model LLM và model embeddings

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: nếu thiếu, LlamaIndex gửi yêu cầu tới endpoint completions kiểu cũ.
  • context_window: LlamaIndex dùng giá trị này để quyết định có bao nhiêu đoạn đã truy xuất vừa trong prompt. Với auto, bộ định tuyến có thể chọn các model khác nhau. Dùng cửa sổ ngữ cảnh nhỏ nhất trong chuỗi của bạn.
  • is_function_calling_model=True: chỉ đặt khi chuỗi của bạn có model hỗ trợ gọi công cụ.
  • embed_batch_size: mỗi lô là một yêu cầu. Lô lớn hơn dùng ít yêu cầu hơn mỗi phút.

Một prompt RAG mang theo nhiều đoạn đã truy xuất, nên model chat cần chỗ cho chúng. Tạo một hồ sơ chuỗi dự phòng với các model ngữ cảnh dài cho RAG. Sau đó đặt model="auto:<profile>" và tăng context_window lên cửa sổ nhỏ nhất trong hồ sơ đó. Các model miễn phí này có cửa sổ ngữ cảnh lớn nhất hiện nay:

Model miễn phí có cửa sổ ngữ cảnh lớn nhất
Mô hìnhMiễn phí trênNgữ cảnhGiới hạn miễn phí (ưu đãi tốt nhất)Công cụThị giác
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsKhôngKhông
Gemini 3.8 FlashAPINex, Google AI Studio1M5 yêu cầu/phút
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
CóCó
Gemini 3.7 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 yêu cầu/phút
50 yêu cầu/ngày
Shared rate limit
CóKhông
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetKhôngKhông
Gemini 3.6 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
GLM-5.2ModelScope, Router91M100 yêu cầu/ngày
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
KhôngKhông
Gemini 3.5 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó

Đang hiển thị 8 trong số 115 mô hình miễn phí phù hợp. Xem tất cả mô hình.

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Để giữ một người dùng trên một model, gửi tiêu đề X-Session-Id. OpenAILike chấp nhận default_headers, ví dụ default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI giữ một phiên trên cùng một model trong 30 phút. Điều này cho câu trả lời cùng văn phong trong một cuộc trò chuyện.

Xây và truy vấn chỉ mục RAG

Tập lệnh đọc tệp từ một thư mục, tạo embeddings, lưu chỉ mục và trả lời một câu hỏi. Chạy một lần để xây chỉ mục. Các lần chạy sau tải chỉ mục đã lưu và không nhúng lại tệp.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
Quan trọng: giữ một họ embeddings cho toàn bộ chỉ mục. FreeLLMAPI không bao giờ đổi model embeddings khi chuyển dự phòng. Nó chỉ chuyển giữa các nhà cung cấp phục vụ cùng họ. Nếu bạn đổi họ, xóa ./storage và xây lại chỉ mục.

Các model embeddings này miễn phí trong danh mục hôm nay. Cột số chiều cho biết kích thước vector của mỗi họ.

Mô hìnhNhà cung cấpSố chiềuĐầu vào tối đaGiới hạn miễn phí
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Thêm agent với FunctionAgent

FunctionAgent dùng gọi công cụ. Bạn có thể đưa cho nó query engine như một công cụ và thêm các hàm Python của riêng bạn.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

Với công việc agent, chọn model có gọi công cụ. Tạo một hồ sơ chuỗi dự phòng chỉ có các model này, và dùng auto:<profile> làm tên model.

Model miễn phí có gọi công cụ và ngữ cảnh 128K trở lên
Mô hìnhMiễn phí trênNgữ cảnhGiới hạn miễn phí (ưu đãi tốt nhất)Công cụThị giác
GLM 5.3UnoRouter1M1 yêu cầu/phút
1 req/min per model
CóKhông
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 yêu cầu/phút
40 RPM
CóCó
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaCóCó
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceCóKhông
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditCóCó
Gemini 3.7 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditCóCó
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 yêu cầu/phút
50 yêu cầu/ngày
50 req/day account-wide (1,000 after a $10 purchase)
CóCó
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 yêu cầu/phút
50 yêu cầu/ngày
Shared rate limit
CóKhông
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 yêu cầu/phút
250 yêu cầu/ngày
70,000 token/phút
~6M
CóCó

Đang hiển thị 10 trong số 109 mô hình miễn phí phù hợp. Xem tất cả mô hình.

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Giữ việc nạp dữ liệu trong giới hạn miễn phí

Nạp dữ liệu gửi nhiều yêu cầu embeddings trong thời gian ngắn. Gói embeddings miễn phí có giới hạn thấp. Ví dụ, một số cho phép 10 yêu cầu mỗi phút và số khác đếm lệnh gọi theo tháng. Hãy lên kế hoạch cho lần nạp đầu tiên trước khi bắt đầu.

  • Dùng đoạn lớn. Ít đoạn hơn nghĩa là ít vector và ít yêu cầu hơn. Kích thước đoạn gần 1.024 token là điểm khởi đầu tốt.
  • Dùng lô. Đặt embed_batch_size thành 16 trở lên. Khi đó một yêu cầu mang nhiều đoạn.
  • Lưu chỉ mục. Ghi chỉ mục xuống đĩa sau lần chạy đầu. Đừng nhúng lại cùng các tệp.
  • Giữ thử lại. OpenAILikeEmbedding thử lại tối đa 10 lần theo mặc định. Giữ giá trị này cho các tác vụ nạp dữ liệu dài.
  • Nạp theo phần. Với hàng nghìn tệp, nạp mỗi lần một thư mục.

Truy vấn rẻ hơn nạp dữ liệu. Mỗi truy vấn dùng một yêu cầu embeddings và một yêu cầu chat. Một yêu cầu chat với bốn đoạn 1.024 token gửi khoảng 5.000 token. Gói miễn phí có giới hạn token mỗi phút thấp có thể từ chối yêu cầu này. Khi đó FreeLLMAPI thử nhà cung cấp tiếp theo.

Khắc phục sự cố

Vấn đềNguyên nhânCách khắc phục
Unknown model 'auto'Bạn đã dùng lớp OpenAIDùng OpenAILike
Yêu cầu đi tới /v1/completionsChưa đặt is_chat_modelĐặt is_chat_model=True
Agent không gọi công cụis_function_calling_model đang tắt, hoặc model không gọi công cụĐặt thành True và dùng hồ sơ có công cụ
Lỗi 429 khi nạp dữ liệuHọ embeddings đã đạt giới hạn trên mọi nhà cung cấpDùng lô lớn hơn, chờ Retry-After và chạy lại
Câu trả lời sai sau khi đổi model embeddingsVector từ hai họ trong cùng một chỉ mụcXóa chỉ mục đã lưu và xây lại
Lỗi độ dài ngữ cảnhcontext_window lớn hơn model đã trả lờiĐặt giá trị nhỏ hơn hoặc dùng hồ sơ ngữ cảnh dài

Để xem nhà cung cấp nào đã trả lời một yêu cầu, dùng bảng điều khiển FreeLLMAPI. Trang Analytics hiển thị yêu cầu, độ trễ và lỗi theo từng nhà cung cấp và model. Mỗi phản hồi cũng có tiêu đề X-Routed-Via. Nếu bộ định tuyến đổi nhà cung cấp, tiêu đề X-Fallback-Trail nêu từng lần thử thất bại và lý do.

Dùng tất cả các mô hình này qua một khóa duy nhất. FreeLLMAPI là bộ định tuyến mã nguồn mở, tự lưu trữ. Nó đặt tất cả các gói miễn phí này sau một endpoint duy nhất tương thích OpenAI, và tự chuyển sang nhà cung cấp khác khi một nhà cung cấp bị giới hạn tốc độ. Xem danh mục hoặc bắt đầu.

Câu hỏi thường gặp

Tôi có thể dùng LlamaIndex với LLM miễn phí không?

Có. Dùng OpenAILike với api_base đặt thành một URL tương thích OpenAI. FreeLLMAPI cung cấp một URL cho nhiều gói miễn phí của nhà cung cấp. Mỗi gói có giới hạn riêng.

Khác biệt giữa OpenAI và OpenAILike trong LlamaIndex là gì?

Lớp OpenAI kiểm tra tên model theo model của OpenAI. OpenAILike chấp nhận mọi tên model. Bạn tự đặt cửa sổ ngữ cảnh và các cờ chat và gọi hàm.

Model embeddings miễn phí nào tốt nhất cho LlamaIndex?

Chọn một họ có đủ yêu cầu miễn phí cho việc nạp dữ liệu và giữ nó cho toàn bộ chỉ mục. Họ bge-m3 miễn phí trên nhiều nhà cung cấp, nên chuyển dự phòng có thể đi giữa chúng.

FunctionAgent có hoạt động với model miễn phí không?

Có, nếu model hỗ trợ gọi công cụ và bạn đặt is_function_calling_model=True. Dùng hồ sơ chuỗi dự phòng chỉ có các model gọi công cụ.

Làm sao để tránh giới hạn tốc độ khi xây chỉ mục LlamaIndex?

Dùng đoạn lớn, đặt embed_batch_size thành 16 trở lên, lưu chỉ mục và nạp các thư mục lớn theo từng phần.

Hướng dẫn liên quan

Nguồn

Tất cả hướng dẫn · Xem tất cả mô hình miễn phí