LLM percuma untuk LlamaIndex
LlamaIndex mempunyai dua kelas untuk API yang serasi dengan OpenAI: OpenAILike untuk sembang dan OpenAILikeEmbedding untuk embeddings. Panduan ini menghalakan kedua-duanya kepada FreeLLMAPI, yang menghimpunkan 45 peringkat pembekal percuma di belakang satu kunci. Anda membina indeks retrieval-augmented generation (RAG), membuat pertanyaan kepadanya dan menambah ejen. Kod ini mengendalikan had kadar.
Kod, nama model dan label katalog langsung dipaparkan dalam bahasa Inggeris.
Pasang pakej
Pasang FreeLLMAPI dan tambah kunci percuma daripada dua pembekal atau lebih pada halaman Keys papan pemuka. Salin kunci bersatu. Kemudian pasang pakej LlamaIndex.
Pasang
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Jangan guna kelas OpenAI biasa daripada llama-index-llms-openai dengan nama model yang tidak diketahui OpenAI. Kelas itu menyemak nama model dan saiz konteks berbanding senarai model OpenAI. OpenAILike tidak menyemaknya, jadi anda menetapkan nilai ini sendiri.
Konfigurasikan LLM dan model embedding
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: tanpanya, LlamaIndex menghantar permintaan ke titik akhir penyiapan lama.
- context_window: LlamaIndex menggunakan nilai ini untuk memutuskan berapa banyak bahagian yang diambil muat dalam prompt. Dengan
auto, penghala boleh memilih model yang berbeza. Gunakan tetingkap konteks terkecil dalam rantai anda. - is_function_calling_model=True: tetapkannya hanya apabila rantai anda mempunyai model panggilan alat.
- embed_batch_size: setiap kelompok ialah satu permintaan. Kelompok yang lebih besar menggunakan lebih sedikit permintaan seminit.
Prompt RAG membawa beberapa bahagian yang diambil, jadi model sembang memerlukan ruang untuk bahagian itu. Buat profil rantai sandaran dengan model konteks panjang untuk RAG. Kemudian tetapkan model="auto:<profile>" dan naikkan context_window kepada tetingkap terkecil dalam profil itu. Model percuma ini mempunyai tetingkap konteks terbesar hari ini:
| Model | Percuma pada | Konteks | Had percuma (tawaran terbaik) | Alat | Penglihatan |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Tidak | Tidak |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 permintaan/minit 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Ya | Ya |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 permintaan/minit 50 permintaan/hari Shared rate limit | Ya | Tidak |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Tidak | Tidak |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 permintaan/hari Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | Tidak | Tidak |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
Memaparkan 8 daripada 115 model percuma yang sepadan. Lihat semua model.
Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.
Untuk mengekalkan satu pengguna pada satu model, hantar pengepala X-Session-Id. OpenAILike menerima default_headers, contohnya default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI mengekalkan sesi pada model yang sama selama 30 minit. Ini memberikan jawapan dengan gaya yang sama merentas satu sembang.
Bina dan buat pertanyaan kepada indeks RAG
Skrip ini membaca fail daripada folder, membuat embeddings, menyimpan indeks dan menjawab soalan. Jalankannya sekali untuk membina indeks. Larian kemudian memuatkan indeks yang disimpan dan tidak embed fail semula.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage dan bina indeks semula.Model embedding ini percuma dalam katalog hari ini. Lajur dimensions menunjukkan saiz vektor bagi setiap keluarga.
| Model | Pembekal | Dimensi | Input maks | Had percuma |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.
Tambah ejen dengan FunctionAgent
FunctionAgent menggunakan panggilan alat. Anda boleh memberinya enjin pertanyaan sebagai alat dan menambah fungsi Python anda sendiri.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())Untuk kerja ejen, pilih model dengan panggilan alat. Buat profil rantai sandaran dengan model ini sahaja, dan guna auto:<profile> sebagai nama model.
| Model | Percuma pada | Konteks | Had percuma (tawaran terbaik) | Alat | Penglihatan |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 permintaan/minit 1 req/min per model | Ya | Tidak |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 permintaan/minit 40 RPM | Ya | Ya |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ya | Ya |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ya | Tidak |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 permintaan/minit 20 permintaan/hari 250,000 token/minit ~3M | Ya | Ya |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 permintaan/minit 50 permintaan/hari 50 req/day account-wide (1,000 after a $10 purchase) | Ya | Ya |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 permintaan/minit 50 permintaan/hari Shared rate limit | Ya | Tidak |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 permintaan/minit 250 permintaan/hari 70,000 token/minit ~6M | Ya | Ya |
Memaparkan 10 daripada 109 model percuma yang sepadan. Lihat semua model.
Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.
Kekalkan ingestion dalam had percuma
Ingestion menghantar banyak permintaan embedding dalam masa yang singkat. Peringkat embedding percuma mempunyai had yang rendah. Contohnya, sesetengahnya membenarkan 10 permintaan seminit dan yang lain mengira panggilan sebulan. Rancang ingestion pertama sebelum anda memulakannya.
- Guna bahagian besar. Lebih sedikit bahagian bermakna lebih sedikit vektor dan lebih sedikit permintaan. Saiz bahagian sekitar 1,024 token ialah permulaan yang baik.
- Guna kelompok. Tetapkan
embed_batch_sizekepada 16 atau lebih. Satu permintaan kemudian membawa banyak bahagian. - Simpan indeks. Kekalkan indeks selepas larian pertama. Jangan embed fail yang sama semula.
- Kekalkan percubaan semula.
OpenAILikeEmbeddingmencuba semula sehingga 10 kali secara lalai. Kekalkan nilai ini untuk tugas ingestion yang panjang. - Ingest secara bahagian. Untuk beribu fail, ingest satu folder pada satu masa.
Pertanyaan lebih murah daripada ingestion. Setiap pertanyaan menggunakan satu permintaan embedding dan satu permintaan sembang. Permintaan sembang dengan empat bahagian 1,024 token menghantar kira-kira 5,000 token. Peringkat percuma dengan had token seminit yang rendah boleh menolaknya. FreeLLMAPI kemudian mencuba pembekal seterusnya.
Penyelesaian masalah
| Masalah | Punca | Penyelesaian |
|---|---|---|
Unknown model 'auto' | Anda guna kelas OpenAI | Guna OpenAILike |
Permintaan pergi ke /v1/completions | is_chat_model tidak ditetapkan | Tetapkan is_chat_model=True |
| Ejen tidak memanggil alat | is_function_calling_model dimatikan, atau model tiada panggilan alat | Tetapkan kepada True dan guna profil alat |
| Ralat 429 semasa ingestion | Keluarga embedding telah mencapai had pada semua pembekal | Guna kelompok yang lebih besar, tunggu Retry-After dan jalankan semula |
| Jawapan salah selepas tukar model embedding | Vektor daripada dua keluarga dalam satu indeks | Padam indeks yang disimpan dan bina semula |
| Ralat panjang konteks | context_window lebih besar daripada model yang menjawab | Tetapkan nilai yang lebih kecil atau guna profil konteks panjang |
Untuk melihat pembekal yang menjawab permintaan, guna papan pemuka FreeLLMAPI. Halaman Analytics menunjukkan permintaan, kelewatan dan ralat bagi setiap pembekal dan model. Setiap respons juga mempunyai pengepala X-Routed-Via. Jika penghala menukar pembekal, pengepala X-Fallback-Trail menamakan setiap percubaan yang gagal dan sebabnya.
Soalan lazim
Bolehkah saya guna LlamaIndex dengan LLM percuma?
Boleh. Guna OpenAILike dengan api_base ditetapkan kepada URL yang serasi dengan OpenAI. FreeLLMAPI memberikan satu URL untuk banyak peringkat pembekal percuma. Setiap peringkat mempunyai had sendiri.
Apakah perbezaan antara OpenAI dan OpenAILike dalam LlamaIndex?
Kelas OpenAI menyemak nama model berbanding model OpenAI. OpenAILike menerima mana-mana nama model. Anda menetapkan tetingkap konteks dan bendera sembang serta panggilan fungsi sendiri.
Model embedding percuma manakah terbaik untuk LlamaIndex?
Pilih keluarga dengan permintaan percuma yang mencukupi untuk ingestion anda dan kekalkannya untuk seluruh indeks. Keluarga bge-m3 adalah percuma pada beberapa pembekal, jadi failover boleh beralih antara mereka.
Adakah FunctionAgent berfungsi dengan model percuma?
Ya, jika model menyokong panggilan alat dan anda menetapkan is_function_calling_model=True. Guna profil rantai sandaran yang hanya mempunyai model panggilan alat.
Bagaimana saya mengelakkan had kadar semasa saya membina indeks LlamaIndex?
Guna bahagian besar, tetapkan embed_batch_size kepada 16 atau lebih, simpan indeks dan ingest folder besar secara bahagian.
Panduan berkaitan
- Free LLM API untuk RAG
- API embeddings percuma
- API LLM percuma untuk LangChain
- API LLM percuma dalam Python
- Free LLM API dengan konteks 1 juta token
Sumber
- LlamaIndex: llama-index-llms-openai-like README (disemak 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (disemak 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (disemak 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (disemak 20 November 2026)