LLM gratis untuk LlamaIndex
LlamaIndex memiliki dua kelas untuk API yang kompatibel dengan OpenAI: OpenAILike untuk chat dan OpenAILikeEmbedding untuk embeddings. Panduan ini mengarahkan keduanya ke FreeLLMAPI, yang menggabungkan 45 paket gratis dari penyedia di balik satu kunci. Anda membangun indeks retrieval-augmented generation (RAG), melakukan kueri, dan menambahkan agent. Kode menangani batas permintaan.
Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.
Pasang paket
Pasang FreeLLMAPI dan tambahkan kunci gratis dari dua penyedia atau lebih di halaman Keys pada dasbor. Salin kunci terpadu. Kemudian pasang paket LlamaIndex.
Pasang
curl -fsSL https://freellmapi.co/install.sh | bash
pip install -U llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>Jangan memakai kelas OpenAI biasa dari llama-index-llms-openai dengan nama model yang tidak dikenal OpenAI. Kelas itu memeriksa nama model dan ukuran konteks terhadap daftar model OpenAI. OpenAILike tidak melakukan pemeriksaan itu, sehingga Anda mengatur nilai-nilai ini sendiri.
Atur LLM dan model embeddings
settings.py
import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]
Settings.llm = OpenAILike(
model="auto",
api_base=BASE,
api_key=KEY,
is_chat_model=True, # use /v1/chat/completions
is_function_calling_model=True, # needed for FunctionAgent
context_window=32000, # the smallest window in your chain
max_retries=5,
timeout=90,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name="bge-m3", # one family, 1024 dimensions
api_base=BASE,
api_key=KEY,
embed_batch_size=16,
max_retries=10,
)- is_chat_model=True: tanpa pengaturan ini, LlamaIndex mengirim permintaan ke endpoint completions lama.
- context_window: LlamaIndex memakai nilai ini untuk menentukan berapa banyak potongan yang diambil muat dalam prompt. Dengan
auto, router dapat memilih model yang berbeda. Gunakan jendela konteks terkecil dalam rantai Anda. - is_function_calling_model=True: atur hanya jika rantai Anda memiliki model dengan tool calling.
- embed_batch_size: setiap batch adalah satu permintaan. Batch yang lebih besar memakai lebih sedikit permintaan per menit.
Prompt RAG membawa beberapa potongan yang diambil, sehingga model chat memerlukan ruang untuk potongan tersebut. Buat profil rantai cadangan dengan model konteks panjang untuk RAG. Kemudian atur model="auto:<profile>" dan naikkan context_window ke jendela terkecil di profil itu. Model gratis berikut memiliki jendela konteks terbesar saat ini:
| Model | Gratis di | Konteks | Batas gratis (penawaran terbaik) | Alat | Pemrosesan gambar |
|---|---|---|---|---|---|
| OpenAI: GPT-6 Luna | ElectronHub | 1.1M | $0.25/week shared free credits | Tidak | Tidak |
| Gemini 3.8 Flash | APINex, Google AI Studio | 1M | 5 permintaan/menit 10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account | Ya | Ya |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 permintaan/menit 50 permintaan/hari Shared rate limit | Ya | Tidak |
| DeepSeek V4 Flash 0731 | ElectronHub, Router9 | 1M | 10,000 credits/month (~$1), shared; account-anniversary reset | Tidak | Tidak |
| Gemini 3.6 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| GLM-5.2 | ModelScope, Router9 | 1M | 100 permintaan/hari Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience | Tidak | Tidak |
| Gemini 3.5 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
Menampilkan 8 dari 115 model gratis yang cocok. Lihat semua model.
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
Untuk menjaga satu pengguna tetap pada satu model, kirim header X-Session-Id. OpenAILike menerima default_headers, misalnya default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI menjaga sesi tetap pada model yang sama selama 30 menit. Ini memberi jawaban dengan gaya yang sama dalam satu chat.
Bangun dan lakukan kueri indeks RAG
Skrip membaca file dari sebuah folder, membuat embeddings, menyimpan indeks, dan menjawab pertanyaan. Jalankan satu kali untuk membangun indeks. Eksekusi berikutnya memuat indeks yang tersimpan dan tidak melakukan embed file lagi.
rag.py
import os
import settings # noqa: F401 (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
SimpleDirectoryReader,
StorageContext,
VectorStoreIndex,
load_index_from_storage,
)
PERSIST = "./storage"
def load_index() -> VectorStoreIndex:
if os.path.isdir(PERSIST):
return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir=PERSIST)
return index
if __name__ == "__main__":
query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
response = query_engine.query("How do I rotate the API keys?")
response.print_response_stream()
for node in response.source_nodes:
print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))./storage dan bangun indeks lagi.Model embeddings ini gratis di katalog saat ini. Kolom dimensi menampilkan ukuran vektor setiap family.
| Model | Penyedia | Dimensi | Input maks | Batas gratis |
|---|---|---|---|---|
Gemini Embeddinggemini-embedding-001 | Google AI Studio | 3072 | 2048 | 100 rpm · 1K req/day |
Nemotron Embed VL 1Bnvidia/llama-nemotron-embed-vl-1b-v2 | NVIDIA NIM | 2048 | 8192 | ~40 rpm |
Nemotron 3 Embed 1B (OR free)nvidia/nemotron-3-embed-1b:free | OpenRouter | 2048 | 32768 | 20 rpm · shared free daily cap |
SEA-LION E5 Embedding 600Maisingapore/SEA-LION-E5-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 300Maisingapore/SEA-LION-ModernBERT-Embedding-300M | SEA-LION | 1024 | 8192 | free · 10 rpm |
SEA-LION ModernBERT Embedding 600Maisingapore/SEA-LION-ModernBERT-Embedding-600M | SEA-LION | 1024 | 8192 | free · 10 rpm |
BGE-M3@cf/baai/bge-m3 | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
EmbeddingGemma 300M@cf/google/embeddinggemma-300m | Cloudflare Workers AI | 768 | 2048 | 10K neurons/day (shared) |
Qwen3 Embedding 0.6B@cf/qwen/qwen3-embedding-0.6b | Cloudflare Workers AI | 1024 | 8192 | 10K neurons/day (shared) |
Cohere Embed v4embed-v4.0 | Cohere | 1536 | 128000 | 1K calls/mo (shared w/ chat) |
Gemini Embedding 2gemini-embedding-2 | Google AI Studio | 3072 | 8192 | free-tier rate limited |
Nemotron 3 Embed 1Bnvidia/nemotron-3-embed-1b | NVIDIA NIM | 2048 | 4096 | ~40 rpm |
PLaMo Embedding 1B (CF)@cf/pfnet/plamo-embedding-1b | Cloudflare Workers AI | 2048 | 4096 | 10K neurons/day (shared) |
BGE Small EN v1.5 (CF)@cf/baai/bge-small-en-v1.5 | Cloudflare Workers AI | 384 | 512 | 10K neurons/day (shared) |
BGE Base EN v1.5 (CF)@cf/baai/bge-base-en-v1.5 | Cloudflare Workers AI | 768 | 512 | 10K neurons/day (shared) |
BGE Large EN v1.5 (CF)@cf/baai/bge-large-en-v1.5 | Cloudflare Workers AI | 1024 | 512 | 10K neurons/day (shared) |
Mistral Embedmistral-embed | Mistral | 1024 | 8192 | free mode · monthly cap (shared) |
Codestral Embedcodestral-embed | Mistral | 1536 | 8192 | free mode · monthly cap (shared) |
Llama Text Embed v2 (Pinecone)llama-text-embed-v2 | Pinecone | 1024 | 2048 | 5M tokens/mo per model |
Multilingual E5 Large (Pinecone)multilingual-e5-large | Pinecone | 1024 | 507 | 5M tokens/mo per model |
Nemotron 3 Embed 1B (Speka)nvidia/nemotron-3-embed-1b | Speka | 2048 | 8192 | $1/month shared across Speka models |
OpenAI: Text Embedding 3 Small (ElectronHub)text-embedding-3-small | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
OpenAI: Text Embedding 3 Large (ElectronHub)text-embedding-3-large | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Nemotron 3 Embed 8B (Inferbase)nvidia-nemotron-3-embed-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 0.6B (Inferbase)qwen3-embedding-0-6b | Inferbase | 1024 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 4B (Inferbase)qwen3-embedding-4b | Inferbase | 2560 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
Qwen 3 Embedding 8B (Inferbase)qwen3-embedding-8b | Inferbase | 4096 | 8192 | 5,000 requests/month; 100 requests and $0.50 usage/day shared |
LFM2.5 Embedding 350M (LLMTR)liquid/lfm-2.5-embedding-350m-free | LLMTR | 1024 | 512 | Ongoing zero-price route; provider terms apply |
BGE-M3 (SEA-LION)BAAI/bge-m3 | SEA-LION | 1024 | 8192 | free · 10 rpm |
Cohere Embed English v3embed-english-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Qwen3 Embedding 8B (OVH)Qwen3-Embedding-8B | OVH AI Endpoints | 4096 | 32768 | free · anonymous 2 req/min per IP |
BGE-M3 (OVH)bge-m3 | OVH AI Endpoints | 1024 | 8192 | free · anonymous 2 req/min per IP |
BGE Multilingual Gemma2 (OVH)bge-multilingual-gemma2 | OVH AI Endpoints | 3584 | 8192 | free · anonymous 2 req/min per IP |
Mistral: Codestral Embed (ElectronHub)codestral-embed | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Mistral: Mistral Embed (ElectronHub)mistral-embed | ElectronHub | 1024 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 2 (ElectronHub)gemini-embedding-2 | ElectronHub | 3072 | 8192 | $0.25/week shared free credits |
Google: Gemini Embedding 001 (ElectronHub)gemini-embedding-001 | ElectronHub | 3072 | 2048 | $0.25/week shared free credits |
OpenAI: Text Embedding Ada 002 (ElectronHub)text-embedding-ada-002 | ElectronHub | 1536 | 8192 | $0.25/week shared free credits |
Cohere Embed English Light v3embed-english-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual v3embed-multilingual-v3.0 | Cohere | 1024 | 512 | 1K calls/mo (shared w/ chat) |
Cohere Embed Multilingual Light v3embed-multilingual-light-v3.0 | Cohere | 384 | 512 | 1K calls/mo (shared w/ chat) |
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
Tambahkan agent dengan FunctionAgent
FunctionAgent memakai tool calling. Anda dapat memberinya query engine sebagai tool dan menambahkan fungsi Python Anda sendiri.
agent.py
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index
docs_tool = QueryEngineTool.from_defaults(
query_engine=load_index().as_query_engine(similarity_top_k=4),
name="project_docs",
description="Answers questions about the project documentation.",
)
def open_tickets(team: str) -> int:
"""Return the number of open tickets for a team."""
return {"billing": 4, "platform": 11}.get(team, 0)
agent = FunctionAgent(
tools=[docs_tool, open_tickets],
llm=Settings.llm,
system_prompt="Use the tools. Cite the document name in each answer.",
)
async def main():
result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
print(result)
asyncio.run(main())Untuk pekerjaan agent, pilih model dengan tool calling. Buat profil rantai cadangan yang hanya berisi model ini, dan gunakan auto:<profile> sebagai nama model.
| Model | Gratis di | Konteks | Batas gratis (penawaran terbaik) | Alat | Pemrosesan gambar |
|---|---|---|---|---|---|
| GLM 5.3 | UnoRouter | 1M | 1 permintaan/menit 1 req/min per model | Ya | Tidak |
| GLM 5.3 Flash | NVIDIA NIM, UnoRouter | 1M | 40 permintaan/menit 40 RPM | Ya | Ya |
| Gemini 3.8 Flash | Google AI Studio | 1M | Recurring provider quota | Ya | Ya |
| Qwen3.8 Flash Next | AMD Radeon Cloud | 262K | Recurring daily account allowance | Ya | Tidak |
| Qwen3.8 Flash | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Gemini 3.7 Flash | Google AI Studio | 1M | 10 permintaan/menit 20 permintaan/hari 250,000 token/menit ~3M | Ya | Ya |
| GPT-5.6 Luna | ElectronHub | 1M | $0.25/week shared recurring credit | Ya | Ya |
| Dots3 Note Preview | Kilo Gateway, OpenRouter | 512K | 20 permintaan/menit 50 permintaan/hari 50 req/day account-wide (1,000 after a $10 purchase) | Ya | Ya |
| DeepSeek V4 Flash | AMD Radeon Cloud, BazaarLink, ElectronHub | 1M | 10 permintaan/menit 50 permintaan/hari Shared rate limit | Ya | Tidak |
| Qwen3.8 27B | ElectronHub, Groq, OVH AI Endpoints | 262K | 30 permintaan/menit 250 permintaan/hari 70,000 token/menit ~6M | Ya | Ya |
Menampilkan 10 dari 109 model gratis yang cocok. Lihat semua model.
Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.
Jaga ingestion tetap dalam batas gratis
Ingestion mengirim banyak permintaan embeddings dalam waktu singkat. Paket embeddings gratis memiliki batas yang rendah. Misalnya, sebagian mengizinkan 10 permintaan per menit dan sebagian lain menghitung panggilan per bulan. Rencanakan ingestion pertama sebelum Anda memulainya.
- Gunakan potongan besar. Potongan yang lebih sedikit berarti vektor dan permintaan yang lebih sedikit. Ukuran potongan sekitar 1.024 token adalah awal yang baik.
- Gunakan batch. Atur
embed_batch_sizeke 16 atau lebih. Satu permintaan kemudian membawa banyak potongan. - Simpan indeks. Simpan indeks setelah eksekusi pertama. Jangan lakukan embed file yang sama lagi.
- Biarkan retry aktif.
OpenAILikeEmbeddingmencoba ulang hingga 10 kali secara bawaan. Pertahankan nilai ini untuk tugas ingestion yang panjang. - Ingest secara bertahap. Untuk ribuan file, ingest satu folder setiap kali.
Kueri lebih murah daripada ingestion. Setiap kueri memakai satu permintaan embeddings dan satu permintaan chat. Permintaan chat dengan empat potongan berukuran 1.024 token mengirim sekitar 5.000 token. Paket gratis dengan batas token per menit yang rendah dapat menolaknya. FreeLLMAPI kemudian mencoba penyedia berikutnya.
Pemecahan masalah
| Masalah | Penyebab | Solusi |
|---|---|---|
Unknown model 'auto' | Anda memakai kelas OpenAI | Gunakan OpenAILike |
Permintaan menuju /v1/completions | is_chat_model tidak diatur | Atur is_chat_model=True |
| Agent tidak memanggil tools | is_function_calling_model nonaktif, atau model tidak memiliki tool calling | Atur ke True dan gunakan profil tools |
| Error 429 saat ingestion | Family embeddings telah mencapai batasnya di semua penyedia | Gunakan batch yang lebih besar, tunggu Retry-After, lalu jalankan lagi |
| Jawaban buruk setelah model embeddings diubah | Vektor dari dua family dalam satu indeks | Hapus indeks yang tersimpan dan bangun ulang |
| Error panjang konteks | context_window lebih besar daripada model yang menjawab | Atur nilai yang lebih kecil atau gunakan profil konteks panjang |
Untuk melihat penyedia yang menjawab sebuah permintaan, gunakan dasbor FreeLLMAPI. Halaman Analytics menampilkan permintaan, latensi, dan error untuk setiap penyedia dan model. Setiap respons juga memiliki header X-Routed-Via. Jika router mengganti penyedia, header X-Fallback-Trail menyebutkan setiap percobaan yang gagal beserta alasannya.
Pertanyaan yang sering diajukan
Dapatkah saya memakai LlamaIndex dengan LLM gratis?
Dapat. Gunakan OpenAILike dengan api_base yang diatur ke URL yang kompatibel dengan OpenAI. FreeLLMAPI memberi satu URL untuk banyak paket gratis dari penyedia. Setiap paket memiliki batasnya sendiri.
Apa perbedaan antara OpenAI dan OpenAILike di LlamaIndex?
Kelas OpenAI memeriksa nama model terhadap model OpenAI. OpenAILike menerima nama model apa pun. Anda mengatur jendela konteks dan flag chat serta function-calling sendiri.
Model embeddings gratis mana yang terbaik untuk LlamaIndex?
Pilih family dengan permintaan gratis yang cukup untuk ingestion Anda, dan pertahankan untuk seluruh indeks. Family bge-m3 gratis di beberapa penyedia, sehingga failover dapat berpindah di antara mereka.
Apakah FunctionAgent berfungsi dengan model gratis?
Ya, jika model mendukung tool calling dan Anda mengatur is_function_calling_model=True. Gunakan profil rantai cadangan yang hanya berisi model dengan tool calling.
Bagaimana cara menghindari batas permintaan saat membangun indeks LlamaIndex?
Gunakan potongan besar, atur embed_batch_size ke 16 atau lebih, simpan indeks, dan ingest folder besar secara bertahap.
Panduan terkait
- API LLM gratis untuk RAG
- API embeddings gratis
- Free LLM API untuk LangChain
- API LLM gratis di Python
- API LLM gratis dengan konteks 1 juta token
Sumber
- LlamaIndex: llama-index-llms-openai-like README (diperiksa 20 November 2026)
- LlamaIndex: llama-index-embeddings-openai-like source (diperiksa 20 November 2026)
- LlamaIndex: FunctionAgent (agent workflow) source (diperiksa 20 November 2026)
- FreeLLMAPI docs: REST API (embeddings families, routing strategies) (diperiksa 20 November 2026)