Beranda / Panduan / LLM gratis untuk LlamaIndex

LLM gratis untuk LlamaIndex

LlamaIndex memiliki dua kelas untuk API yang kompatibel dengan OpenAI: OpenAILike untuk chat dan OpenAILikeEmbedding untuk embeddings. Panduan ini mengarahkan keduanya ke FreeLLMAPI, yang menggabungkan 45 paket gratis dari penyedia di balik satu kunci. Anda membangun indeks retrieval-augmented generation (RAG), melakukan kueri, dan menambahkan agent. Kode menangani batas permintaan.

Kode, nama model, dan label katalog langsung ditampilkan dalam bahasa Inggris.

Pasang paket

Pasang FreeLLMAPI dan tambahkan kunci gratis dari dua penyedia atau lebih di halaman Keys pada dasbor. Salin kunci terpadu. Kemudian pasang paket LlamaIndex.

Pasang

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Jangan memakai kelas OpenAI biasa dari llama-index-llms-openai dengan nama model yang tidak dikenal OpenAI. Kelas itu memeriksa nama model dan ukuran konteks terhadap daftar model OpenAI. OpenAILike tidak melakukan pemeriksaan itu, sehingga Anda mengatur nilai-nilai ini sendiri.

Atur LLM dan model embeddings

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: tanpa pengaturan ini, LlamaIndex mengirim permintaan ke endpoint completions lama.
  • context_window: LlamaIndex memakai nilai ini untuk menentukan berapa banyak potongan yang diambil muat dalam prompt. Dengan auto, router dapat memilih model yang berbeda. Gunakan jendela konteks terkecil dalam rantai Anda.
  • is_function_calling_model=True: atur hanya jika rantai Anda memiliki model dengan tool calling.
  • embed_batch_size: setiap batch adalah satu permintaan. Batch yang lebih besar memakai lebih sedikit permintaan per menit.

Prompt RAG membawa beberapa potongan yang diambil, sehingga model chat memerlukan ruang untuk potongan tersebut. Buat profil rantai cadangan dengan model konteks panjang untuk RAG. Kemudian atur model="auto:<profile>" dan naikkan context_window ke jendela terkecil di profil itu. Model gratis berikut memiliki jendela konteks terbesar saat ini:

Model gratis dengan jendela konteks terbesar
ModelGratis diKonteksBatas gratis (penawaran terbaik)AlatPemrosesan gambar
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsTidakTidak
Gemini 3.8 FlashAPINex, Google AI Studio1M5 permintaan/menit
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
YaYa
Gemini 3.7 FlashGoogle AI Studio1M10 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 permintaan/menit
50 permintaan/hari
Shared rate limit
YaTidak
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetTidakTidak
Gemini 3.6 FlashGoogle AI Studio1M10 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa
GLM-5.2ModelScope, Router91M100 permintaan/hari
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
TidakTidak
Gemini 3.5 FlashGoogle AI Studio1M10 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa

Menampilkan 8 dari 115 model gratis yang cocok. Lihat semua model.

Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.

Untuk menjaga satu pengguna tetap pada satu model, kirim header X-Session-Id. OpenAILike menerima default_headers, misalnya default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI menjaga sesi tetap pada model yang sama selama 30 menit. Ini memberi jawaban dengan gaya yang sama dalam satu chat.

Bangun dan lakukan kueri indeks RAG

Skrip membaca file dari sebuah folder, membuat embeddings, menyimpan indeks, dan menjawab pertanyaan. Jalankan satu kali untuk membangun indeks. Eksekusi berikutnya memuat indeks yang tersimpan dan tidak melakukan embed file lagi.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
Penting: gunakan satu family embeddings untuk seluruh indeks. FreeLLMAPI tidak pernah mengubah model embeddings saat failover. Layanan ini hanya berpindah di antara penyedia yang melayani family yang sama. Jika Anda mengubah family, hapus ./storage dan bangun indeks lagi.

Model embeddings ini gratis di katalog saat ini. Kolom dimensi menampilkan ukuran vektor setiap family.

ModelPenyediaDimensiInput maksBatas gratis
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.

Tambahkan agent dengan FunctionAgent

FunctionAgent memakai tool calling. Anda dapat memberinya query engine sebagai tool dan menambahkan fungsi Python Anda sendiri.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

Untuk pekerjaan agent, pilih model dengan tool calling. Buat profil rantai cadangan yang hanya berisi model ini, dan gunakan auto:<profile> sebagai nama model.

Model gratis dengan tool calling dan konteks 128K+
ModelGratis diKonteksBatas gratis (penawaran terbaik)AlatPemrosesan gambar
GLM 5.3UnoRouter1M1 permintaan/menit
1 req/min per model
YaTidak
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 permintaan/menit
40 RPM
YaYa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaYaYa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceYaTidak
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditYaYa
Gemini 3.7 FlashGoogle AI Studio1M10 permintaan/menit
20 permintaan/hari
250,000 token/menit
~3M
YaYa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditYaYa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 permintaan/menit
50 permintaan/hari
50 req/day account-wide (1,000 after a $10 purchase)
YaYa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 permintaan/menit
50 permintaan/hari
Shared rate limit
YaTidak
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 permintaan/menit
250 permintaan/hari
70,000 token/menit
~6M
YaYa

Menampilkan 10 dari 109 model gratis yang cocok. Lihat semua model.

Data langsung dari katalog FreeLLMAPI (versi 2026.11.19, diperiksa 2026-11-19). Batas gratis sering berubah. Katalog diperiksa setiap hari.

Jaga ingestion tetap dalam batas gratis

Ingestion mengirim banyak permintaan embeddings dalam waktu singkat. Paket embeddings gratis memiliki batas yang rendah. Misalnya, sebagian mengizinkan 10 permintaan per menit dan sebagian lain menghitung panggilan per bulan. Rencanakan ingestion pertama sebelum Anda memulainya.

  • Gunakan potongan besar. Potongan yang lebih sedikit berarti vektor dan permintaan yang lebih sedikit. Ukuran potongan sekitar 1.024 token adalah awal yang baik.
  • Gunakan batch. Atur embed_batch_size ke 16 atau lebih. Satu permintaan kemudian membawa banyak potongan.
  • Simpan indeks. Simpan indeks setelah eksekusi pertama. Jangan lakukan embed file yang sama lagi.
  • Biarkan retry aktif. OpenAILikeEmbedding mencoba ulang hingga 10 kali secara bawaan. Pertahankan nilai ini untuk tugas ingestion yang panjang.
  • Ingest secara bertahap. Untuk ribuan file, ingest satu folder setiap kali.

Kueri lebih murah daripada ingestion. Setiap kueri memakai satu permintaan embeddings dan satu permintaan chat. Permintaan chat dengan empat potongan berukuran 1.024 token mengirim sekitar 5.000 token. Paket gratis dengan batas token per menit yang rendah dapat menolaknya. FreeLLMAPI kemudian mencoba penyedia berikutnya.

Pemecahan masalah

MasalahPenyebabSolusi
Unknown model 'auto'Anda memakai kelas OpenAIGunakan OpenAILike
Permintaan menuju /v1/completionsis_chat_model tidak diaturAtur is_chat_model=True
Agent tidak memanggil toolsis_function_calling_model nonaktif, atau model tidak memiliki tool callingAtur ke True dan gunakan profil tools
Error 429 saat ingestionFamily embeddings telah mencapai batasnya di semua penyediaGunakan batch yang lebih besar, tunggu Retry-After, lalu jalankan lagi
Jawaban buruk setelah model embeddings diubahVektor dari dua family dalam satu indeksHapus indeks yang tersimpan dan bangun ulang
Error panjang kontekscontext_window lebih besar daripada model yang menjawabAtur nilai yang lebih kecil atau gunakan profil konteks panjang

Untuk melihat penyedia yang menjawab sebuah permintaan, gunakan dasbor FreeLLMAPI. Halaman Analytics menampilkan permintaan, latensi, dan error untuk setiap penyedia dan model. Setiap respons juga memiliki header X-Routed-Via. Jika router mengganti penyedia, header X-Fallback-Trail menyebutkan setiap percobaan yang gagal beserta alasannya.

Gunakan semua ini melalui satu kunci. FreeLLMAPI adalah router sumber terbuka yang Anda hosting sendiri. Router ini menempatkan semua paket gratis ini di balik satu endpoint yang kompatibel dengan OpenAI, dan beralih ke penyedia lain saat batas permintaan tercapai. Lihat katalog atau mulai.

Pertanyaan yang sering diajukan

Dapatkah saya memakai LlamaIndex dengan LLM gratis?

Dapat. Gunakan OpenAILike dengan api_base yang diatur ke URL yang kompatibel dengan OpenAI. FreeLLMAPI memberi satu URL untuk banyak paket gratis dari penyedia. Setiap paket memiliki batasnya sendiri.

Apa perbedaan antara OpenAI dan OpenAILike di LlamaIndex?

Kelas OpenAI memeriksa nama model terhadap model OpenAI. OpenAILike menerima nama model apa pun. Anda mengatur jendela konteks dan flag chat serta function-calling sendiri.

Model embeddings gratis mana yang terbaik untuk LlamaIndex?

Pilih family dengan permintaan gratis yang cukup untuk ingestion Anda, dan pertahankan untuk seluruh indeks. Family bge-m3 gratis di beberapa penyedia, sehingga failover dapat berpindah di antara mereka.

Apakah FunctionAgent berfungsi dengan model gratis?

Ya, jika model mendukung tool calling dan Anda mengatur is_function_calling_model=True. Gunakan profil rantai cadangan yang hanya berisi model dengan tool calling.

Bagaimana cara menghindari batas permintaan saat membangun indeks LlamaIndex?

Gunakan potongan besar, atur embed_batch_size ke 16 atau lebih, simpan indeks, dan ingest folder besar secara bertahap.

Panduan terkait

Sumber

Semua panduan · Lihat semua model gratis