Laman utama / Panduan / LLM percuma untuk LlamaIndex

LLM percuma untuk LlamaIndex

LlamaIndex mempunyai dua kelas untuk API yang serasi dengan OpenAI: OpenAILike untuk sembang dan OpenAILikeEmbedding untuk embeddings. Panduan ini menghalakan kedua-duanya kepada FreeLLMAPI, yang menghimpunkan 45 peringkat pembekal percuma di belakang satu kunci. Anda membina indeks retrieval-augmented generation (RAG), membuat pertanyaan kepadanya dan menambah ejen. Kod ini mengendalikan had kadar.

Kod, nama model dan label katalog langsung dipaparkan dalam bahasa Inggeris.

Pasang pakej

Pasang FreeLLMAPI dan tambah kunci percuma daripada dua pembekal atau lebih pada halaman Keys papan pemuka. Salin kunci bersatu. Kemudian pasang pakej LlamaIndex.

Pasang

curl -fsSL https://freellmapi.co/install.sh | bash

pip install -U llama-index-core \
  llama-index-llms-openai-like \
  llama-index-embeddings-openai-like

export FREELLMAPI_BASE_URL=http://localhost:3001/v1
export FREELLMAPI_API_KEY=<unified-key>

Jangan guna kelas OpenAI biasa daripada llama-index-llms-openai dengan nama model yang tidak diketahui OpenAI. Kelas itu menyemak nama model dan saiz konteks berbanding senarai model OpenAI. OpenAILike tidak menyemaknya, jadi anda menetapkan nilai ini sendiri.

Konfigurasikan LLM dan model embedding

settings.py

import os
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding

BASE = os.environ["FREELLMAPI_BASE_URL"]
KEY = os.environ["FREELLMAPI_API_KEY"]

Settings.llm = OpenAILike(
    model="auto",
    api_base=BASE,
    api_key=KEY,
    is_chat_model=True,              # use /v1/chat/completions
    is_function_calling_model=True,  # needed for FunctionAgent
    context_window=32000,            # the smallest window in your chain
    max_retries=5,
    timeout=90,
)

Settings.embed_model = OpenAILikeEmbedding(
    model_name="bge-m3",  # one family, 1024 dimensions
    api_base=BASE,
    api_key=KEY,
    embed_batch_size=16,
    max_retries=10,
)
  • is_chat_model=True: tanpanya, LlamaIndex menghantar permintaan ke titik akhir penyiapan lama.
  • context_window: LlamaIndex menggunakan nilai ini untuk memutuskan berapa banyak bahagian yang diambil muat dalam prompt. Dengan auto, penghala boleh memilih model yang berbeza. Gunakan tetingkap konteks terkecil dalam rantai anda.
  • is_function_calling_model=True: tetapkannya hanya apabila rantai anda mempunyai model panggilan alat.
  • embed_batch_size: setiap kelompok ialah satu permintaan. Kelompok yang lebih besar menggunakan lebih sedikit permintaan seminit.

Prompt RAG membawa beberapa bahagian yang diambil, jadi model sembang memerlukan ruang untuk bahagian itu. Buat profil rantai sandaran dengan model konteks panjang untuk RAG. Kemudian tetapkan model="auto:<profile>" dan naikkan context_window kepada tetingkap terkecil dalam profil itu. Model percuma ini mempunyai tetingkap konteks terbesar hari ini:

Model percuma dengan tetingkap konteks terbesar
ModelPercuma padaKonteksHad percuma (tawaran terbaik)AlatPenglihatan
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsTidakTidak
Gemini 3.8 FlashAPINex, Google AI Studio1M5 permintaan/minit
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
YaYa
Gemini 3.7 FlashGoogle AI Studio1M10 permintaan/minit
20 permintaan/hari
250,000 token/minit
~3M
YaYa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 permintaan/minit
50 permintaan/hari
Shared rate limit
YaTidak
DeepSeek V4 Flash 0731ElectronHub, Router91M10,000 credits/month (~$1), shared; account-anniversary resetTidakTidak
Gemini 3.6 FlashGoogle AI Studio1M10 permintaan/minit
20 permintaan/hari
250,000 token/minit
~3M
YaYa
GLM-5.2ModelScope, Router91M100 permintaan/hari
Daily login: 200 credits + 50 for linked Alibaba Cloud; 24h expiry; shared; noncommercial experience
TidakTidak
Gemini 3.5 FlashGoogle AI Studio1M10 permintaan/minit
20 permintaan/hari
250,000 token/minit
~3M
YaYa

Memaparkan 8 daripada 115 model percuma yang sepadan. Lihat semua model.

Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.

Untuk mengekalkan satu pengguna pada satu model, hantar pengepala X-Session-Id. OpenAILike menerima default_headers, contohnya default_headers={"X-Session-Id": "user-42"}. FreeLLMAPI mengekalkan sesi pada model yang sama selama 30 minit. Ini memberikan jawapan dengan gaya yang sama merentas satu sembang.

Bina dan buat pertanyaan kepada indeks RAG

Skrip ini membaca fail daripada folder, membuat embeddings, menyimpan indeks dan menjawab soalan. Jalankannya sekali untuk membina indeks. Larian kemudian memuatkan indeks yang disimpan dan tidak embed fail semula.

rag.py

import os
import settings  # noqa: F401  (sets Settings.llm and Settings.embed_model)
from llama_index.core import (
    SimpleDirectoryReader,
    StorageContext,
    VectorStoreIndex,
    load_index_from_storage,
)

PERSIST = "./storage"


def load_index() -> VectorStoreIndex:
    if os.path.isdir(PERSIST):
        return load_index_from_storage(StorageContext.from_defaults(persist_dir=PERSIST))
    docs = SimpleDirectoryReader("./docs").load_data()
    index = VectorStoreIndex.from_documents(docs, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST)
    return index


if __name__ == "__main__":
    query_engine = load_index().as_query_engine(similarity_top_k=4, streaming=True)
    response = query_engine.query("How do I rotate the API keys?")
    response.print_response_stream()
    for node in response.source_nodes:
        print("\nSource:", node.metadata.get("file_name"), round(node.score or 0, 3))
Penting: kekalkan satu keluarga embedding untuk seluruh indeks. FreeLLMAPI tidak sekali-kali menukar model embedding semasa failover. Ia hanya beralih antara pembekal yang menyediakan keluarga yang sama. Jika anda menukar keluarga, padam ./storage dan bina indeks semula.

Model embedding ini percuma dalam katalog hari ini. Lajur dimensions menunjukkan saiz vektor bagi setiap keluarga.

ModelPembekalDimensiInput maksHad percuma
Gemini Embedding
gemini-embedding-001
Google AI Studio30722048100 rpm · 1K req/day
Nemotron Embed VL 1B
nvidia/llama-nemotron-embed-vl-1b-v2
NVIDIA NIM20488192~40 rpm
Nemotron 3 Embed 1B (OR free)
nvidia/nemotron-3-embed-1b:free
OpenRouter20483276820 rpm · shared free daily cap
SEA-LION E5 Embedding 600M
aisingapore/SEA-LION-E5-Embedding-600M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 300M
aisingapore/SEA-LION-ModernBERT-Embedding-300M
SEA-LION10248192free · 10 rpm
SEA-LION ModernBERT Embedding 600M
aisingapore/SEA-LION-ModernBERT-Embedding-600M
SEA-LION10248192free · 10 rpm
BGE-M3
@cf/baai/bge-m3
Cloudflare Workers AI1024819210K neurons/day (shared)
EmbeddingGemma 300M
@cf/google/embeddinggemma-300m
Cloudflare Workers AI768204810K neurons/day (shared)
Qwen3 Embedding 0.6B
@cf/qwen/qwen3-embedding-0.6b
Cloudflare Workers AI1024819210K neurons/day (shared)
Cohere Embed v4
embed-v4.0
Cohere15361280001K calls/mo (shared w/ chat)
Gemini Embedding 2
gemini-embedding-2
Google AI Studio30728192free-tier rate limited
Nemotron 3 Embed 1B
nvidia/nemotron-3-embed-1b
NVIDIA NIM20484096~40 rpm
PLaMo Embedding 1B (CF)
@cf/pfnet/plamo-embedding-1b
Cloudflare Workers AI2048409610K neurons/day (shared)
BGE Small EN v1.5 (CF)
@cf/baai/bge-small-en-v1.5
Cloudflare Workers AI38451210K neurons/day (shared)
BGE Base EN v1.5 (CF)
@cf/baai/bge-base-en-v1.5
Cloudflare Workers AI76851210K neurons/day (shared)
BGE Large EN v1.5 (CF)
@cf/baai/bge-large-en-v1.5
Cloudflare Workers AI102451210K neurons/day (shared)
Mistral Embed
mistral-embed
Mistral10248192free mode · monthly cap (shared)
Codestral Embed
codestral-embed
Mistral15368192free mode · monthly cap (shared)
Llama Text Embed v2 (Pinecone)
llama-text-embed-v2
Pinecone102420485M tokens/mo per model
Multilingual E5 Large (Pinecone)
multilingual-e5-large
Pinecone10245075M tokens/mo per model
Nemotron 3 Embed 1B (Speka)
nvidia/nemotron-3-embed-1b
Speka20488192$1/month shared across Speka models
OpenAI: Text Embedding 3 Small (ElectronHub)
text-embedding-3-small
ElectronHub15368192$0.25/week shared free credits
OpenAI: Text Embedding 3 Large (ElectronHub)
text-embedding-3-large
ElectronHub30728192$0.25/week shared free credits
Nemotron 3 Embed 8B (Inferbase)
nvidia-nemotron-3-embed-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 0.6B (Inferbase)
qwen3-embedding-0-6b
Inferbase102481925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 4B (Inferbase)
qwen3-embedding-4b
Inferbase256081925,000 requests/month; 100 requests and $0.50 usage/day shared
Qwen 3 Embedding 8B (Inferbase)
qwen3-embedding-8b
Inferbase409681925,000 requests/month; 100 requests and $0.50 usage/day shared
LFM2.5 Embedding 350M (LLMTR)
liquid/lfm-2.5-embedding-350m-free
LLMTR1024512Ongoing zero-price route; provider terms apply
BGE-M3 (SEA-LION)
BAAI/bge-m3
SEA-LION10248192free · 10 rpm
Cohere Embed English v3
embed-english-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Qwen3 Embedding 8B (OVH)
Qwen3-Embedding-8B
OVH AI Endpoints409632768free · anonymous 2 req/min per IP
BGE-M3 (OVH)
bge-m3
OVH AI Endpoints10248192free · anonymous 2 req/min per IP
BGE Multilingual Gemma2 (OVH)
bge-multilingual-gemma2
OVH AI Endpoints35848192free · anonymous 2 req/min per IP
Mistral: Codestral Embed (ElectronHub)
codestral-embed
ElectronHub15368192$0.25/week shared free credits
Mistral: Mistral Embed (ElectronHub)
mistral-embed
ElectronHub10248192$0.25/week shared free credits
Google: Gemini Embedding 2 (ElectronHub)
gemini-embedding-2
ElectronHub30728192$0.25/week shared free credits
Google: Gemini Embedding 001 (ElectronHub)
gemini-embedding-001
ElectronHub30722048$0.25/week shared free credits
OpenAI: Text Embedding Ada 002 (ElectronHub)
text-embedding-ada-002
ElectronHub15368192$0.25/week shared free credits
Cohere Embed English Light v3
embed-english-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)
Cohere Embed Multilingual v3
embed-multilingual-v3.0
Cohere10245121K calls/mo (shared w/ chat)
Cohere Embed Multilingual Light v3
embed-multilingual-light-v3.0
Cohere3845121K calls/mo (shared w/ chat)

Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.

Tambah ejen dengan FunctionAgent

FunctionAgent menggunakan panggilan alat. Anda boleh memberinya enjin pertanyaan sebagai alat dan menambah fungsi Python anda sendiri.

agent.py

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.tools import QueryEngineTool
from llama_index.core import Settings
from rag import load_index

docs_tool = QueryEngineTool.from_defaults(
    query_engine=load_index().as_query_engine(similarity_top_k=4),
    name="project_docs",
    description="Answers questions about the project documentation.",
)

def open_tickets(team: str) -> int:
    """Return the number of open tickets for a team."""
    return {"billing": 4, "platform": 11}.get(team, 0)

agent = FunctionAgent(
    tools=[docs_tool, open_tickets],
    llm=Settings.llm,
    system_prompt="Use the tools. Cite the document name in each answer.",
)

async def main():
    result = await agent.run("How many platform tickets are open, and how do we rotate keys?")
    print(result)

asyncio.run(main())

Untuk kerja ejen, pilih model dengan panggilan alat. Buat profil rantai sandaran dengan model ini sahaja, dan guna auto:<profile> sebagai nama model.

Model percuma dengan panggilan alat dan konteks 128K+
ModelPercuma padaKonteksHad percuma (tawaran terbaik)AlatPenglihatan
GLM 5.3UnoRouter1M1 permintaan/minit
1 req/min per model
YaTidak
GLM 5.3 FlashNVIDIA NIM, UnoRouter1M40 permintaan/minit
40 RPM
YaYa
Gemini 3.8 FlashGoogle AI Studio1MRecurring provider quotaYaYa
Qwen3.8 Flash NextAMD Radeon Cloud262KRecurring daily account allowanceYaTidak
Qwen3.8 FlashElectronHub1M$0.25/week shared recurring creditYaYa
Gemini 3.7 FlashGoogle AI Studio1M10 permintaan/minit
20 permintaan/hari
250,000 token/minit
~3M
YaYa
GPT-5.6 LunaElectronHub1M$0.25/week shared recurring creditYaYa
Dots3 Note PreviewKilo Gateway, OpenRouter512K20 permintaan/minit
50 permintaan/hari
50 req/day account-wide (1,000 after a $10 purchase)
YaYa
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 permintaan/minit
50 permintaan/hari
Shared rate limit
YaTidak
Qwen3.8 27BElectronHub, Groq, OVH AI Endpoints262K30 permintaan/minit
250 permintaan/hari
70,000 token/minit
~6M
YaYa

Memaparkan 10 daripada 109 model percuma yang sepadan. Lihat semua model.

Data langsung daripada katalog FreeLLMAPI (versi 2026.11.19, disemak 2026-11-19). Had percuma kerap berubah. Katalog disemak setiap hari.

Kekalkan ingestion dalam had percuma

Ingestion menghantar banyak permintaan embedding dalam masa yang singkat. Peringkat embedding percuma mempunyai had yang rendah. Contohnya, sesetengahnya membenarkan 10 permintaan seminit dan yang lain mengira panggilan sebulan. Rancang ingestion pertama sebelum anda memulakannya.

  • Guna bahagian besar. Lebih sedikit bahagian bermakna lebih sedikit vektor dan lebih sedikit permintaan. Saiz bahagian sekitar 1,024 token ialah permulaan yang baik.
  • Guna kelompok. Tetapkan embed_batch_size kepada 16 atau lebih. Satu permintaan kemudian membawa banyak bahagian.
  • Simpan indeks. Kekalkan indeks selepas larian pertama. Jangan embed fail yang sama semula.
  • Kekalkan percubaan semula. OpenAILikeEmbedding mencuba semula sehingga 10 kali secara lalai. Kekalkan nilai ini untuk tugas ingestion yang panjang.
  • Ingest secara bahagian. Untuk beribu fail, ingest satu folder pada satu masa.

Pertanyaan lebih murah daripada ingestion. Setiap pertanyaan menggunakan satu permintaan embedding dan satu permintaan sembang. Permintaan sembang dengan empat bahagian 1,024 token menghantar kira-kira 5,000 token. Peringkat percuma dengan had token seminit yang rendah boleh menolaknya. FreeLLMAPI kemudian mencuba pembekal seterusnya.

Penyelesaian masalah

MasalahPuncaPenyelesaian
Unknown model 'auto'Anda guna kelas OpenAIGuna OpenAILike
Permintaan pergi ke /v1/completionsis_chat_model tidak ditetapkanTetapkan is_chat_model=True
Ejen tidak memanggil alatis_function_calling_model dimatikan, atau model tiada panggilan alatTetapkan kepada True dan guna profil alat
Ralat 429 semasa ingestionKeluarga embedding telah mencapai had pada semua pembekalGuna kelompok yang lebih besar, tunggu Retry-After dan jalankan semula
Jawapan salah selepas tukar model embeddingVektor daripada dua keluarga dalam satu indeksPadam indeks yang disimpan dan bina semula
Ralat panjang kontekscontext_window lebih besar daripada model yang menjawabTetapkan nilai yang lebih kecil atau guna profil konteks panjang

Untuk melihat pembekal yang menjawab permintaan, guna papan pemuka FreeLLMAPI. Halaman Analytics menunjukkan permintaan, kelewatan dan ralat bagi setiap pembekal dan model. Setiap respons juga mempunyai pengepala X-Routed-Via. Jika penghala menukar pembekal, pengepala X-Fallback-Trail menamakan setiap percubaan yang gagal dan sebabnya.

Guna setiap satu daripada ini melalui satu kunci. FreeLLMAPI ialah penghala sumber terbuka yang anda hoskan sendiri. Ia meletakkan semua peringkat percuma ini di belakang satu titik akhir serasi OpenAI dan beralih ke pembekal lain apabila had kadar dicapai. Layari katalog atau mula sekarang.

Soalan lazim

Bolehkah saya guna LlamaIndex dengan LLM percuma?

Boleh. Guna OpenAILike dengan api_base ditetapkan kepada URL yang serasi dengan OpenAI. FreeLLMAPI memberikan satu URL untuk banyak peringkat pembekal percuma. Setiap peringkat mempunyai had sendiri.

Apakah perbezaan antara OpenAI dan OpenAILike dalam LlamaIndex?

Kelas OpenAI menyemak nama model berbanding model OpenAI. OpenAILike menerima mana-mana nama model. Anda menetapkan tetingkap konteks dan bendera sembang serta panggilan fungsi sendiri.

Model embedding percuma manakah terbaik untuk LlamaIndex?

Pilih keluarga dengan permintaan percuma yang mencukupi untuk ingestion anda dan kekalkannya untuk seluruh indeks. Keluarga bge-m3 adalah percuma pada beberapa pembekal, jadi failover boleh beralih antara mereka.

Adakah FunctionAgent berfungsi dengan model percuma?

Ya, jika model menyokong panggilan alat dan anda menetapkan is_function_calling_model=True. Guna profil rantai sandaran yang hanya mempunyai model panggilan alat.

Bagaimana saya mengelakkan had kadar semasa saya membina indeks LlamaIndex?

Guna bahagian besar, tetapkan embed_batch_size kepada 16 atau lebih, simpan indeks dan ingest folder besar secara bahagian.

Panduan berkaitan

Sumber

Semua panduan · Lihat semua model percuma