Trang chủ / Hướng dẫn / API LLM miễn phí với ngữ cảnh 1 triệu token

API LLM miễn phí với ngữ cảnh 1 triệu token

Cửa sổ ngữ cảnh dài cho phép một mô hình đọc cả một cuốn sách, một cơ sở code lớn hoặc hàng giờ bản ghi trong một yêu cầu. Danh mục FreeLLMAPI có 56 ưu đãi mô hình miễn phí với cửa sổ ngữ cảnh từ 1 triệu token trở lên. Hướng dẫn này chỉ các mô hình đó và các giới hạn của gói miễn phí, thứ quyết định bạn thực sự có thể gửi bao nhiêu.

Mã, tên mô hình và nhãn danh mục trực tiếp được hiển thị bằng tiếng Anh.

Mô hình miễn phí với ngữ cảnh từ 1M token hiện nay

Bảng liệt kê các mô hình miễn phí có cửa sổ ngữ cảnh ít nhất 1,000,000 token, từ lớn nhất đến nhỏ nhất. Dữ liệu lấy từ danh mục trực tiếp. Hãy xem cột "Free limits" cùng với kích thước ngữ cảnh.

Mô hình miễn phí với ngữ cảnh từ 1M+ token, lớn nhất đứng đầu
Mô hìnhMiễn phí trênNgữ cảnhGiới hạn miễn phí (ưu đãi tốt nhất)Công cụThị giác
OpenAI: GPT-6 LunaElectronHub1.1M$0.25/week shared free creditsKhôngKhông
Gemini 3.8 FlashAPINex, Google AI Studio1M5 yêu cầu/phút
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
CóCó
Gemini 3.7 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
DeepSeek V4 FlashAMD Radeon Cloud, BazaarLink, ElectronHub1M10 yêu cầu/phút
50 yêu cầu/ngày
Shared rate limit
CóKhông
DeepSeek V4 Flash 0731Router91M10,000 credits/month (~$1), shared; account-anniversary resetKhôngKhông
Gemini 3.6 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
GLM 5.2Router91M10,000 credits/month (~$1), shared; account-anniversary resetKhôngKhông
Gemini 3.5 FlashGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
DeepSeek V4 ProAPINex, Router91M5 yêu cầu/phút
10M weighted tokens/day shared across APINex free routes; 3x token multiplier; 5 requests/minute/account
KhôngKhông
Nemotron 3 Ultra 550BGizmo, Kilo Gateway, LLMTR +3 nữa1M200 yêu cầu/ngày
200 rpd
CóKhông
Gemini 3.5 Flash LiteElectronHub, Google AI Studio1M15 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
Gemini 3 Flash PreviewGoogle AI Studio1M10 yêu cầu/phút
20 yêu cầu/ngày
250,000 token/phút
~3M
CóCó
Gemini 3.1 Flash-LiteDreamPrompting, Google AI Studio1M100 yêu cầu/phút
5,000 yêu cầu/ngày
500,000 token/ngày
500K tokens/day · 5,000 req/day
CóCó
Gemini 2.5 FlashDreamPrompting, ElectronHub, Google AI Studio1M100 yêu cầu/phút
5,000 yêu cầu/ngày
500,000 token/ngày
500K tokens/day · 5,000 req/day
CóCó
Nemotron 3.5 LightningElectronHub, Gizmo, Kilo Gateway +2 nữa1M20 yêu cầu/phút
50 yêu cầu/ngày
50 req/day account-wide (1,000 after a $10 purchase)
CóKhông

Đang hiển thị 15 trong số 33 mô hình miễn phí phù hợp. Xem tất cả mô hình.

Dữ liệu trực tiếp từ danh mục FreeLLMAPI (phiên bản 2026.11.19, đã kiểm tra 2026-11-19). Giới hạn miễn phí thay đổi thường xuyên. Danh mục được kiểm tra mỗi ngày.

Các mô hình Gemini Flash từ Google AI Studio là những mô hình 1M token miễn phí được biết đến nhiều nhất. Chúng cũng nhận hình ảnh và lệnh gọi công cụ. Các dòng khác đến từ các bộ định tuyến miễn phí và từ NVIDIA.

Giới hạn thực tế: token mỗi phút

Cửa sổ ngữ cảnh là prompt lớn nhất mà mô hình có thể đọc. Gói miễn phí cũng có giới hạn token mỗi phút (TPM). Trên nhiều gói miễn phí, giới hạn TPM nhỏ hơn cửa sổ ngữ cảnh.

  • Ví dụ: một khóa Gemini Flash miễn phí trong bảng cho phép 250,000 token mỗi phút. Một prompt 800,000 token nằm trong cửa sổ ngữ cảnh, nhưng vượt giới hạn TPM. Nhà cung cấp trả về lỗi 429.
  • Yêu cầu mỗi ngày: một số mô hình Gemini miễn phí chỉ cho khoảng 20 yêu cầu mỗi ngày. Hãy dùng prompt dài cho các tác vụ cần chúng.
  • Đầu ra là riêng biệt: câu trả lời có độ dài tối đa riêng. Ngữ cảnh 1M token không cho câu trả lời 1M token.

Vì vậy, trong thực tế, một mô hình miễn phí 1M ngữ cảnh có thể đọc vài trăm nghìn token trong một yêu cầu. Hãy đo prompt trước khi gửi.

Bước 1: Cài FreeLLMAPI và thêm khóa

FreeLLMAPI là mã nguồn mở. Nó chạy trên máy tính của bạn bằng Docker. Khóa nhà cung cấp của bạn vẫn nằm trên máy tính của bạn.

Cài đặt (macOS hoặc Linux)

curl -fsSL https://freellmapi.co/install.sh | bash

Mở bảng điều khiển tại http://localhost:3001. Thêm khóa Google AI Studio ở trang Keys. Cũng thêm khóa từ các nhà cung cấp khác trong bảng, để bộ định tuyến có một mô hình ngữ cảnh dài khác khi Google gửi lỗi 429. Sao chép khóa thống nhất của bạn từ cùng trang đó.

Bước 2: Đếm token, rồi gửi tài liệu dài

FreeLLMAPI phục vụ phương thức countTokens Gemini gốc. Dùng nó để đo prompt trước khi gửi.

curl: đếm token bằng điểm cuối Gemini gốc

curl "http://localhost:3001/v1beta/models/gemini-2.5-flash:countTokens" \
  -H "x-goog-api-key: <unified-key>" \
  -H "Content-Type: application/json" \
  -d '{"contents": [{"role": "user", "parts": [{"text": "Paste the long text here"}]}]}'

Python: gửi tệp dài đến mô hình 1M ngữ cảnh

from openai import OpenAI

client = OpenAI(base_url="http://localhost:3001/v1", api_key="<unified-key>", timeout=300)

doc = open("annual-report.txt", encoding="utf-8").read()
print("about", len(doc) // 4, "tokens")  # rough rule for English text

resp = client.chat.completions.with_raw_response.create(
    model="gemini-2.5-flash",  # pin a 1M-context model; "auto" can pick a smaller one
    messages=[
        {"role": "system", "content": "Answer only from the document. Quote the section you use."},
        {"role": "user", "content": doc + "\n\nQuestion: What are the three largest risks?"},
    ],
    max_tokens=4000,
)
print("Routed via:", resp.headers.get("x-routed-via"))
print(resp.parse().choices[0].message.content)

Ghim một mô hình ngữ cảnh dài theo mã của nó. Với model: "auto", bộ định tuyến có thể chọn mô hình có cửa sổ ngữ cảnh nhỏ hơn. Đặt thời gian chờ phía client dài, vì prompt lớn cần thời gian để đọc.

Ngữ cảnh dài hay RAG?

Dùng ngữ cảnh dài khiDùng RAG khi
Tài liệu được đọc một lần, ví dụ một hợp đồng hoặc một báo cáoBạn hỏi nhiều câu về cùng một dữ liệu lớn
Câu trả lời cần toàn bộ văn bản, ví dụ một bản tóm tắt hoặc so sánh các phầnCâu trả lời nằm trong một vài đoạn ngắn
Văn bản nhỏ hơn giới hạn TPM của khóa miễn phí của bạnDữ liệu lớn hơn bất kỳ cửa sổ ngữ cảnh hoặc giới hạn TPM miễn phí nào
Bạn cần mô hình thấy thứ tự và cấu trúc của văn bảnBạn cần giữ mỗi yêu cầu nhỏ và nhanh

RAG chỉ gửi các phần liên quan của dữ liệu cùng mỗi câu hỏi. Nó dùng ít token hơn trên gói miễn phí. Đọc API LLM miễn phí cho RAG và API embedding miễn phí để thiết lập.

Điểm cần lưu ý và xử lý sự cố

  • Mất chi tiết: mô hình có thể bỏ sót dữ kiện ở giữa một prompt rất dài. Đặt câu hỏi sau tài liệu, và yêu cầu mô hình trích dẫn nguồn của nó.
  • Token suy nghĩ: các mô hình Gemini Flash có thể dùng token suy nghĩ ẩn từ ngân sách đầu ra. Đừng đặt max_tokens quá nhỏ.
  • Tệp PDF: FreeLLMAPI không chuyển đổi tệp PDF, DOCX hoặc XLSX. Tệp đính kèm nhị phân trả về lỗi 400. Hãy trích xuất văn bản trước, rồi gửi văn bản.
  • Làm sạch văn bản: loại bỏ tiêu đề trang, chân trang và mục lục lặp lại trước khi gửi tài liệu. Chúng tốn token và không thêm dữ kiện nào.
  • Prompt lặp lại: mỗi yêu cầu gửi lại toàn bộ tài liệu. Hãy hỏi nhiều câu trong một yêu cầu khi có thể.
Vấn đềNguyên nhânCách khắc phục
Lỗi 429 ở yêu cầu dài đầu tiênPrompt lớn hơn giới hạn TPMLàm prompt nhỏ hơn, hoặc dùng RAG
Lỗi 400 về độ dài ngữ cảnhYêu cầu được gửi đến mô hình có cửa sổ nhỏ hơnGhim mã mô hình từ bảng
Câu trả lời rỗng hoặc bị cắtmax_tokens quá nhỏ, hoặc phần suy nghĩ đã dùng hếtĐặt max_tokens lớn hơn
Hết thời gian chờMô hình cần thời gian để đọc promptĐặt thời gian chờ phía client từ 300 giây trở lên
Dùng tất cả các mô hình này qua một khóa duy nhất. FreeLLMAPI là bộ định tuyến mã nguồn mở, tự lưu trữ. Nó đặt tất cả các gói miễn phí này sau một endpoint duy nhất tương thích OpenAI, và tự chuyển sang nhà cung cấp khác khi một nhà cung cấp bị giới hạn tốc độ. Xem danh mục hoặc bắt đầu.

Câu hỏi thường gặp

Có API LLM miễn phí với ngữ cảnh 1 triệu token không?

Có. Các mô hình Gemini Flash trên gói miễn phí của Google AI Studio có cửa sổ ngữ cảnh khoảng 1 triệu token. Danh mục FreeLLMAPI có 56 ưu đãi mô hình miễn phí với 1M token trở lên.

Tôi có thể gửi 1 triệu token miễn phí trong một yêu cầu không?

Thường là không. Gói Gemini miễn phí trong danh mục cho phép 250,000 token mỗi phút, nên prompt lớn hơn sẽ gặp lỗi 429. Hãy lập kế hoạch cho vài trăm nghìn token cho mỗi yêu cầu.

Làm sao đếm token trước khi gửi prompt?

Gọi phương thức countTokens Gemini gốc qua FreeLLMAPI tại /v1beta/models/{model}:countTokens. Với văn bản tiếng Anh, khoảng 4 ký tự tạo thành một token.

LLM miễn phí nào có cửa sổ ngữ cảnh lớn nhất?

Bảng trên trang này sắp xếp các mô hình miễn phí theo kích thước ngữ cảnh, lớn nhất đứng đầu. Một số mô hình miễn phí đạt khoảng 1 triệu token. Cũng hãy đọc cột giới hạn miễn phí, vì giới hạn TPM quyết định kích thước thực tế của một yêu cầu.

Ngữ cảnh dài có tốt hơn RAG không?

Ngữ cảnh dài tốt hơn cho một tài liệu mà bạn đọc một lần. RAG tốt hơn cho nhiều câu hỏi trên dữ liệu lớn, vì mỗi lần nó gửi ít token hơn.

Hướng dẫn liên quan

Nguồn

Tất cả hướng dẫn · Xem tất cả mô hình miễn phí