Cách cắt giảm 30% chi phí AI API mà không cần thay đổi model

Hầu hết các nhóm đều đang trả quá nhiều tiền cho các lệnh gọi AI API. Không phải vì họ chọn sai mô hình, mà vì họ đang bỏ qua ba phương pháp tối ưu hóa đòi hỏi thay đổi mã nguồn tối thiểu: bộ nhớ đệm prompt (prompt caching), định tuyến mô hình thông minh (smart model routing) và xử lý theo lô (batch processing).

Dưới đây là phân tích chi tiết từng kỹ thuật với các con số thực tế, cùng với thứ tự thực hiện giúp tiết kiệm chi phí thực sự thay vì chỉ chuyển dịch ngân sách từ mục này sang mục khác.

Nếu bạn vẫn đang phân vân liệu sự kết hợp các nhà cung cấp hiện tại có phải là vấn đề hay không, hãy đọc bài so sánh giá trước. Nếu nỗi đau lớn nhất của bạn là các đợt thử lại (retry storms) hoặc bị nhà cung cấp giới hạn tốc độ (throttling) thay vì chi phí thuần túy, hãy kết hợp trang này với hướng dẫn giới hạn tốc độ.

Các điểm chính

• Prompt caching là cách hiệu quả nhất, giúp cắt giảm 40-75% chi phí đầu vào khi tiền tố prompt hệ thống của bạn ổn định qua các yêu cầu.
• Định tuyến mô hình thông minh gửi các tác vụ rẻ tiền đến các mô hình giá rẻ, thường tiết kiệm 30-50% tổng chi phí mà không làm giảm chất lượng.
• Batch API cung cấp mức giảm giá khoảng 50% cho các khối lượng công việc không khẩn cấp, bất đồng bộ như các tác vụ chạy đêm và gắn nhãn dữ liệu hàng loạt.
• Giá cả và danh mục mô hình thay đổi thường xuyên. Hãy kiểm tra các con số hiện tại so với trang định giá của OpenAI (quan sát ngày 07/07/2026) và danh mục mô hình của TokenLab (quan sát ngày 07/07/2026) trước khi chốt bảng định tuyến.
• Thêm khả năng hiển thị chi phí trước khi tối ưu hóa: ghi lại lộ trình, mô hình, token, số lần cache hit và số lần thử lại để bạn tối ưu hóa dựa trên dữ liệu, không phải trực giác.

1. Prompt Caching: Cách hiệu quả nhất

Nếu ứng dụng của bạn gửi cùng một prompt hệ thống với mỗi yêu cầu, bạn đang trả toàn bộ chi phí cho các token mà nhà cung cấp đã xử lý trước đó.

Cách thức hoạt động

OpenAI tự động lưu cache các prompt cho đầu vào trên 1.024 token, và các token được lưu cache sẽ được tính phí với mức chiết khấu so với đầu vào tiêu chuẩn, theo trang định giá của OpenAI (quan sát ngày 07/07/2026). Bạn không cần thay đổi bất cứ điều gì trong mã nguồn để nhận được lợi ích này.

Anthropic sử dụng bộ nhớ đệm rõ ràng thông qua các điểm ngắt cache_control. Việc ghi vào bộ nhớ đệm tốn kém hơn đầu vào tiêu chuẩn, nhưng đọc từ bộ nhớ đệm lại rẻ hơn rất nhiều. TTL của bộ nhớ đệm là 5 phút, được gia hạn mỗi khi có lượt truy cập.

Vì giá bộ nhớ đệm thay đổi giữa các thế hệ mô hình, hãy coi bất kỳ tỷ lệ chiết khấu cụ thể nào là một ảnh chụp nhanh, không phải quy tắc vĩnh viễn. Hãy kiểm tra trang định giá hiện tại của nhà cung cấp trước khi đưa các dự báo tiết kiệm vào tài liệu ngân sách.

Tính toán

Lấy ví dụ một bot hỗ trợ khách hàng điển hình:

• System prompt: 2.000 token
• Tin nhắn người dùng: trung bình 200 token
• 5.000 yêu cầu/ngày sử dụng mô hình suy luận tầm trung

Nếu không có bộ nhớ đệm:

Chi phí đầu vào hàng ngày = 5.000 × 2.200 token × $3,00/1M = $33,00

Với prompt caching (giả sử tỷ lệ cache hit là 95%):

Ghi cache: 250 × 2.200 × $3,75/1M = $2,06
Đọc cache: 4.750 × 2.200 × $0,30/1M = $3,14
Token người dùng: 5.000 × 200 × $3,00/1M = $3,00
Tổng hàng ngày = $8,20 (tiết kiệm khoảng 75% chi phí đầu vào)

Những con số này chỉ mang tính minh họa. Hãy lấy số liệu từ trang định giá hiện tại của nhà cung cấp và từ danh mục mô hình của TokenLab (quan sát ngày 07/07/2026), vì giá cho các dòng mô hình của cả OpenAI và Anthropic đều thay đổi theo lịch trình riêng.

Triển khai

from anthropic import Anthropic

client = Anthropic(
    api_key="sk-tokenlab-xxx",
    base_url="https://api.tokenlab.sh"
)

response = client.messages.create(
    model="claude-sonnet-5",
    max_tokens=1024,
    system=[
        {
            "type": "text",
            "text": "You are a customer support agent for Acme Corp...",
            "cache_control": {"type": "ephemeral"}  # Kích hoạt caching
        }
    ],
    messages=[{"role": "user", "content": user_message}]
)

# Kiểm tra hiệu suất cache trong header phản hồi
# cache_creation_input_tokens so với cache_read_input_tokens

Đối với các mô hình OpenAI, việc lưu cache là tự động. Chỉ cần đảm bảo prompt của bạn vượt quá 1.024 token và giữ tiền tố tĩnh nhất quán qua các yêu cầu.

Những sai lầm thường gặp của các nhóm:

• đặt dấu thời gian hoặc ID yêu cầu ở đầu mỗi prompt
• thay đổi thứ tự các hướng dẫn hệ thống trong mỗi lần gọi
• nhúng ngữ cảnh người dùng thay đổi trước tiền tố ổn định

Nếu tiền tố thay đổi mỗi lần, bộ nhớ đệm sẽ không bao giờ phát huy tác dụng. Hãy coi cấu trúc prompt là một yếu tố chi phí cơ bản, không chỉ là chi tiết kỹ thuật prompt.

2. Định tuyến mô hình thông minh: Sử dụng đúng mô hình cho từng tác vụ

Không phải yêu cầu nào cũng cần mô hình đắt tiền nhất. Một tác vụ phân loại mà mô hình hàng đầu như GPT-5.5 hoặc Claude Opus 4.8 xử lý với giá vài đô la mỗi triệu token đầu vào thường hoạt động tốt trên một mô hình nhỏ hơn trong cùng dòng, hoặc trên một mô hình giá rẻ như DeepSeek V4 Flash hoặc Gemini 3.5 Flash với chi phí chỉ bằng một phần nhỏ.

Chiến lược định tuyến

Loại tác vụ	Tầng mô hình khuyến nghị	Ghi chú
Suy luận phức tạp	Mô hình suy luận hàng đầu (ví dụ: GPT-5.5, Claude Opus 4.8)	Chi phí cao nhất, dành cho các trường hợp khó
Chat chung	Mô hình chat tầm trung (ví dụ: Claude Sonnet 5)	Cân bằng tốt cho hầu hết các cuộc hội thoại
Phân loại, trích xuất	Tầng mô hình giá rẻ (ví dụ: DeepSeek V4 Flash, Gemini 3.5 Flash)	Thường rẻ hơn 5-10 lần so với mô hình hàng đầu
Embeddings	Mô hình embedding nhỏ	Chi phí mỗi token rẻ nhất
Định dạng đơn giản	Mô hình mã nguồn mở ngân sách (ví dụ: DeepSeek V4 Flash, GLM-5.2)	Hữu ích cho các tác vụ khối lượng lớn, rủi ro thấp

Giá chính xác cho mỗi token thay đổi thường xuyên giữa các nhà cung cấp, vì vậy đừng hardcode bảng giá vào logic ứng dụng của bạn. Thay vào đó, hãy lấy giá hiện tại từ trang định giá của OpenAI (quan sát ngày 07/07/2026) hoặc kiểm tra danh sách đa nhà cung cấp trên danh mục mô hình của TokenLab (quan sát ngày 07/07/2026) trước khi hoàn thiện cấu hình định tuyến.

Triển khai

from openai import OpenAI

client = OpenAI(
    api_key="sk-tokenlab-xxx",
    base_url="https://api.tokenlab.sh/v1"
)

def route_request(task_type: str, messages: list) -> str:
    """Chọn mô hình rẻ nhất xử lý tốt tác vụ này."""
    model_map = {
        "classification": "deepseek-v4-flash",
        "extraction": "deepseek-v4-flash",
        "summarization": "deepseek-v4-flash",
        "complex_reasoning": "gpt-5.5",
        "creative_writing": "claude-sonnet-5",
        "code_generation": "claude-sonnet-5",
    }
    model = model_map.get(task_type, "deepseek-v4-flash")

    response = client.chat.completions.create(
        model=model,
        messages=messages
    )
    return response.choices[0].message.content

Xác minh các định danh mô hình này với danh mục mô hình của TokenLab (quan sát ngày 07/07/2026) trước khi triển khai, vì ID mô hình chính xác và các tầng giá rẻ thay đổi khi các nhà cung cấp phát hành phiên bản mới.

Tiết kiệm thực tế

Một trợ lý lập trình định tuyến 60% yêu cầu (linting, định dạng, hoàn thiện đơn giản) đến mô hình giá rẻ và 40% (kiến trúc, gỡ lỗi) đến mô hình tầm trung như Claude Sonnet 5:

Trước (tất cả dùng mô hình tầm trung):
  1.000 yêu cầu/ngày × 3K đầu vào × $3,00/1M = $9,00/ngày

Sau (chia tỷ lệ 60/40):
  600 yêu cầu × 3K × $0,40/1M = $0,72/ngày (mô hình giá rẻ)
  400 yêu cầu × 3K × $3,00/1M = $3,60/ngày (tầm trung)
  Tổng = $4,32/ngày (tiết kiệm 52%)

Tỷ lệ phân chia quan trọng hơn tên mô hình cụ thể. Ngay cả khi giá cả thay đổi, việc phân chia định tuyến 60/40 hoặc 70/30 được thiết kế tốt vẫn mang lại phần lớn khoản tiết kiệm, miễn là tầng giá rẻ đáp ứng được tiêu chuẩn chất lượng của bạn.

3. Xử lý theo lô: Chiết khấu qua đêm

Nếu một khối lượng công việc không cần phản hồi trong vài giây, nó không nên trả giá theo thời gian thực. OpenAI, Anthropic và một số nhà cung cấp mô hình mở cung cấp các endpoint theo lô (batch) xử lý yêu cầu bất đồng bộ, thường trong vòng 24 giờ, với chi phí mỗi token chỉ bằng khoảng một nửa so với các lệnh gọi đồng bộ.

Các ứng cử viên tốt cho xử lý theo lô:

• tác vụ tóm tắt hoặc gắn thẻ chạy đêm
• gắn nhãn và làm giàu dữ liệu hàng loạt
• lấp đầy embedding cho một kho dữ liệu mới
• tạo dữ liệu đào tạo hoặc đánh giá để sử dụng nội bộ

Các ứng cử viên tồi cho xử lý theo lô: bất cứ thứ gì người dùng đang chờ đợi trong phiên trực tiếp. Batch là sự đánh đổi về độ trễ, không phải chất lượng, vì vậy đừng áp dụng nó cho các đường dẫn yêu cầu mà người dùng mong đợi phản hồi ngay lập tức.

4. Giảm token: Cắt tỉa trước khi định tuyến

Trước khi định tuyến bất cứ thứ gì, hãy kiểm tra xem bạn có đang gửi nhiều token hơn mức cần thiết cho tác vụ hay không. Các nguồn lãng phí phổ biến:

• prompt hệ thống dài dòng lặp lại các hướng dẫn mà mô hình đã tuân thủ tốt
• toàn bộ lịch sử hội thoại được gửi trong mỗi lượt thay vì bản tóm tắt cuộn
• các ví dụ few-shot quá khổ có thể được cắt tỉa hoặc thay thế bằng tham chiếu ngắn hơn
• đầu ra công cụ thô (logs, JSON, HTML) được dán vào mà không qua lọc thay vì được phân tích cú pháp trước

Giảm token là nỗ lực thấp và có thể cộng dồn với caching và định tuyến. Hãy thực hiện bước này trước vì nó làm giảm cơ sở mà bạn đang tối ưu hóa mọi thứ khác dựa trên đó.

5. Thứ tự thực hiện

Các kỹ thuật này cộng hưởng với nhau, nhưng thứ tự bạn áp dụng sẽ thay đổi mức độ tiết kiệm và rủi ro:

1. Cắt tỉa token và ổn định tiền tố prompt trước, để caching có thể hoạt động hiệu quả.
2. Định tuyến phân loại, trích xuất và tóm tắt ngắn đến tầng mô hình rẻ hơn như DeepSeek V4 Flash hoặc Gemini 3.5 Flash.
3. Dành riêng mô hình cao cấp cho các trường hợp leo thang, suy luận phức tạp hoặc tổng hợp câu trả lời cuối cùng.
4. Đẩy các tác vụ tóm tắt qua đêm và lấp đầy dữ liệu sang batch.
5. Xem xét nhật ký hàng tuần để tìm các lộ trình có cấu trúc prompt bị lệch làm giảm hiệu quả cache.

Cách triển khai đó không đòi hỏi phải viết lại toàn bộ. Nó đòi hỏi một tuần đo lường và sự sẵn sàng coi prompt và định tuyến là các bề mặt sản xuất.

6. Những điều không nên làm

Cách nhanh nhất để lãng phí nỗ lực tối ưu hóa chi phí là tối ưu hóa sai thứ tự.

Tránh các bẫy sau:

• chuyển đổi nhà cung cấp trước khi đo lường sự lãng phí prompt
• định tuyến các tác vụ rẻ tiền đến mô hình rẻ tiền mà không xác thực chất lượng đầu ra
• kích hoạt caching trên các prompt có tiền tố thay đổi trong mỗi yêu cầu
• xử lý theo lô các tác vụ hướng tới người dùng thực sự cần phản hồi thời gian thực
• chỉ nhìn vào giá token mà bỏ qua chi phí thử lại, độ trễ và dự phòng

Công việc tối ưu hóa chi phí thành công khi sản phẩm vẫn hoạt động tốt sau khi đã tiết kiệm được tiền. Nếu trải nghiệm người dùng tệ đi, chiến thắng trên bảng tính là giả tạo.

Câu hỏi thường gặp

Việc cắt giảm 30% chi phí AI API có làm giảm chất lượng đầu ra không? Không, nếu bạn thực hiện đúng thứ tự. Loại bỏ lãng phí token và sửa lỗi caching không ảnh hưởng đến chất lượng vì mô hình vẫn nhận được các hướng dẫn hiệu quả như cũ. Định tuyến mô hình mang lại một số rủi ro nếu bạn định tuyến một tác vụ đến tầng không thể xử lý được, vì vậy hãy xác thực chất lượng đầu ra trên một mẫu trước khi triển khai rộng rãi. Xử lý theo lô không ảnh hưởng đến chất lượng, chỉ là sự đánh đổi về độ trễ.

Tôi có cần chuyển đổi nhà cung cấp để cắt giảm chi phí không? Thường là không cần ngay lập tức. Hầu hết các nhóm tìm thấy nhiều khoản tiết kiệm hơn trong cấu trúc prompt, caching và định tuyến hơn là chuyển đổi nhà cung cấp. Nếu bạn đã áp dụng cả ba kỹ thuật và vẫn trả quá nhiều, thì đáng để so sánh giá giữa các nhà cung cấp bằng cách sử dụng tài nguyên như danh mục mô hình của TokenLab (quan sát ngày 07/07/2026), liệt kê giá hiện tại của nhiều mô hình, bao gồm GPT-5.5, Claude Sonnet 5 và các tùy chọn mã nguồn mở như GLM-5.2 và DeepSeek V4 Flash, tại một nơi duy nhất.

Làm thế nào để biết prompt caching có thực sự hoạt động không? Kiểm tra metadata phản hồi trong mỗi lệnh gọi. Cả OpenAI và Anthropic đều trả về số lượng token liên quan đến cache (cache_creation_input_tokens, cache_read_input_tokens hoặc các trường tương tự tùy thuộc vào SDK). Nếu số lần đọc cache gần bằng 0 qua hàng ngàn yêu cầu, tiền tố của bạn có thể đang thay đổi giữa các lần gọi, thường là do dấu thời gian, ID yêu cầu hoặc các hướng dẫn bị thay đổi thứ tự nằm trước phần ổn định của prompt.

Tổng kết

Kỹ thuật	Nỗ lực	Tiết kiệm điển hình
Prompt caching	Thấp (thêm cache_control)	40-75% trên đầu vào
Định tuyến mô hình	Trung bình (phân loại tác vụ)	30-50% tổng thể
Xử lý theo lô	Trung bình (quy trình bất đồng bộ)	50% trên các tác vụ batch
Giảm token	Thấp (cắt tỉa prompt)	10-30% trên đầu vào

Các kỹ thuật này cộng hưởng với nhau. Một nhóm triển khai cả bốn có thể cắt giảm hóa đơn API hàng tháng từ vài nghìn đô la xuống còn dưới một nửa, mà không làm giảm chất lượng đầu ra. Mức tiết kiệm chính xác phụ thuộc vào lưu lượng truy cập và nhà cung cấp hiện tại của bạn, vì vậy hãy coi các phạm vi này là ước tính ban đầu thay vì đảm bảo. Xác minh giá hiện tại cho bất kỳ mô hình nào bạn định tuyến đến trên trang định giá của OpenAI hoặc danh mục mô hình của TokenLab trước khi hoàn thiện dự báo ngân sách.

Thông tin quan trọng: tối ưu hóa chi phí trong AI API không phải là tìm nhà cung cấp rẻ hơn trước. Đó là việc sử dụng đúng mô hình, ở đúng tầng giá, với chiến lược caching phù hợp cho từng tác vụ cụ thể. So sánh nhà cung cấp là bước cuối cùng, không phải bước đầu tiên.

Nếu bạn đang sử dụng nhiều nhà cung cấp, khía cạnh vận hành cũng rất quan trọng. Hướng dẫn di chuyển và so sánh OpenRouter giúp quyết định khi nào nên tập trung hóa định tuyến thay vì tiếp tục vá các tích hợp riêng biệt.

---

Bắt đầu ngay hôm nay: TokenLab cung cấp cho bạn quyền truy cập vào hơn 300 mô hình thông qua một API key, bao gồm GPT-5.5, Claude Sonnet 5 và các tùy chọn mã nguồn mở như DeepSeek V4 Flash và GLM-5.2, với hỗ trợ prompt caching trên các dòng mô hình OpenAI và Anthropic, cùng một nơi để so sánh mức sử dụng và giá cả giữa chúng.