AI 模型路由基準測試：單次任務成本優於單一 token 成本

每 Token 成本告訴你模型收費多少，而不是完成一項工作實際需要多少成本。圍繞「每任務成本」建立的 AI 模型路由基準測試，衡量的是達到正確、可用輸出所需的總支出，包括重試次數、上下文長度以及輸出冗長度，這才是真正會出現在你帳單上的數字。

關鍵要點

• 每 Token 成本忽略了重試、冗長度和失敗的完成情況，而這些都會改變任務的實際價格。
• 每任務成本對輸出長度和成功率進行了標準化，使跨模型比較變得有意義。
• 根據任務類型而非最低標價來選擇模型的路由邏輯，通常比切換到單一「廉價」模型更能降低總支出。
• 對自己的工作負載進行基準測試，勝過信任供應商發布的費率表，因為程式編碼、影片和圖像任務具有不同的失敗和重試概況。

為什麼每 Token 成本是錯誤的指標

Token 定價是經濟學家喜愛、產品團隊卻誤用的單位。一個每百萬輸入 Token 定價為 $0.15 的模型看起來比 $0.50 的模型便宜，但這種比較只有在兩個模型產生相同的輸出長度且第一次嘗試就成功時才成立。

在實踐中，這種情況很少發生。一個冗長、用解釋性文字填充答案的模型，即使被問及相同的問題，其消耗的輸出 Token 也可能是簡潔模型的 3 倍。在多步驟程式編碼任務中，推理上限較低的模型通常需要兩到三次重試才能獲得可編譯的結果，而每次重試都會重新發送完整的上下文視窗。Fireworks AI 的部落格在比較吞吐量優化與準確度優化的模型變體時，多次記錄了這種模式，並指出一旦考慮到重試率，原始 Token 價格與有效任務價格就會出現分歧（fireworks.ai/blog，觀察於 2026-07-07）。

結果是：純粹根據列出的 Token 費率選擇模型的團隊，最終每個已完成任務支付的費用，往往高於根據任務成功率選擇模型的團隊，因為失敗的嘗試仍然會消耗 Token 並增加由延遲引起的工程開銷。

每任務成本實際衡量的是什麼

每任務成本是一個衍生指標：

每任務成本 = (輸入 Token x 輸入費率 + 輸出 Token x 輸出費率) x 平均成功嘗試次數

「平均成功嘗試次數」這一項是 Token 費率比較完全忽略的部分。它要求你定義什麼對你的工作負載而言是「成功」；例如通過測試套件、符合 JSON 架構、渲染出可用的圖像，或達到影片生成的品質門檻。

這就是為什麼直接的費率比較（例如你從通用的 定價比較 中獲得的那種）只是一個起點，而不是最終答案。它告訴你每個供應商對每個 Token 收取多少費用。它不會告訴你你的特定任務類型平均需要多少 Token，或者給定模型需要進行第二次嘗試的頻率。

基準測試設置：跨任務類型比較模型

一個有用的路由基準測試會按任務類別區分工作負載，因為它們之間的失敗模式和冗長度差異很大。

任務類型	主要成本驅動因素	典型失敗模式	在哪裡查看當前模型
程式碼生成	編譯/測試失敗的重試率	邏輯錯誤、函數不完整	最佳程式編碼 AI 模型
長篇文本	輸出 Token 冗長度	填充內容、偏離主題	OpenRouter 比較
圖像生成	單張圖像固定費率 vs. 解析度分級	提示詞誤解、需要重新生成	最佳圖像生成 AI 模型
影片生成	每秒渲染成本	需要重新渲染的偽影	最佳影片生成 AI 模型

對於文本和程式碼任務，請針對從你自己的日誌中提取的一組固定代表性提示詞來運行每個候選模型，而不是使用通用的基準測試套件。追蹤每個模型的三個數字：平均輸入 Token、平均輸出 Token 以及第一次嘗試的成功率。使用當前發布的費率（你應該直接驗證，因為供應商之間的定價變化頻繁）代入上述公式進行計算。TokenLab 模型目錄在一個地方列出了各個供應商的當前費率和上下文視窗，這對於在運行自己的測試之前獲取基準數字非常有用（tokenlab.sh/en/models，觀察於 2026-07-07）。

對於圖像和影片任務，計算更簡單，因為定價通常是按輸出單位而非按 Token 計算，但原則相同：一個每張圖像價格較低但因提示詞誤讀而導致重新生成率較高的模型，其每個被接受的輸出成本可能更高。

降低每任務成本的路由策略

一旦你擁有了幾個模型的每任務成本數字，路由決策就會變得機械化，而不是選擇偏好供應商的問題。

按任務類別路由，而不是按預設模型路由。即使在同一個供應商的產品線中，程式編碼任務和長篇寫作任務也有不同的最佳模型。如果一個路由將所有內容發送到一個預設模型，而該模型對於簡單任務來說配置過高，對於複雜任務來說配置不足，那麼這就是在浪費成本。

為每種任務類型設定重試預算。如果某種任務類型的首次嘗試成功率低於你的門檻，請限制重試次數，並回退到更強大、更昂貴的模型，而不是在廉價模型上無限期重試。在廉價模型上三次失敗的嘗試，成本可能高於在昂貴模型上一次成功的嘗試。

在冗長度無法增加價值的地方限制輸出長度。對於 JSON、程式碼差異或 API 回應等結構化輸出，請限制最大 Token 數或使用指示簡潔輸出的系統提示詞。這可以直接在不更改模型的情況下，減少每任務成本公式中的輸出 Token 項。

每季進行一次基準測試。供應商定價和模型版本更新頻繁，六個月前調整的路由配置可能不再反映每任務的最便宜路徑。即時的 模型排行榜 視圖可以讓你更容易發現新模型何時改變了給定類別的每任務成本排名。

檢查清單：評估模型路由器的每任務成本

在提交路由配置之前，請使用此清單：

• 直接從供應商處獲取當前的 Token/輸出費率，而不是憑記憶或舊的比較文章
• 每個任務類別至少在每個候選模型上運行 20 個代表性提示詞
• 記錄每個模型、每個任務類型的平均輸入 Token、平均輸出 Token 和首次嘗試成功率
• 使用重試調整後的公式計算每任務成本，而不是原始 Token 費率
• 為每個任務類別設定重試上限，並定義回退模型
• 為結構化或簡答任務類型限制最大輸出 Token
• 排定定期審查（每月或每季），隨著模型和價格更新重新檢查排名

證據邊界

當模型路由研究結合三種證據類型時最為有力。公開的模型目錄和官方定價頁面告訴你某個時間點的單位價格和可用性。獨立的效能來源（如 Artificial Analysis）有助於揭示速度、延遲和廣泛的品質訊號。路由器研究（包括 RouteLLM）解釋了為什麼路由策略可以在保持可接受品質的同時降低成本，但它仍然取決於工作負載特定的標籤和評估數據。

不要將發布的路由結果直接複製到你自己的堆疊中作為通用的節省估計。真正的節省來自於你的提示詞組合、成功定義、重試預算和回退策略。客戶支援分類器、程式編碼代理和影片作業編排器都有不同的失敗成本。將此處引用的來源視為你自己的基準測試設計的腳手架：它們解釋了要測量什麼，而你的日誌和評估集決定了哪個模型真正勝出。

常見問題

每 Token 價格較低是否總是意味著每任務成本較低？ 不。重試率和輸出冗長度可以完全抵消較低的 Token 價格。一個每 Token 定價較高但首次嘗試成功率較高且輸出風格較簡潔的模型，通常每個已完成任務的成本更低。在假設較便宜的費率獲勝之前，請使用你自己的提示詞測試兩者。

在信任每任務成本數字之前，我需要多少測試提示詞？ 沒有固定規則，但每個任務類別少於 15-20 個提示詞往往會產生雜訊較大的成功率估計，特別是對於通過/失敗為二元的程式編碼任務。對於難度可變的任務類型，較大的樣本量更為重要。

為了簡單起見，我應該將所有內容都通過一個供應商路由嗎？ 簡單性也有成本，但碎片化也有成本。使用 OpenRouter 比較 和 定價比較 頁面等資源直接比較供應商，然後決定對於你的特定任務組合，多供應商路由是否值得額外的整合工作。對於在程式碼、文本、圖像和影片生成方面運行大量任務的團隊來說，跨供應商的基於任務的路由通常比單一供應商預設更常見。

---

若要在一處查看各供應商的當前費率、上下文視窗和特定任務排名，請在運行自己的每任務成本測試之前，開始使用 TokenLab 模型目錄。

運行基準測試後，請將你的結果與業界進行比較。瀏覽模型排行榜，查看你選擇的模型在當前定價和效能數據上的排名。