TokenLab Fusion：來自 DRACO Weighted-100 研究數據集的證據

研究狀態說明：TokenLab Fusion：這是一項「配方驗證」（proof-of-recipe）的歷史性強基準研究結果，而非生產環境聲明。結果是使用 premium Gemini anchor 產生的；目前尚待進行 no-premium canary 運行以及最終的 Fusion-only 重跑，以確認在沒有 premium 依賴的情況下是否具有可重現性。DRACO weighted-100 是 TokenLab 內部的專有評估指標，並非外部或標準化基準。請據此解讀。

摘要

本報告記錄了 TokenLab Fusion 的當前實證狀態，這是一個多模型推理時（inference-time）編排系統，針對固定的加權 100 項多領域研究套件（DRACO weighted-100 研究清單，涵蓋金融、購物/產品比較、學術、技術、通用知識、UX 設計、法律、醫學、大海撈針（Needle-in-a-Haystack）及個人助理任務）進行了評估。核心研究問題不在於模型集合能否在基準測試的某個切片中獲得比單一模型更高的總分，而在於是否可以將一套嚴謹的配方（小組構成、合成、具備評分標準意識的驗證、證據來源及成本核算）組織成一個可重現、可審計且可升級的系統，使其在各個領域（而不僅僅是在有利的子集上）都能超越強大的單一模型基準。

迄今為止最強有力的證據來自加權 100 項研究運行，這是一項針對固定 100 項任務的 DRACO 資料集，與 gpt-5.5 和 claude-opus-4-8 進行的配對基準評估。TokenLab Fusion 的平均得分為 86.04，相較於 gpt-5.5 的配對平均增量為 +32.60（勝/負/平為 95/4/1，成本為 0.71x，每美元得分為 2.26x），相較於 claude-opus-4-8 的配對平均增量為 +45.63（勝/負/平為 97/2/1，成本為 0.69x，每美元得分為 3.06x）。這些數據強勁、配對且針對固定清單具有可重現性，但它們帶有兩個重要的限定條件，本報告將其視為一級發現而非註腳：獲勝配方使用了歷史性的 premium Gemini Pro 模型（gemini-3.1-pro-preview）作為其合成/評判/驗證 anchor，且系統的發布就緒狀態仍需進行最終的 Fusion-only 重跑，結果才能被視為完整。本報告的其餘部分將強基準研究運行中已證實的內容與在生產聲明前仍受限的內容分開，並列出了仍需的具體證據（最迫切的是 no-premium-Gemini canary），以縮小該差距。

1. 研究範圍與目標

TokenLab Fusion 在此定義為跨多個上游模型的推理時編排，而非經過訓練的權重合併模型。單個請求會被路由通過多個模型角色（小組成員、合成器、驗證器、評判員、審查員、工具所有者），配方控制了輸出如何生成、比較、重寫及返回。這更接近於可驗證的多模型生產配置，而非無狀態的集合投票；它在結構上與 Mixture-of-Agents 和 LLM-Blender 有血緣關係，儘管下文描述的配方選擇和成本核算機制超越了上述兩者。

評估目標是加權 100 項研究套件：一組固定的多領域、證據密集、嚴格按評分標準評分的任務。該研究計畫明確拒絕弱基準比較。唯一接受的基準是 gpt-5.5 和 claude-opus-4-8，且兩者均被嚴格排除在 Fusion 小組、合成、評判、驗證及工具所有者角色之外；若以基準模型污染小組，將使任何「更便宜的多模型配方擊敗強大單一模型」的聲明失效。

本文引用的模型識別碼——gpt-5.5、claude-opus-4-8、gemini-3.1-pro-preview、deepseek-v4-pro 和 glm-5.2——均為 TokenLab Fusion 平台的邏輯模型 ID 和研究基準 ID，擷取自 2026-07-07 觀察到的 TokenLab 模型單一事實來源（SSOT）快照。這些識別碼代表內部路由和評估標籤，而非獨立、公開審計的排行榜，且不聲稱這些名稱與任何外部供應商的公開發布命名一一對應。諸如 gpt-5.5 和 claude-opus-4-8 等識別碼是來自 TokenLab SSOT 的內部基準和路由標籤，不應被解釋為公開的供應商模型版本名稱。因此，本文中的強基準比較不應被解讀為完整的生產就緒聲明：no-premium-Gemini canary 評估和剩餘的 Fusion-only 重跑尚未完成，仍需進一步驗證。此處呈現的結果代表特定時間點的研究比較，而非最終或完全驗證的生產基準結果。

兩條產品線共享此研究基礎設施，但在配方上有所不同：深度研究線（以證據為基礎、檢查來源充分性、驗證器密集）和編碼代理線（工具執行密集、對延遲敏感、仍處於 Phase-0 前階段）。本報告主要關注深度研究線，因為這是目前存在針對強基準配對證據的領域。

2. 為何採用固定的 100 項任務清單

單一切片的基準運行無法支持配方決策。100 項任務清單的存在是為了同時服務六項不同的工程功能：跨領域配方選擇（避免對某個幸運切片過度擬合）、路由器策略訓練數據、模型角色分配證據、成本/品質/延遲曲線構建、用於回歸測試和未來模型升級 canary 的失敗庫，以及一個無需在每次上游模型變更時都進行完整重跑的可重用分層回歸集。

在報告實驗中使用的清單是 weighted-100-v1，這是一個具有固定任務集雜湊值（b08a09aacbc76c5e5aafd5ca0a6fa614a5061bc478f905007ae5aee4a93fc43a）的確定性加權切片。其領域加權並不均勻：金融（20）、購物/產品比較（16）、學術（12）、技術（10）、通用知識（9）、UX 設計（9）、法律（6）、醫學（6）、大海撈針（6）、個人助理（6）。這種分布很重要，因為 Fusion 的收益取決於領域，特別是金融領域存在最持續的公開風險（第 6 節）。

DRACO weighted-100 是 TokenLab 內部的研究資料集，僅用於本報告的 TokenLab Fusion 評估管線。它不是外部、公開維護的基準，且不隸屬於、認可或取自任何第三方基準套件。加權 100 項清單（包括其項目抽樣、類別加權方案和來源元數據）由私有的 TokenLab 來源映射管理，未隨本文發布。因此，報告的得分應被解讀為 TokenLab 評估方法特有的內部比較信號，而非可與公開排行榜或社群基準比較的得分。讀者不應假設 DRACO weighted-100 的結果可以推廣到任何其他具有類似名稱或結構的資料集，或與之交叉參考。

3. 方法論

研究循環以證據為先：每一項強有力的聲明都必須可追溯至固定的清單、任務 ID、領域權重、運行時設置、原始結果文件、成本行和基準行。沒有這些產物的匯總摘要數字不被視為證據。

四項方法論承諾最為重要。

共享證據而非不透明的原生搜尋

搜尋、獲取和閱讀工具會產生測試模型之外的證據包，且在可行情況下，該證據包會同時提供給小組和基準模型。這將「模型是否能良好推理和合成」與「模型是否恰好搜尋得好」分開，這是加權 100 項研究套件驗證運行、強基準比較、模型升級 canary 和最終重跑的嚴格要求。

角色分離的成本核算

在啟用基準的運行中，總成本列混合了 Fusion 調用和基準調用；直接使用它會誇大或低估 Fusion-only 的成本聲明。加權 100 項研究運行分析明確排除了基準和基準得分行，以得出 799 個成本行中 Fusion-only 的官方總額 $12.837461。這種區分（角色分離的成本行而非混合總額）是本報告中每一項成本調整後品質聲明的基礎。

配對比較而非非配對平均值

Fusion 和基準輸出在相同的任務 ID 上進行比較，結果報告為平均增量、自助法（bootstrap）置信區間、符號檢定 p 值、勝/負/平計數、成本乘數、延遲乘數和失敗率增量。具有不同任務覆蓋範圍的非配對平均值不被接受為證據。

可恢復、分片執行

加權 100 項研究運行執行為十個分片，每個分片十個任務，然後匯總成一個證明產物。最終的 Fusion-only 重跑（第 6 節）使用相同的分階段、可恢復模式。

方法維度	所用方法	基本原理
任務選擇	固定加權 100 項任務清單，雜湊處理	防止挑選切片，實現重跑
證據來源	共享、可重現的證據包	將推理品質與搜尋運氣隔離
基準隔離	gpt-5.5, claude-opus-4-8 從小組/合成/評判/驗證中排除	防止基準污染 Fusion 聲明
成本核算	角色分離行；Fusion-only 總額排除基準調用	避免混合成本導致的成本/美元失真
比較設計	配對、相同任務 ID、自助法 CI、符號檢定	控制領域和樣本變異
執行	分片、可恢復運行器	實現部分進度追蹤和分階段重跑
評分	基於評分標準的驗證器/評判員評分	實現驗證器消融和得分分解

TokenLab Fusion 通過自動化評分管線評估模型輸出，將多個指標信號匯總為綜合得分。在此階段，評分規則以程式化方式應用，無需人工審查。此方法的公開人工審計或評分者間一致性數據尚未發布；報告結果僅反映自動化評估，尚待獨立驗證。

數據可用性

本研究底層的清單雜湊值、成本行、原始結果文件、模型單一事實來源快照和來源映射保留在 TokenLab 的內部研究檔案中。這些材料受存取限制，未隨本文發布。因此，在發布底層數據的脫敏樣本或公開子集之前，公開的可重現性受到限制。

4. 配方演進：增加模型並非槓桿

一個早期且重要的發現是負面的：在小組中增加更多模型並不能可靠地提高品質，且不能假設會這樣。配方是通過一系列受控消融（ablations）演進的，而不是通過擴大面板規模。

快速核心作為對照組

一個低成本、多樣化、穩定的三模型小組（gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning）作為成本/延遲對照條件，用以衡量每一次添加和每一次驗證器變體。

具體低成本模型組合

TokenLab Fusion 是一個推理時的編排層，而非權重合併模型：它協調對多個現有模型的調用，並在運行時組合它們的輸出。為具體說明，基準模型 gpt-5.5 和 claude-opus-4-8 被排除在所有 Fusion 角色（面板、綜合、評審、驗證、審閱及工具擁有者）之外，以確保所報告的增益不會歸因於這些基準模型在管道內部進行了隱藏工作。

預設配置為一個由三個模型並行運行的快速、低成本控制面板，並可選擇性加入第四個以品質模式評估的面板成員、一個作為歷史上限驗證的錨點模型，以及一個尚待配對證據的無溢價候選模型。

角色	模型	狀態
快速低成本控制面板	gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning	預設低成本測試面板
品質補充候選	kimi-k2.7-code	作為第四位面板成員評估；未被採用 — 增加延遲，且在某些領域與驗證器配合時出現回歸
歷史驗證錨點	gemini-3.1-pro-preview	用於強基準配方中的綜合/評審/驗證/修訂；用於證明效能上限，不是預期的產品成本路徑
無溢價候選模型	deepseek-v4-pro (綜合/驗證/修訂), glm-5.2 (獨立評審)	預期成本路徑；待配對候選證據

編排過程採用固定序列而非隨機的模型調用：

1. 建立一份共享證據包，確保每位面板成員皆基於相同的上下文進行推理。
2. 讓低成本面板成員針對該證據包進行並行運算。
3. 將面板輸出標準化為通用格式以便比較。
4. 執行面板分析以呈現共識、衝突及缺失的證據。
5. 綜合單一答案，隨後運行具備評分標準意識的驗證器，若驗證器標記問題則進行一次修訂。
6. 對最終答案進行評分/評審，並由單一指定的工具擁有者執行工具 — 面板成員絕不直接執行工具。

kimi-k2.7-code 的結果以及待定的 deepseek-v4-pro/glm-5.2 候選模型數據將與預設面板數據分開報告，以避免將已評估但已評估但未採用的配置與預期的產品成本配方混淆。

Kimi 添加：一個真實但邊緣的信號

一項添加編碼/多樣性模型到快速核心的 20 項任務試點產生了平均得分 34.36，而快速核心為 31.37（配對增量 +2.99，95% CI -0.04 至 6.10，勝/負/平 11/6/3，成本 ~1.01x，延遲 ~1.57x）。CI 跨越零且符號檢定 p 值為 0.3323，意味著這不足以證明將此添加作為延遲敏感的預設是合理的；它在某些學術、醫學和技術任務上也出現了回歸。得出的結論是角色特定的：這類模型更適合作為編碼/前端/長上下文專家，而非通用型常駐小組成員。

GLM 和 DeepSeek Pro 的添加需要角色，而非全面納入

GLM 的添加在小切片上僅產生約 +1.22，成本為 1.49x，延遲為 1.85x，這是對評判/合成/編碼審查員角色的有用證據，但不足以證明預設小組推廣的合理性。DeepSeek V4 Pro 的評估在價格修正（輸入 $0.435，輸出 $0.87 每 1M token）後發生了實質性變化，這使早期的「太昂貴」判斷失效，並將其提升為低成本配方中合成/驗證器角色的領先候選者（第 6 節）。DeepSeek V4 Pro 的價格修正源自 2026-07-07 觀察到的內部模型 SSOT，構成研究成本假設，而非引用外部供應商發布的價格。

驗證器/重寫是發現的最大單一槓桿

在 20 項任務擴展中，向快速核心添加具備評分標準意識的驗證器/重寫階段，產生了平均得分 81.70，而單獨的快速核心為 29.88，配對增量為 +51.81（95% CI 42.64 至 61.23），勝/負/平 20/0/0，成本為 2.14x，延遲為 1.89x。這不是增量改進；這是配方能力結構上的轉變。它也不是免費的：成本乘數在一次分析中超過了 2.0x 的自動保留閾值，這意味著對於研究深度層級而言明確值得的結果，對於快速/廉價產品層級而言是一個現實的限制。更便宜的替代方案經過測試並被拒絕作為預設：輕量級審查/輕量級堆疊變體相較於完整驗證損失了約 28 分，且輸掉了每一次配對比較；基於弱領域啟發式的選擇性驗證僅節省了約 11% 的成本，同時損失了 -8.53 的平均得分，而高風險選擇性變體損失更多。因此，選擇性驗證仍然是一個開放的路由研究問題，而非已解決的成本降低技術。

5. 強基準結果：已證實的內容

加權 100 項強基準研究運行是該計畫中最有力的證據產物。它將 gpt-5.5 和 claude-opus-4-8 作為僅基準比較器，排除在所有 Fusion 角色之外。

Fusion-only 在 100 項任務中的匯總：

指標	數值
平均得分	86.04
官方總成本	$12.837461
官方平均成本	$0.128375
平台總成本	$6.568959
每官方美元得分	670.21
失敗調用	0
失敗率	0.0%
平均調用延遲	216.4s
成本行	799
匯總回退任務	0

報告的 670.21 數值表示 Fusion-only 原始平均得分除以 Fusion-only 官方平均成本，而 2.26x 和 3.06x 數字代表針對匹配配置計算出的配對基準相對得分/美元乘數。

針對兩個強基準的配對比較：

基準	基準平均得分	Fusion 增量	95% CI	勝/負/平	Fusion 成本倍數	得分/$ 比率	延遲倍數
gpt-5.5	53.43	+32.60	28.13 – 37.28	95/4/1	0.71x	2.26x	1.23x
claude-opus-4-8	40.41	+45.63	40.85 – 50.21	97/2/1	0.69x	3.06x	2.15x

品質和成本調整後的品質在該清單上是明確的 Fusion 勝出。失敗率增量為 0.0 個百分點，使穩定性成為平局而非差異化因素。延遲是明確的 Fusion 劣勢：比 gpt-5.5 慢 1.23x，比 claude-opus-4-8 慢 2.15x。從這些數據得出的誠實產品定位是高品質、高成本效率、可驗證的深度研究，而非低延遲互動式聊天。

領域細分顯示相較於兩個基準，每個領域都有正增量，這反駁了改進是單一領域產物的說法。選定數值：相較於 gpt-5.5，金融 +37.13，購物 +38.20，大海撈針 +62.56，技術 +33.49；相較於 claude-opus-4-8，購物 +55.96，大海撈針 +69.38，技術 +52.43，UX 設計 +52.77。金融也是承載最明確未解決風險的領域：八個高嚴重性證據警告，均為金融領域，標記為 finance:needs_more_sources，指出指標術語、期間術語和當前主要期間來源的差距。這些不是調用失敗；它們是來源充分性警告，表明即使得分增量很大，金融領域特定的證據路由尚未完全解決。

6. 就緒狀態：已證實 vs. 仍受限

區分兩個狀態層級很重要。這是配方驗證結果，而非已發布系統的結果，整個計畫中使用的就緒追蹤明確反映了這種區別。

已通過：固定加權 100 項任務清單、小組策略、證據路由器測試、小組消融證明、驗證器/合成消融證明、強基準配置本身、弱來源門控證明、配方產物以及第 5 節中描述的強基準配對證明。

尚未通過：Fusion-only 最終重跑。

最終重跑不是針對強基準的第二次比較；其目的更窄且不同：確認凍結的獲勝配方在相同的 100 項任務清單上重現，運行時沒有基準成本，運行時配置符合配方定義，成本行完整，且 Fusion-only 路徑中沒有基準污染。截至最新的分階段運行，覆蓋範圍為 100 項任務中的 20 項已評分，20 項運行時相容，Fusion-only 官方成本為 $2.619654，基準成本 $0，剩餘 80 項任務將在進一步的偏移階段執行。

這種區別對於如何解讀加權 100 項研究運行數字很重要：強基準增量是真實且配對的，但它是用一個尚未在循環中沒有基準成本的情況下進行端到端獨立重現的配方測量的，且它使用了產品成本路徑正試圖淘汰的合成/驗證器/評判 anchor。

關於 Gemini Pro anchor，產生這些數字的凍結配方使用了 gemini-3.1-pro-preview（歷史性 premium Gemini Pro 模型）作為合成/評判/驗證 anchor。該配置確立了配方結構和具備評分標準意識的驗證所能達到的上限，但它不是產品成本路徑打算發布的配置。由於 premium Gemini Pro 定價不符合目標成本概況，下一個必需的證據產物是 no-premium-Gemini canary：在進行任何聲明成本高效配方符合已證實品質上限之前，針對相同任務 ID 進行配對、小規模重跑，將 deepseek-v4-pro 用於合成/驗證，將 glm-5.2 用於評判。

7. 協議與相容性：為何單一聊天端點是不夠的

僅適用於單一 OpenAI 相容聊天端點的配方，無法在與真實編碼代理客戶端的接觸中生存。Chat Completions 對於普通的對話使用足夠，但會丟失代理客戶端依賴的語義：類型化輸出項目、函數調用/工具結果配對、串流項目事件、有狀態與無狀態歷史，以及供應商特定的排序保證。

重要的表面及其承載的語義差異巨大，無法在不丟失的情況下折疊成一種形狀：

表面	必須保留的關鍵語義
OpenAI Responses	類型化輸出項目、開發者/系統指令層級、函數調用與函數調用輸出、previous_response_id、store、串流項目事件、使用量核算
OpenAI Chat	舊版訊息/工具；可用作降級的外觀，但必須記錄相容性損失
Anthropic Messages	頂層系統欄位、內容區塊、tool_use/tool_result、無狀態全歷史請求、stop_reason、200 後串流錯誤
Codex 風格客戶端設定檔	回應優先、store、previous_response_id、串流工具參數、工具結果重播、嚴格事件排序
Claude Code 風格客戶端設定檔	Anthropic Messages、立即 tool_result 排序、並行工具批次、disable_parallel_tool_use、模型發現允許清單

架構上的答案是規範化的中間表示（IR）。外部協議映射到一個內部的請求/回應/串流/工具/使用量/錯誤/追蹤表示，配方執行和供應商適配器針對該 IR 操作，而非針對任何單一線路協議。IR 至少需要承載：對話和輪次識別碼加上供應商狀態指標（previous_response_id）；客戶端協議和公開配方識別碼；系統/開發者/閘道/配方指令的來源和優先級；訊息、內容區塊、圖像和衍生文本；工具、工具結果、工具選擇和並行工具策略；模態和生成設置；相容性損失記錄；使用量行和角色分離的成本行；以及涵蓋證據、搜尋、工具、成本和模型角色活動的追蹤。

實際的理由很具體：Anthropic 的 tool_result 必須緊隨其匹配的 tool_use；OpenAI Responses 函數調用輸出必須按 call_id 重播；聊天外觀無法完全保留開發者訊息優先級；Claude Code 在每一輪發送無狀態全歷史，而基於 Responses 的客戶端依賴供應商側狀態指標。如果沒有 IR 和直接練習這些案例的相容性套件，系統可能會通過基準測試，但在真實代理客戶端內部失敗，因為工具循環無法正確完成。

當前的實作狀態應精確而非樂觀地陳述：相容性層作為協議文檔、適配器 IR 定義、閘道合約夾具、輪次規劃器、串流寫入器、工具/證據夾具以及匯總相容性測試套件存在。它是一個離線相容性骨架，足以限制協議形狀、表面差距並防止早期設計漂移，但它還不是一個即時的生產閘道。它尚未包含大規模的真實供應商執行、客戶端串流產品表面、即時工具執行、生產認證/租戶，或持久化的追蹤後端。公開模型發現旨在僅暴露命名空間公開配方識別碼；任何非公開或非命名空間的模型 ID 請求應失敗關閉（例如 model_not_public），而非允許客戶端繞過配方、成本或追蹤邊界。

8. 工具使用控制模型

多模型工具調用是此系統任何編碼代理擴展中最具操作危險性的部分。如果多個模型可以在同一輪中獨立發出工具調用，結果可能是重複的文件編輯、重複的外部 API 調用、重複收費、並行寫入、衝突的 Shell 命令或憑證暴露。採用的控制模型是刻意限制性的：

• 一輪預設情況下恰好有一個活動的工具所有者。
• 其他模型可以作為審查員或批評者，並可以提出變更建議，但不得執行工具。
• 模型輸出中的工具形狀文本本身並不具備執行權限。
• 在做出任何執行決策之前，每個工具調用都會被規範化為規範化的 ToolCall IR。
• 排程器將每個調用分類為 executable（可執行）、advice_only（僅建議）、blocked（已封鎖）或 requires_approval（需要批准）。
• 唯讀、網路讀取和僅計算調用可以在安全條件下的並行組中並行運行。
• 寫入、Shell 寫入、支付、憑證和破壞性類別調用預設為序列化並受批准門控。
• 工具結果會確定性地重播回目標協議的預期形狀。
• 部分 JSON 永遠不會被執行；即使是格式良好的 JSON 也必須通過架構、副作用、批准和所有者檢查。

這與典型的多代理演示有顯著區別，在後者中，多個代理可能都試圖並行「解決」問題。面向生產的編碼配方需要執行安全上的角色紀律：審查員可以標記建議的修補程式將破壞測試套件，但其本身無法運行破壞性的 Shell 命令。工具所有者可以發起文件編輯或 Shell 命令，但其輸出在執行前仍由閘道驗證。

這也限制了模型庫的工具能力標籤應如何解讀：「工具使用」標籤意味著模型可以合理地表達工具調用，並不意味著它被清除為生產工具所有者。晉升為所有者狀態需要通過涵蓋串流工具參數、工具 ID 穩定性、格式錯誤 JSON 修復、工具結果重播、並行工具策略、使用量核算和錯誤形狀的相容性套件。一個相關的邊緣案例是內聯工具「救援」：一些供應商將工具調用作為助手文本發出（XML/JSON 塊、私有函數標籤、物件或雙重編碼參數）。適配器層可以檢測並修復這些方言，但修復僅產生候選 ToolCall IR；它不授予執行權限，僅限於當前所有者的回應文本（絕不限於用戶文本、工具結果、審查員筆記或最終融合答案），且修復後的調用仍必須清除所有者、架構、副作用、批准、並行性和冪等性門控。重複的格式錯誤 JSON 應導致該所有者的輪次相容性檢查失敗，而非被靜默執行。

9. 視覺與網路搜尋：公平性 vs. 產品體驗

評估和產品路徑在此處有意分歧。基準證明使用共享、可重現的證據；生產請求可以使用原生搜尋或視覺，但僅在可追溯時。

搜尋通過三條不同路徑處理：shared_evidence（Fusion 擁有、可重現的外部搜尋/獲取/閱讀包，對於加權 100 項研究套件驗證運行、強基準比較、模型升級 canary 和最終重跑是強制性的）、native_search（模型或供應商自己的網路/瀏覽/接地能力）和 external_search（可追溯的外部工具，如獲取、瀏覽器閱讀或文檔提取）。原生搜尋並未被禁止；它可能會改善產品體驗，但它無法支持公平的基準聲明，因為如果模型自身的搜尋行為、檢索到的來源和引用路徑是不透明的，比較就不再是相同任務的比較。

視覺遵循相同的邏輯。原生視覺和衍生的 OCR/字幕文本不是等效的輸入，跨越對圖像具有不同可見性的模型進行比較，不是公平的視覺比較。追蹤明確將每個模型的可見性記錄為 native_image、derived_text 或 none。推薦的生產模式是混合模式：主要模型可以使用原生視覺，而低成本審查員從衍生文本工作；當前事實任務預設為外部搜尋/獲取，且僅在路由通過能力探測並產生完整追蹤後才允許原生搜尋。然而，評估總是預設為共享證據和雜湊證據包。

10. 模型庫作為角色感知選擇模式

TokenLab Fusion 底層的模型目錄已從扁平的能力表轉變為分層的選擇模式，其中包含成本層級、Fusion 角色、能力標籤、選擇指標、路由設定檔和推薦評估軌道的欄位。這反映了一個產品現實，即單一的「此模型有多強」排名無法捕捉：模型可以是優秀的編碼審查員，卻是糟糕的低延遲研究小組成員；模型可以是廉價的，但具有不穩定的工具調用 ID；模型可以攜帶原生視覺能力標籤，卻尚未具備足以進行公平門控評估的追蹤證據。

層級	代表性角色	產品意義
廉價常駐	低成本小組/審查員/評判員候選者	預設小組構成，僅通過配對 canary 證據推廣
強推理升級	困難任務升級	困難任務的合成/驗證器/評判員角色
編碼/代理專家	工具循環、儲存庫規模、前端審查	編碼代理工具所有者和審查員候選者
視覺/搜尋專家	圖像/搜尋密集型產品工作流程	在公平門控使用前需要追蹤探測
超長上下文保留	巨大儲存庫/證據包診斷	非預設小組成員
黑盒比較器	供應商側多代理系統	僅供參考；內部 Fusion 歸因無法從中導出

關於已退役 premium anchor 的當前判斷值得明確陳述：用於加權 100 項驗證的歷史性 premium Gemini Pro 模型已從主動產品成本配方規劃中退役，而較低價格的 Gemini flash 層級模型也因不符合目標配方成本概況的輸出定價而從預設計畫中移除。這並不修訂加權 100 項研究運行結果，該證明如記錄所示，但這確實意味著證明和擬議的發布配方目前不是同一個系統，這正是為什麼 no-premium-Gemini canary 是下一個必需的證據步驟，而非可選步驟。

11. 模型庫升級門控

一個反覆出現的操作問題是，是否每個模型變更都需要完整的 100 項任務重跑。計畫採用的答案是分層、風險比例門控，而非任何極端（每次變更都盲目進行完整重跑，或在沒有證據的情況下盲目進行同家族替換）：

1. 合約煙霧測試：確認路由、定價、串流、上下文視窗、輸出限制、模態以及工具/搜尋/視覺標籤。
2. 相容性套件：練習 OpenAI Chat、OpenAI Responses、Anthropic Messages、工具調用、工具結果、並行工具、使用量、錯誤和串流處理。
3. 哨兵評估：運行一組與模型聲稱角色匹配的小型領域特定集（例如金融來源充分性、編碼工具循環、前端視覺審查）。
4. 配對 canary：在相同任務 ID 上與當前配方進行品質、成本、延遲和失敗率比較。
5. 完整 100 項運行：保留給可能改變預設配方或強基準聲明的候選者。

即使是看似微小的同家族升級也需要通過此漏斗：定價、工具調用行為、串流和配對品質都需要獨立確認，而非從共享模型家族名稱中推斷。這也是為什麼 100 項任務清單不會持續運行的原因；它保留用於最終確認，而日常模型變更由上述更便宜、更快的門控管理。

12. 相關工作與重用（及未重用）的內容

該計畫借鑒了多個公開研究和工具方向，但並未全盤採納其目標。Mixture-of-Agents 激發了較弱模型輸出仍能有效調節較強合成器的想法，但第 4 節中的小組膨脹發現警告了在沒有消融的情況下進行分層。LLM-Blender 貢獻了小組/評判/合成階段所類似的候選生成、配對排序、生成式融合結構，儘管目前沒有專門的訓練排序器取代基於評分標準的評判員。FrugalGPT 和 RouteLLM 激發了成本感知級聯和路由，但此處的路由問題是多角色的（小組、合成、評判、驗證、搜尋策略、工具所有者可以各自獨立路由），而非單一二元模型選擇。評估工具（如 Inspect AI、OpenAI Evals、Promptfoo 和 Ragas）為系統化、CI 友好的評估循環工程模式提供了資訊，但它們都無法替代此處使用的固定加權清單、來源充分性檢查、角色分離成本行或領域加權配對證明結構。

13. 限制

限制	當前狀態	重要性
Premium anchor 依賴	加權 100 項證明使用了歷史性 premium Gemini Pro 模型作為合成/評判/驗證	證明配方上限，而非預期的產品成本配方
最終重跑不完整	Fusion-only 重跑在 20/100 任務，20/20 運行時相容	沒有基準成本的可重現性尚未完全確認
無公開人工審計或評分者間一致性數據	此評估管線的人工審計和評分者間一致性結果尚未發布或公開	自動化得分相對於人類判斷的可靠性和一致性未經驗證，限制了對絕對得分解讀的信心
延遲劣勢	1.23x vs. gpt-5.5, 2.15x vs. claude-opus-4-8	對於深度研究可能可接受，對於互動式編碼代理可能不可接受
具備評分標準意識的驗證器	驗證器查看評分標準/檢查清單	比較必須披露此點；不可直接與評分標準盲測系統比較
金融來源警告	8 個高嚴重性 finance:needs_more_sources 警告	儘管得分增量很大，金融領域的來源充分性仍未解決
原生能力推斷	搜尋/視覺能力標籤並非生產級追蹤支持的證明	在任何公平門控評估使用前需要每條路由探測
相容性層成熟度	離線骨架（IR、夾具、路由器合約、規劃器、串流寫入器）	尚未成為具有真實供應商執行、認證/租戶或持久追蹤儲存的即時生產閘道
定價/路由波動	DeepSeek V4 Pro 定價修正已改變戰略決策	模型庫分層必須隨著定價和路由行為變更而重新驗證

14. 常見問題解答

100 項任務結果是否意味著 TokenLab Fusion 在一般情況下擊敗了 GPT-5.5 和 Claude Opus 4.8？

配對結果具體保持在固定的加權 100 項研究清單上，使用共享證據和角色分離成本核算，且 gpt-5.5 和 claude-opus-4-8 被排除在 Fusion 小組之外。這是該範圍內強大、領域廣泛的證據，而非獨立於任務類型、證據條件或清單構成的一般聲明。

如果得分增量已經很大，為什麼 Gemini Pro anchor 很重要？

增量是由一個使用歷史性 premium Gemini Pro 模型進行合成、評判和驗證的配方產生的。該配置確立了配方結構所能達到的效果，但它不是產品路徑打算發布的成本概況。在針對相同任務 ID 進行配對 canary 運行 no-premium-Gemini 配置之前，所達到的品質和預期的發布成本是分開證明的，而非同時證明。

較低的單次調用成本是否等同於較低的單位品質成本？

不，因此兩者在此處分開報告。0.71x 和 0.69x 成本乘數描述了相對於兩個基準的原始成本；2.26x 和 3.06x 得分/美元比率描述了成本調整後的品質。兩者都需要，因為系統可能單次調用更便宜但得分更差，或者單次調用更昂貴但單位品質成本效率更高；此評估明確報告兩者，而非將其折疊。

為什麼驗證器消融對此結果很重要？

具備評分標準意識的驗證器/重寫階段產生了本計畫中測量的最大單一品質變更（20 項任務擴展中配對增量 +51.81），相較於快速核心對照組，成本約為 2.14x，延遲約為 1.89x。配方之間或 Fusion 與基準之間的任何比較都需要披露驗證器階段是否處於活動狀態，因為它改變了成本概況和公平性框架（驗證器對評分標準具有可見性）。

TokenLab Fusion 今天準備好在真實編碼代理客戶端中運行了嗎？

沒有。協議和工具使用控制架構（規範化 IR、相容性套件、工具所有者模型）作為具有記錄協議映射和夾具的離線相容性骨架存在，但它尚未包含即時生產閘道、大規模真實供應商執行、認證/租戶或持久追蹤儲存。深度研究證明和編碼代理線在不同的時間線上進行評估，編碼線尚未完成其第一個小樣本驗證階段。

15. 研究結案

已證實的內容

在固定的、雜湊的、加權 100 項多領域清單上，使用共享證據和角色分離成本核算，配備驗證器的多模型配方實現了相較於 gpt-5.5 的 +32.60 和相較於 claude-opus-4-8 的 +45.63 的配對平均得分增量，成本分別為 0.71x 和 0.69x，在 799 個成本行中零調用失敗。具備評分標準意識的驗證被確認為測試過的最大單一品質槓桿，相較於快速核心對照組的配對增量為 +51.81。正增量在清單中的每個領域相較於兩個基準都保持不變，表明收益並未集中在單一任務類型中。

仍受限的內容

凍結獲勝配方的 Fusion-only 最終重跑尚未完成（上次檢查為 100 項任務中的 20 項），必須在證明被稱為端到端可重現之前，以乾淨的就緒審計達到完全覆蓋。產生證明的配方依賴於產品成本路徑打算退役的歷史性 premium Gemini Pro anchor；對於擬議的 no-premium-Gemini 替換，尚不存在配對證據。延遲仍然是一個未解決的產品權衡，特別是對於任何編碼代理應用。儘管在該領域具有巨大的得分優勢，但金融來源充分性仍帶有八個未解決的高嚴重性警告。協議相容性層在架構上已定義，但尚未成為運行的生產閘道。

接下來應收集什麼證據

完成剩餘 80 項任務的 Fusion-only 最終重跑，並重新運行就緒審計，以確認在循環中沒有基準成本的情況下具有可重現性。運行一個配對、相同任務 ID 的 canary，將 deepseek-v4-pro 用於合成/驗證，將 glm-5.2 用於評判，以替代 premium Gemini Pro anchor，在進行任何完整清單聲明之前從小規模開始。在將金融領域結果視為完全解決之前，通過領域特定的來源門控工作關閉八個未解決的金融證據充分性警告。將相容性套件從離線骨架擴展到即時供應商執行，並運行一個小樣本編碼代理驗證階段（約五個任務），以測試工具所有者/審查員架構是否在投資編碼代理基礎設施之前產生了可測量的小組對單一模型優勢。每一項都是具體的、可證偽的下一個實驗，而非一般的路線圖項目。