TokenLab Fusion：来自 DRACO Weighted-100 研究数据集的证据

研究状态说明： TokenLab Fusion：这是一个配方验证（proof-of-recipe）和历史强基准研究结果，而非生产环境声明。结果是使用高端 Gemini 锚点模型生成的；目前正在等待无高端模型参与的 canary 测试运行以及最终的 Fusion 独立重跑，以确认在没有高端模型依赖的情况下是否具有可重复性。DRACO weighted-100 是 TokenLab 专有的内部评估，并非外部或标准化基准。请据此解读。

摘要

本报告记录了 TokenLab Fusion 的当前证据状态。TokenLab Fusion 是一个推理时多模型编排系统，针对固定的、加权 100 项的多领域研究套件（DRACO weighted-100 研究清单，涵盖金融、购物/产品比较、学术、技术、通用知识、UX 设计、法律、医学、大海捞针测试以及个性化助手任务）进行了评估。核心研究问题不在于模型集成在基准测试切片上是否能比单一模型获得更高的总分，而在于一套严谨的配方（面板构成、合成、基于评分标准的验证、证据溯源和成本核算）是否能组织成一个可重复、可审计且可升级的系统，从而在各个领域（而不仅仅是在有利的子集上）超越强单一模型基准。

迄今为止最有力的证据来自 weighted-100 研究运行，这是一项针对固定 100 项 DRACO 数据集，与 gpt-5.5 和 claude-opus-4-8 进行的配对、基准支持评估。TokenLab Fusion 的平均得分为 86.04，与 gpt-5.5 相比配对平均增量为 +32.60（胜/负/平为 95/4/1，成本为 0.71x，性价比为 2.26x），与 claude-opus-4-8 相比增量为 +45.63（胜/负/平为 97/2/1，成本为 0.69x，性价比为 3.06x）。这些数字在固定清单上是强有力的、配对的且可重复的，但它们带有两个重要的限定条件，本报告将其视为一等发现而非脚注：获胜配方使用了历史高端 Gemini Pro 模型 (gemini-3.1-pro-preview) 作为其合成/判断/验证锚点，且系统的发布就绪状态仍需在最终 Fusion 独立重跑后才能被视为完整。本报告的其余部分将强基准研究运行中已证明的内容与在发布前仍需解决的内容分离开来，并列出了仍需的具体证据（最紧迫的是无高端 Gemini 的 canary 测试），以弥补这一差距。

1. 研究范围与目标

TokenLab Fusion 在此定义为跨多个上游模型的推理时编排，而非训练后的权重合并模型。单个请求通过多个模型角色（小组成员、合成器、验证器、判断者、审阅者、工具所有者）进行路由，配方控制输出的生成、比较、重写和返回。这更接近于可验证的多模型生产配置，而非无状态的集成投票；它与 Mixture-of-Agents 和 LLM-Blender 具有结构上的渊源，尽管下文描述的配方选择和成本核算机制超越了这两者。

评估目标是 weighted-100 研究套件：一组固定的多领域、证据密集、严格按评分标准计分的研究任务。该研究计划明确拒绝弱基准比较。唯一接受的基准是 gpt-5.5 和 claude-opus-4-8，且两者均被严格排除在 Fusion 面板、合成、判断、验证和工具所有者角色之外；用基准模型污染面板将使任何“更便宜的多模型配方击败强单一模型”的声明失效。

本文引用的模型标识符——gpt-5.5、claude-opus-4-8、gemini-3.1-pro-preview、deepseek-v4-pro 和 glm-5.2——是 TokenLab Fusion 平台的逻辑模型 ID 和研究基准 ID，是从 2026-07-07 观察到的 TokenLab 模型单一事实来源 (SSOT) 快照中捕获的。这些标识符表示内部路由和评估标签，而非独立的、公开审计的排行榜，且不声明这些名称与任何外部供应商的公开发布命名一一对应。诸如 gpt-5.5 和 claude-opus-4-8 等标识符是来自 TokenLab SSOT 的内部基准和路由标签，不应被解释为公共供应商模型版本名称。因此，本文中的强基准比较不应被解读为完整的生产就绪声明：无高端 Gemini 的 canary 评估和剩余的 Fusion 独立重跑尚未完成，仍处于等待进一步验证的状态。此处展示的结果代表了特定时间点的研究比较，而非最终的或完全验证的生产基准结果。

两条产品线共享此研究基础设施，但在配方上有所不同：深度研究线（证据驱动、源充分性检查、验证器密集）和编码代理线（工具执行密集、延迟敏感、仍处于 Phase-0 之前）。本报告主要关注深度研究线，因为这是目前存在针对强基准的配对证据的领域。

2. 为什么选择固定的 100 项任务清单

单一切片的基准运行无法支持配方决策。100 项任务清单的存在旨在同时服务于六项不同的工程功能：跨领域配方选择（避免对某个幸运切片过拟合）、路由策略训练数据、模型角色分配证据、成本/质量/延迟曲线构建、用于回归测试和未来模型升级 canary 的失败库，以及一个无需在每次上游模型更改时进行完整重跑的可重用分层回归集。

实验中使用的清单是 weighted-100-v1，这是一个具有固定任务集哈希 (b08a09aacbc76c5e5aafd5ca0a6fa614a5061bc478f905007ae5aee4a93fc43a) 的确定性加权切片。其领域权重并非均匀分布：金融 (20)、购物/产品比较 (16)、学术 (12)、技术 (10)、通用知识 (9)、UX 设计 (9)、法律 (6)、医学 (6)、大海捞针测试 (6)、个性化助手 (6)。这种分布很重要，因为 Fusion 的收益是领域依赖的，尤其是金融领域存在最持久的公开风险（第 6 节）。

DRACO weighted-100 是 TokenLab 内部研究数据集，仅在本文的 TokenLab Fusion 评估流程中使用。它不是外部的、公开维护的基准，也不隶属于、认可或源自任何第三方基准套件。weighted-100 清单（包括其项目采样、类别加权方案和来源元数据）由私有的 TokenLab 源映射管理，未随本文发布。因此，报告的得分应被解释为 TokenLab 评估方法特定的内部比较信号，而非可与公共排行榜或社区基准相比较的得分。读者不应假设 DRACO weighted-100 的结果可以推广到任何其他具有类似名称或结构的数据集，或与之进行交叉引用。

3. 方法论

研究循环以证据为先：每一项强有力的声明都必须可追溯到固定的清单、任务 ID、领域权重、运行时设置、原始结果文件、成本行和基准行。没有这些工件的汇总摘要数字不被视为证据。

四项方法论承诺最为重要。

共享证据优于不透明的原生搜索

搜索、获取和阅读工具产生的证据包独立于被测模型，且在可行的情况下，该证据包会提供给面板模型和基准模型。这使得“模型推理和合成能力”与“模型是否恰好搜索得好”分离开来，这是 weighted-100 研究套件验证运行、强基准比较、模型升级 canary 和最终重跑的严格要求。

角色分离的成本核算

在基准支持的运行中，汇总成本列混合了 Fusion 调用和基准调用；直接使用它会夸大或低估 Fusion 独有的成本声明。weighted-100 研究运行分析明确排除了基准和基准得分行，从而得出了 799 个成本行中 Fusion 独有的官方总成本 $12.837461。这种区分（角色分离的成本行而非混合总计）是本报告中每一项成本调整后质量声明的基础。

配对比较优于非配对平均值

Fusion 和基准输出在相同的任务 ID 上进行比较，结果报告为平均增量、自助法置信区间、符号检验 p 值、胜/负/平计数、成本倍数、延迟倍数和失败率增量。具有不同任务覆盖范围的非配对平均值不被接受为证明。

可恢复的分片执行

weighted-100 研究运行被执行为十个分片，每个分片十个任务，然后聚合成一个单一的证明工件。最终的 Fusion 独立重跑（第 6 节）使用相同的分阶段、可恢复模式。

方法维度	使用的方法	基本原理
任务选择	固定加权 100 项任务清单，已哈希	防止樱桃采摘切片，支持重跑
证据溯源	共享、可重复的证据包	将推理质量与搜索运气隔离
基准隔离	gpt-5.5, claude-opus-4-8 从面板/合成/判断/验证中排除	防止基准污染 Fusion 声明
成本核算	角色分离的行；Fusion 独有总计排除基准调用	避免混合成本导致的成本/美元扭曲
比较设计	配对、相同任务 ID、自助法 CI、符号检验	控制领域和样本方差
执行	分片、可恢复的运行器	支持部分进度跟踪和分阶段重跑
计分	基于评分标准的验证器/判断者针对领域评分标准计分	支持验证器消融和得分分解

TokenLab Fusion 通过自动计分流程评估模型输出，该流程将多个指标信号聚合成综合得分。计分规则在此阶段以编程方式应用，无需人工审核。该方法的公开人工审计或评分者间一致性数据尚未发布；报告的结果仅反映自动评估，等待独立验证。

数据可用性

本研究底层的清单哈希、成本行、原始结果文件、模型单一事实来源快照和源映射保留在 TokenLab 的内部研究档案中。这些材料受访问限制，未随本文发布。因此，在发布底层数据的脱敏样本或公共子集之前，公共可重复性受到限制。

4. 配方演进：增加模型数量并非杠杆

一个早期且重要的发现是负面的：向面板添加更多模型并不能可靠地提高质量，也不能假定会提高质量。配方是通过一系列受控消融演进的，而不是通过扩大面板规模。

快速核心作为对照组

一个低成本、多样化、稳定的三模型面板 (gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning) 作为成本/延迟对照条件，用于衡量每一次添加和每一个验证器变体。

具体低成本模型组合

TokenLab Fusion 是一个推理时编排层，而非权重合并模型：它在运行时协调对多个现有模型的调用并整合其输出。为具体说明这一点，基准模型 gpt-5.5 和 claude-opus-4-8 被排除在所有 Fusion 角色（面板、合成、评判、验证、审查和工具所有者）之外，以确保所报告的增益不会归因于这些基准模型在流水线内部执行的隐藏工作。

默认配置是一个由三个模型并行运行的快速、低成本控制面板，并辅以一个可选的第四面板成员（在质量模式下评估）、一个历史性能上限锚点，以及一个尚待配对证据的无溢价金丝雀候选模型。

角色	模型	状态
快速低成本控制面板	gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning	默认低成本测试面板
质量补充候选	kimi-k2.7-code	作为第四面板成员评估；未被采用 — 增加延迟，在某些领域与验证器配合时出现回归
历史性能锚点	gemini-3.1-pro-preview	用于强基准方案中的合成/评判/验证/修订；证明性能上限，不是预期的产品成本路径
无溢价金丝雀候选	deepseek-v4-pro (合成/验证/修订), glm-5.2 (独立评判)	预期的成本路径；等待配对的金丝雀证据

编排过程遵循固定序列，而非模型调用的自由竞争：

1. 构建一次共享证据包，确保每位面板成员基于相同的上下文进行推理。
2. 针对该证据包并行运行低成本面板成员。
3. 将面板输出标准化为通用格式以便比较。
4. 运行面板分析以呈现共识、冲突和缺失的证据。
5. 合成单一答案，随后运行基于准则的验证器，若验证器标记出问题则进行一次修订。
6. 对最终答案进行评分/评判，并由指定的单一工具所有者执行——面板成员从不直接执行工具。

kimi-k2.7-code 的结果以及待定的 deepseek-v4-pro/glm-5.2 金丝雀结果与默认面板数据分开报告，以避免将已评估但已评估但未采用的配置与预期的产品成本方案混淆。

Kimi 添加：真实但边际的信号

一个向快速核心添加编码/多样性模型的 20 项任务试点产生的平均得分为 34.36，而快速核心为 31.37（配对增量 +2.99，95% CI -0.04 至 6.10，胜/负/平 11/6/3，成本 ~1.01x，延迟 ~1.57x）。CI 跨越零且符号检验 p 值为 0.3323，意味着这不足以证明将该添加作为延迟敏感的默认设置是合理的；它还在一些学术、医学和技术任务上出现了回归。得出的结论是角色特定的：这类模型更适合作为编码/前端/长上下文专家，而不是通用的常驻面板成员。

GLM 和 DeepSeek Pro 添加需要角色，而非全面包含

GLM 的添加在小切片上仅产生了约 +1.22 的增量，成本为 1.49x，延迟为 1.85x，这对于判断/合成/编码审阅者角色是有用的证据，但不足以作为默认面板提升的证据。DeepSeek V4 Pro 的评估在价格修正（每 1M token 输入 $0.435，输出 $0.87）后发生了实质性变化，这使早期的“太昂贵”判断失效，并将其提升为低成本配方中合成/验证器角色的领先候选者（第 6 节）。DeepSeek V4 Pro 的价格修正源自 2026-07-07 观察到的内部模型 SSOT，构成研究成本假设，而非对外部供应商发布价格的引用。

验证器/重写是发现的最大单一杠杆

在 20 项任务的扩展中，向快速核心添加基于评分标准的验证器/重写阶段产生的平均得分为 81.70，而仅快速核心为 29.88，配对增量为 +51.81（95% CI 42.64 至 61.23），胜/负/平 20/0/0，成本为 2.14x，延迟为 1.89x。这不是增量改进；这是配方能力结构的转变。它也不是免费的：成本倍数在一次分析中超过了 2.0x 的自动保留阈值，这意味着对于研究深度层来说明确值得的结果，对于快速/廉价产品层来说是一个真正的约束。更便宜的替代方案被测试并作为默认设置被拒绝：轻量级审查/轻量级堆栈变体相对于完全验证损失了大约 28 分，并且在所有配对比较中都失败了；基于弱领域启发式的选择性验证仅节省了约 11% 的成本，同时损失了 -8.53 的平均得分，而高风险选择性变体损失更多。因此，选择性验证仍然是一个开放的路由研究问题，而不是一个已解决的成本降低技术。

5. 强基准结果：已证明的内容

weighted-100 强基准研究运行是该计划中最有力的证据工件。它将 gpt-5.5 和 claude-opus-4-8 作为仅基准比较器，排除在所有 Fusion 角色之外。

Fusion 独有在 100 项任务中的汇总：

指标	值
平均得分	86.04
官方总成本	$12.837461
官方平均成本	$0.128375
平台总成本	$6.568959
每官方美元得分	670.21
失败调用	0
失败率	0.0%
平均调用延迟	216.4s
成本行	799
聚合回退任务	0

报告的 670.21 值表示 Fusion 独有的原始平均得分除以 Fusion 独有的官方平均成本，而 2.26x 和 3.06x 数字表示针对匹配配置计算出的配对基准相对性价比倍数。

针对两个强基准的配对比较：

基准	基准平均得分	Fusion 增量	95% CI	胜/负/平	Fusion 成本倍数	得分/$ 比率	延迟倍数
gpt-5.5	53.43	+32.60	28.13 – 37.28	95/4/1	0.71x	2.26x	1.23x
claude-opus-4-8	40.41	+45.63	40.85 – 50.21	97/2/1	0.69x	3.06x	2.15x

质量和成本调整后的质量在清单上是明确的 Fusion 胜利。0.0 个百分点的失败率增量使得稳定性成为平局而非差异化因素。延迟是明显的 Fusion 损失：比 gpt-5.5 慢 1.23x，比 claude-opus-4-8 慢 2.15x。基于此数据的诚实产品定位是高质量、成本高效、可验证的深度研究，而非低延迟交互式聊天。

领域细分显示，针对两个基准，所有领域的增量均为正，这反驳了改进是单一领域工件的说法。选定值：针对 gpt-5.5，金融 +37.13，购物 +38.20，大海捞针 +62.56，技术 +33.49；针对 claude-opus-4-8，购物 +55.96，大海捞针 +69.38，技术 +52.43，UX 设计 +52.77。金融也是携带最明确未解决风险的领域：八个高严重性证据警告，全部为金融，标记为 finance:needs_more_sources，指出了指标术语、期间术语和当前主要期间溯源方面的差距。这些不是调用失败；它们是源充分性警告，表明即使在得分增量很大的情况下，金融特定的证据路由也尚未完全解决。

6. 就绪状态：已证明 vs. 仍受限

将两个状态层分开很重要。这是一个配方验证结果，而非已发布系统结果，整个计划中使用的就绪跟踪明确反映了这种区别。

已通过：固定加权 100 项任务清单、面板策略、证据路由器测试、面板消融证明、验证器/合成消融证明、强基准配置本身、弱源门控证明、配方工件以及第 5 节中描述的强基准配对证明。

尚未通过：Fusion 独立最终重跑。

最终重跑不是针对强基准的第二次比较；其目的不同且更窄：确认冻结的获胜配方在运行中没有基准成本的情况下在相同的 100 项任务清单上重现，运行时配置与配方定义匹配，成本行完整，且 Fusion 独立路径中没有基准污染。截至最新的分阶段运行，覆盖范围为 100 项任务中的 20 项已计分，20 项运行时兼容，Fusion 独有的官方成本为 $2.619654，基准成本为 $0，其余 80 项任务将在进一步的偏移阶段执行。

这种区别对于如何解读 weighted-100 研究运行数字很重要：强基准增量是真实的且配对的，但它是用一个尚未在循环中没有基准成本的情况下端到端独立重现的配方测量的，并且它使用了一个产品成本路径正试图淘汰的合成/验证器/判断锚点。特别是关于 Gemini Pro 锚点，产生这些数字的冻结配方使用了 gemini-3.1-pro-preview（一种历史高端 Gemini Pro 模型）作为合成/判断/验证锚点。该配置确立了配方结构和基于评分标准的验证所能达到的上限，但它不是产品成本路径打算发布的目标配置。由于高端 Gemini Pro 定价不符合目标成本概况，下一个必需的证据工件是无高端 Gemini 的 canary 测试：在进行任何关于成本高效配方与已证明质量上限匹配的声明之前，使用 deepseek-v4-pro 进行合成/验证，使用 glm-5.2 进行判断，并针对相同的任务 ID 进行配对、小规模重跑。

7. 协议与兼容性：为什么一个聊天端点是不够的

仅适用于单个 OpenAI 兼容聊天端点的配方将无法与真实的编码代理客户端对接。Chat Completions 对于简单的对话使用是足够的，但会丢失代理客户端依赖的语义：类型化输出项、函数调用/工具结果配对、流式项事件、有状态与无状态历史记录以及供应商特定的排序保证。

重要的表面及其各自携带的语义差异很大，以至于它们不能在不丢失信息的情况下折叠成一种形状：

表面	必须保留的关键语义
OpenAI Responses	类型化输出项、开发者/系统指令层级、函数调用和函数调用输出、previous_response_id、store、流式项事件、使用量核算
OpenAI Chat	遗留消息/工具；可用作降级外观，但必须记录兼容性损失
Anthropic Messages	顶级系统字段、内容块、tool_use/tool_result、无状态全历史请求、stop_reason、200 后流错误
Codex 风格客户端配置文件	响应优先、store、previous_response_id、流式工具参数、工具结果重放、严格事件排序
Claude Code 风格客户端配置文件	Anthropic Messages、立即 tool_result 排序、并行工具批处理、disable_parallel_tool_use、模型发现允许列表

架构上的答案是规范的中间表示 (IR)。外部协议映射到一个内部请求/响应/流/工具/使用量/错误/跟踪表示中，配方执行和供应商适配器针对该 IR 操作，而不是针对任何单一线路协议。IR 至少需要携带：对话和轮次标识符以及供应商状态指针 (previous_response_id)；客户端协议和公共配方标识符；系统/开发者/网关/配方指令的来源和优先级；消息、内容块、图像和派生文本；工具、工具结果、工具选择和并行工具策略；模态和生成设置；兼容性损失记录；使用量行和角色分离的成本行；以及涵盖证据、搜索、工具、成本和模型角色活动的跟踪。

实际理由是具体的：Anthropic 的 tool_result 必须紧随其匹配的 tool_use；OpenAI Responses 函数调用输出必须按 call_id 重放；聊天外观无法完全保留开发者消息优先级；Claude Code 在每一轮发送无状态全历史记录，而基于 Responses 的客户端依赖于供应商侧的状态指针。如果没有 IR 和直接练习这些案例的兼容性套件，系统可能通过基准测试，但在真实的代理客户端内部仍然失败，因为工具循环从未正确完成。

当前的实现状态应被精确而非乐观地陈述：兼容性层作为协议文档、适配器 IR 定义、网关契约固定装置、轮次规划器、流写入器、工具/证据固定装置和聚合兼容性测试套件存在。它是一个离线兼容性骨架，足以约束协议形状、表面差距并防止早期设计漂移，但它还不是一个实时生产网关。它尚未包括大规模的真实供应商执行、面向客户端的流式产品表面、实时工具执行、生产身份验证/租户，或持久的跟踪后端。公共模型发现被设计为仅暴露命名空间的公共配方标识符；任何非公共或非命名空间的模型 ID 请求应关闭失败（例如 model_not_public），而不是允许客户端绕过配方、成本或跟踪边界。

8. 工具使用控制模型

多模型工具调用是此系统任何编码代理扩展中最具操作危险性的部分。如果多个模型可以在同一轮中独立发出工具调用，结果可能是重复的文件编辑、重复的外部 API 调用、重复的费用、并发写入、冲突的 Shell 命令或凭据暴露。采用的控制模型是刻意限制性的：

• 一轮默认情况下只有一个活跃的工具所有者。
• 其他模型可以作为审阅者或批评者，并可以提出更改建议，但不得执行工具。
• 模型输出中的工具形状文本本身不是执行权限。
• 每一个工具调用在做出任何执行决策之前都被规范化为规范的 ToolCall IR。
• 调度程序将每个调用分类为 executable（可执行）、advice_only（仅建议）、blocked（阻塞）或 requires_approval（需要批准）。
• 只读、网络读取和仅计算调用可以在安全条件下在并行组中并发运行。
• 写入、Shell 写入、支付、凭据和破坏性类调用默认情况下是序列化的并受批准门控。
• 工具结果被确定性地重放回目标协议的预期形状。
• 部分 JSON 永远不会被执行；即使是格式良好的 JSON 也必须通过模式、副作用、批准和所有者检查。

这是对典型多代理演示的重大偏离，在演示中，几个代理可能都试图并发地“解决”一个问题。面向生产的编码配方需要执行安全方面的角色纪律：审阅者可以标记提议的补丁将破坏测试套件，但自己不能运行破坏性的 Shell 命令。工具所有者可以启动文件编辑或 Shell 命令，但其输出在执行前仍由网关验证。

这也限制了模型库的工具能力标签应如何解读：“工具使用”标签意味着模型可以合理地表达工具调用，而不是意味着它被批准成为生产工具所有者。提升到所有者状态需要通过涵盖流式工具参数、工具 ID 稳定性、格式错误 JSON 修复、工具结果重放、并行工具策略、使用量核算和错误形状的兼容性套件。一个相关的边缘案例是内联工具“救援”：一些供应商将工具调用作为助手文本（XML/JSON 块、私有函数标签、对象或双重编码参数）发出。适配器层可以检测并修复这些方言，但修复仅产生候选 ToolCall IR；它不授予执行权限，它仅限于当前所有者的响应文本（绝不限于用户文本、工具结果、审阅者笔记或最终融合的答案），并且修复后的调用仍必须清除所有者、模式、副作用、批准、并行性和幂等性门控。重复的格式错误 JSON 应导致该所有者在这一轮的兼容性检查失败，而不是被静默执行。

9. 视觉与网络搜索：公平性 vs. 产品体验

评估路径和产品路径在此处有意分歧。基准证明使用共享的、可重复的证据；生产请求可以使用原生搜索或视觉，但仅在可追溯时使用。

搜索通过三条不同的路径处理：shared_evidence（一个 Fusion 拥有的、可重复的外部搜索/获取/阅读包，对于 weighted-100 研究套件证明运行、强基准比较、模型升级 canary 和最终重跑是强制性的）、native_search（模型或供应商自己的网络/浏览/接地能力）和 external_search（可追溯的外部工具，如获取、浏览器阅读或文档提取）。原生搜索并未被禁止；它可能会改善产品体验，但它不能支持公平的基准声明，因为如果模型自身的搜索行为、检索到的来源和引用轨迹是不透明的，那么比较就不再是相同任务的比较。

视觉遵循相同的逻辑。原生视觉和派生的 OCR/标题文本不是等效的输入，跨越对图像具有不同可见性的模型进行比较不是公平的视觉比较。跟踪记录明确将每个模型的可见性记录为 native_image、derived_text 或 none。推荐的生产模式是混合模式：主要模型可以使用原生视觉，而低成本审阅者则基于派生文本工作；当前事实任务默认使用外部搜索/获取，且仅在路由通过能力探测并产生完整跟踪后才允许原生搜索。然而，评估始终默认使用共享证据和哈希证据包。

10. 作为角色感知选择模式的模型库

TokenLab Fusion 底层的模型目录已从扁平的能力表转变为分层的选择模式，其中包含成本层、Fusion 角色、能力标签、选择指标、路由配置文件和推荐评估跟踪的字段。这反映了一个产品现实，即单一的“这个模型有多强”排名无法捕捉到：模型可以是优秀的编码审阅者，但却是糟糕的低延迟研究小组成员；模型可以是廉价的，但具有不稳定的工具调用 ID；模型可以携带原生视觉能力标签，但尚未拥有足以进行公平性门控评估的跟踪证据。

层级	代表角色	产品含义
廉价常驻	低成本面板/审阅者/判断者候选者	默认面板构成，仅通过配对 canary 证据提升
强推理升级	困难任务升级	困难任务的合成/验证器/判断者角色
编码/代理专家	工具循环、存储库规模、前端审查	编码代理工具所有者和审阅者候选者
视觉/搜索专家	图像/搜索密集型产品工作流	在使用公平性门控评估前需要跟踪探测
超长上下文保留	巨大存储库/证据包诊断	非默认面板成员
黑盒比较器	供应商侧多代理系统	仅参考点；内部 Fusion 归因无法从中导出

对已淘汰的高端锚点的当前判断值得明确说明：用于加权 100 项证明的历史高端 Gemini Pro 模型已从主动产品成本配方规划中淘汰，且较低价格的 Gemini flash 层模型也因不符合目标配方成本概况的输出定价而从默认计划中移除。这并不修正加权 100 项研究运行结果，该证明按记录有效，但确实意味着证明和预期的发布配方目前不是同一个系统，这正是为什么无高端 Gemini 的 canary 测试是下一个必需的证据步骤，而不是可选步骤。

11. 模型库升级门控

一个反复出现的操作问题是，是否每次模型更改都需要完整的 100 项任务重跑。该计划采用的答案是分层的、风险成比例的门控，而不是两个极端（每次更改都盲目进行完整重跑，或没有证据就进行盲目的同系列替换）：

1. 契约烟雾测试：确认路由、定价、流式传输、上下文窗口、输出限制、模态以及工具/搜索/视觉标志。
2. 兼容性套件：练习 OpenAI Chat、OpenAI Responses、Anthropic Messages、工具调用、工具结果、并行工具、使用量、错误和流处理。
3. 哨兵评估：运行与模型声称角色匹配的一小组领域特定集合（例如金融源充分性、编码工具循环、前端视觉审查）。
4. 配对 canary：在相同的任务 ID 上与当前配方进行质量、成本、延迟和失败率比较。
5. 完整 100 项任务运行：保留给可能改变默认配方或强基准声明的候选者。

即使是一个看似微小的同系列升级也需要通过这个漏斗：定价、工具调用行为、流式传输和配对质量都需要独立确认，而不是从共享的模型系列名称中推断出来。这也是为什么 100 项任务清单不是连续运行的原因；它保留用于最终确认，而日常模型更改由上述更便宜、更快的门控管理。

12. 相关工作以及哪些被（或未被）重用

该计划借鉴了几个公共研究和工具方向，而没有全盘采用它们的目标。Mixture-of-Agents 激发了弱模型输出仍然可以有效地调节强合成器的想法，但第 4 节中的面板臃肿发现警告不要在没有消融的情况下进行分层。LLM-Blender 贡献了面板/判断/合成阶段所类似的候选生成、成对排序、生成融合结构，尽管目前没有专门的训练排序器取代基于评分标准的判断者。FrugalGPT 和 RouteLLM 激发了成本感知级联和路由，但此处的路由问题是多角色的（面板、合成、判断、验证、搜索策略、工具所有者可以各自独立路由），而不是单一的二元模型选择。评估工具（如 Inspect AI、OpenAI Evals、Promptfoo 和 Ragas）为系统化、CI 友好的评估循环的工程模式提供了信息，但它们都不能替代此处使用的固定加权清单、源充分性检查、角色分离的成本行或领域加权配对证明结构。

13. 局限性

局限性	当前状态	为什么重要
高端锚点依赖	weighted-100 证明使用历史高端 Gemini Pro 模型作为合成/判断/验证	证明配方上限，而非预期的产品成本配方
最终重跑不完整	Fusion 独立重跑在 20/100 任务，20/20 运行时兼容	没有基准成本的可重复性尚未完全确认
无公共人工审计或评分者间一致性数据	此评估流程的人工审计和评分者间一致性结果尚未发布或公开	自动得分相对于人工判断的可靠性和一致性未经核实，限制了对绝对得分解读的信心
延迟劣势	比 gpt-5.5 慢 1.23x，比 claude-opus-4-8 慢 2.15x	对于深度研究可能是可接受的，对于交互式编码代理可能不可接受
基于评分标准的验证器	验证器查看评分标准/检查表	比较必须披露这一点；不能直接与评分标准盲测系统比较
金融源警告	8 个高严重性 finance:needs_more_sources 警告	尽管得分增量很大，但金融领域的源充分性尚未解决
原生能力推断	搜索/视觉能力标签不是生产级跟踪支持的证明	在使用公平性门控评估前需要进行路由探测
兼容性层成熟度	离线骨架（IR、固定装置、路由器契约、规划器、流写入器）	尚未成为具有真实供应商执行、身份验证/租户或持久跟踪存储的实时网关
定价/路由波动	DeepSeek V4 Pro 定价修正已经改变了战略决策	随着定价和路由行为的变化，模型库分层必须重新验证

14. 常见问题解答

100 项任务的结果是否意味着 TokenLab Fusion 在一般情况下击败了 GPT-5.5 和 Claude Opus 4.8？

配对结果是在固定的加权 100 项研究清单上，使用共享证据和角色分离的成本核算，且 gpt-5.5 和 claude-opus-4-8 被排除在 Fusion 面板之外的情况下专门成立的。这是在该范围内强有力的、领域广泛的证据，而不是独立于任务类型、证据条件或清单构成的普遍声明。

如果得分增量已经很大，为什么 Gemini Pro 锚点很重要？

增量是由一个使用历史高端 Gemini Pro 模型进行合成、判断和验证的配方产生的。该配置确立了配方结构所能达到的效果，但它不是产品路径打算发布的目标成本概况。在针对相同的任务 ID 进行无高端 Gemini 配置的配对 canary 测试之前，已达到的质量和预期的发布成本是分别证明的，而不是一起证明的。

较低的单次调用成本是否等同于较低的单位质量成本？

不，这也是为什么两者被分别报告的原因。0.71x 和 0.69x 成本倍数描述了针对两个基准的原始成本；2.26x 和 3.06x 性价比比率描述了成本调整后的质量。两者都需要，因为系统可以单次调用更便宜但得分更差，或者单次调用更昂贵但单位质量成本更高效；此评估明确报告了两者，而不是将它们折叠。

为什么验证器消融对这个结果很重要？

基于评分标准的验证器/重写阶段产生了该计划中测得的最大质量变化（在 20 项任务扩展中配对增量 +51.81），成本约为 2.14x，延迟约为 1.89x（相对于快速核心对照）。配方之间或 Fusion 与基准之间的任何比较都需要披露验证器阶段是否处于活动状态，因为它既改变了成本概况，也改变了公平性框架（验证器具有对评分标准的可见性）。

TokenLab Fusion 今天准备好在真实的编码代理客户端中运行了吗？

没有。协议和工具使用控制架构（规范 IR、兼容性套件、工具所有者模型）作为具有记录协议映射和固定装置的离线兼容性骨架存在，但它尚未包括实时生产网关、大规模真实供应商执行、身份验证/租户或持久跟踪存储。深度研究证明和编码代理线在不同的时间线上进行评估，编码线尚未完成其第一个小样本验证阶段。

15. 研究总结

已证明的内容

在固定的、哈希的、加权 100 项多领域清单上，使用共享证据和角色分离的成本核算，配备验证器的多模型配方实现了相对于 gpt-5.5 +32.60 和相对于 claude-opus-4-8 +45.63 的配对平均得分增量，成本分别为 0.71x 和 0.69x，在 799 个成本行中零调用失败。基于评分标准的验证被确认为测试过的最大单一质量杠杆，相对于快速核心对照的配对增量为 +51.81。相对于两个基准，清单中的每个领域都保持正增量，表明收益并未集中在一种任务类型中。

仍受限的内容

冻结的获胜配方的 Fusion 独立最终重跑不完整（上次检查时为 100 项任务中的 20 项），并且在证明可以被称为端到端可重复之前，必须在没有基准成本的情况下达到完全覆盖并进行干净的就绪审计。产生证明的配方依赖于产品成本路径打算淘汰的历史高端 Gemini Pro 锚点；对于预期的无高端 Gemini 替换，尚不存在配对证据。延迟仍然是一个未解决的产品权衡，特别是对于任何编码代理应用。尽管在该领域具有巨大的得分优势，但金融源充分性仍带有八个未解决的高严重性警告。协议兼容性层在架构上已定义，但尚未成为运行中的生产网关。

接下来应收集什么证据

在剩余的 80 项任务上完成 Fusion 独立最终重跑，并重新运行就绪审计，以确认在循环中没有基准成本的情况下具有可重复性。运行一个配对的、相同任务 ID 的 canary 测试，用 deepseek-v4-pro 进行合成/验证，用 glm-5.2 进行判断，以代替高端 Gemini Pro 锚点，在进行任何全清单声明之前从小规模开始。在将金融领域结果视为完全解决之前，通过特定领域的源门控工作关闭八个悬而未决的金融证据充分性警告。将兼容性套件从离线骨架扩展到实时供应商执行，并运行小样本编码代理验证阶段（约五项任务），以测试工具所有者/审阅者架构是否在投资更多编码代理基础设施之前产生可测量的面板优于单一模型的优势。每一项都是具体的、可证伪的下一个实验，而不是一般的路线图项目。