TokenLab Fusion: DRACO Weighted-100研究データセットによるエビデンス

研究状況に関する注記: TokenLab Fusionは、レシピの有効性を証明するものであり、歴史的に強力なベースラインを確立するための研究結果です。製品化を主張するものではありません。結果はプレミアムなGeminiアンカーを使用して生成されました。プレミアムな依存関係なしでの再現性を確認するため、プレミアムを使用しないカナリア実行およびFusionのみによる最終的な再実行を保留しています。DRACO weighted-100はTokenLab独自の内部評価であり、外部の標準化されたベンチマークではありません。これに応じて解釈してください。

要旨

本レポートは、TokenLab Fusionの現在の検証状況をまとめたものです。これは、固定された重み付け100タスクの多領域研究スイート（金融、ショッピング/製品比較、学術、テクノロジー、一般知識、UXデザイン、法律、医療、Needle-in-a-Haystack、パーソナライズド・アシスタントの各タスクを網羅するDRACO weighted-100研究マニフェスト）に対して評価された、マルチモデル推論時オーケストレーションシステムです。中心的な研究課題は、モデルのアンサンブルがベンチマークの一部で単一モデルよりも高い総合成績を出せるかどうかではなく、規律あるレシピ（パネル構成、合成、ルーブリックを考慮した検証、証拠収集、コスト計算）を、特定の有利なサブセットだけでなく、あらゆる領域で強力な単一モデルのベースラインを上回る、再現可能で監査可能かつアップグレード可能なシステムとして組織化できるかどうかです。

現在までの最も強力な証拠は、固定された100タスクのDRACOデータセットにおいて、gpt-5.5およびclaude-opus-4-8をベースラインとしたペア評価であるweighted-100研究実行から得られています。TokenLab Fusionの平均スコアは86.04で、gpt-5.5に対するペア平均デルタは+32.60（勝敗引き分け 95/4/1、コスト 0.71x、スコア対ドル比 2.26x）、claude-opus-4-8に対するペア平均デルタは+45.63（勝敗引き分け 97/2/1、コスト 0.69x、スコア対ドル比 3.06x）でした。これらの数値は、固定されたマニフェストに対して強力かつペアで再現性のあるものですが、本レポートでは脚注ではなく重要な知見として扱う2つの重要な限定事項があります。1つは、勝利したレシピが合成/判定/検証アンカーとして過去のプレミアムなGemini Proモデル（gemini-3.1-pro-preview）を使用していたこと、もう1つは、システムがリリース準備完了となるには、結果を完了と見なす前にFusionのみによる最終的な再実行が必要であることです。本レポートの残りの部分では、強力なベースライン研究実行で証明されたことと、製品化を主張する前に解決が必要な課題を分離し、そのギャップを埋めるために緊急に必要とされる証拠（特にプレミアムなGeminiを使用しないカナリア実行）について説明します。

1. 研究の範囲と目的

TokenLab Fusionは、トレーニング済みのマージ済みウェイトモデルではなく、複数のアップストリームモデル間での推論時オーケストレーションとして定義されます。単一のリクエストは、いくつかのモデルの役割（パネリスト、合成者、検証者、判定者、レビュアー、ツールオーナー）を通じてルーティングされ、レシピによって出力の生成、比較、書き換え、返却の方法が制御されます。これは、ステートレスなアンサンブル投票よりも、検証可能なマルチモデルの製品構成に近いものです。構造的な系譜はMixture-of-AgentsやLLM-Blenderと共通していますが、以下に説明するレシピ選択およびコスト計算の仕組みはそれらを超えています。

評価対象はweighted-100研究スイートです。これは、多領域にわたる証拠密度の高い、厳密なルーブリックでスコアリングされた研究タスクの固定セットです。この研究プログラムは、弱いベースラインとの比較を明確に拒否します。受け入れられる唯一のベースラインはgpt-5.5とclaude-opus-4-8であり、両者ともFusionパネル、合成、判定、検証、ツールオーナーの役割からは厳密に除外されています。ベースラインモデルをパネルに混入させることは、「より安価なマルチモデルレシピが強力な単一モデルを打ち負かす」という主張を無効にするためです。

本稿で参照されるモデル識別子（gpt-5.5、claude-opus-4-8、gemini-3.1-pro-preview、deepseek-v4-pro、glm-5.2）は、2026年7月7日に観測されたTokenLabモデルの信頼できる唯一の情報源（SSOT）スナップショットから取得された、TokenLab Fusionプラットフォームの論理モデルIDおよび研究ベースラインIDです。これらの識別子は、独立した公開監査済みのリーダーボードではなく、内部ルーティングおよび評価ラベルを示しており、これらの名称が外部ベンダーの公開リリース名称と1対1で対応しているという主張はなされていません。gpt-5.5やclaude-opus-4-8のような識別子は、TokenLab SSOTから抽出された内部ベースラインおよびルーティングラベルであり、公開ベンダーのモデルバージョン指定として解釈すべきではありません。したがって、本稿の強力なベースライン比較は、製品化の準備が完全に整ったという主張として読むべきではありません。プレミアムなGeminiを使用しないカナリア評価および残りのFusionのみによる再実行はまだ完了しておらず、さらなる検証が保留されています。ここに提示された結果は、時点を切り取った研究比較であり、最終的または完全に検証された製品ベンチマークの結果ではありません。

2つの製品ラインがこの研究インフラを共有していますが、レシピは異なります。Deep Researchライン（証拠に基づき、ソースの十分性を確認し、検証を重視）と、Coding Agentライン（ツール実行を重視し、レイテンシに敏感、まだフェーズ0以前）です。本レポートは主にDeep Researchラインに関するものです。これは、強力なベースラインに対するペアの証拠が現在存在しているためです。

2. 固定された100タスクのマニフェストが必要な理由

単一スライスのベンチマーク実行では、レシピの決定を裏付けることはできません。100タスクのマニフェストは、6つの異なるエンジニアリング機能を同時に果たすために存在します。それは、領域横断的なレシピ選択（1つの幸運なスライスへの過学習の回避）、ルーターポリシーのトレーニングデータ、モデルの役割割り当ての証拠、コスト/品質/レイテンシ曲線の構築、回帰テストおよび将来のモデルアップグレードのカナリアのための失敗ライブラリ、そしてアップストリームモデルが変更されるたびに完全な再実行を必要としない再利用可能な階層型回帰セットです。

報告された実験全体で使用されたマニフェストはweighted-100-v1であり、固定されたタスクセットハッシュ（b08a09aacbc76c5e5aafd5ca0a6fa614a5061bc478f905007ae5aee4a93fc43a）を持つ決定論的な重み付けスライスです。その領域の重み付けは均一ではありません。金融（20）、ショッピング/製品比較（16）、学術（12）、テクノロジー（10）、一般知識（9）、UXデザイン（9）、法律（6）、医療（6）、Needle-in-a-Haystack（6）、パーソナライズド・アシスタント（6）です。Fusionの利得は領域に依存するため、この分布は重要であり、特に金融は最も永続的なオープンリスクを抱えています（セクション6）。

DRACO weighted-100は、本稿のTokenLab Fusion評価パイプライン内でのみ使用されるTokenLab内部の研究データセットです。これは外部で公開・維持されているベンチマークではなく、第三者のベンチマークスイートと提携、承認、またはそこから抽出されたものではありません。アイテムサンプリング、カテゴリ重み付けスキーム、出所メタデータを含むweighted-100マニフェストは、本稿と併せて公開されていない非公開のTokenLabソースマップによって管理されています。したがって、報告されたスコアは、公開リーダーボードやコミュニティのベンチマークと比較可能なスコアではなく、TokenLabの評価手法に固有の内部比較シグナルとして解釈されるべきです。読者は、DRACO weighted-100の結果が、同様の名前や構造を持つ他のデータセットに一般化される、またはそれらと相互参照できると想定すべきではありません。

3. 方法論

研究ループは証拠第一主義です。すべての強力な主張は、固定されたマニフェスト、タスクID、領域の重み、ランタイム設定、生の実行結果ファイル、コスト行、ベースライン行に遡れる必要があります。これらのアーティファクトを伴わない集計された要約数値は、証拠として扱われません。

4つの方法論的コミットメントが最も重要です。

不透明なネイティブ検索よりも共有された証拠を優先

検索、フェッチ、リーダーツールは、テスト対象のモデルの外部にある証拠パックを生成し、その同じパックが可能な限りパネルモデルとベースラインモデルの両方に提供されます。これにより、「モデルが推論と合成をうまく行えるか」と「モデルがたまたまうまく検索できたか」を切り離すことができ、これはweighted-100研究スイートの証明実行、強力なベースライン比較、モデルアップグレードのカナリア、最終再実行のための厳格な要件です。

役割別に分離されたコスト計算

ベースラインを有効にした実行では、集計コスト列にFusion呼び出しとベースライン呼び出しが混在します。これを直接使用すると、Fusionのみのコスト主張が過大または過小評価されます。weighted-100研究実行の分析では、ベースラインおよびベースラインスコアの行を明示的に除外し、799のコスト行全体で$12.837461というFusionのみの公式合計を算出しています。この区別（ブレンドされた合計ではなく、役割別に分離されたコスト行）が、本レポートのすべてのコスト調整済み品質主張の基礎となっています。

非ペア平均よりもペア比較を優先

Fusionとベースラインの出力は同一のタスクIDで比較され、結果は平均デルタ、ブートストラップ信頼区間、符号検定のp値、勝敗引き分け数、コスト倍率、レイテンシ倍率、失敗率デルタとして報告されます。タスクのカバー範囲が異なる非ペア平均は、証明として受け入れられません。

再開可能でシャード化された実行

weighted-100研究実行は、10タスクずつの10個のシャードとして実行され、その後、単一の証明アーティファクトに集約されました。最終的なFusionのみの再実行（セクション6）も、同じ段階的で再開可能なパターンを使用します。

方法論の次元	使用したアプローチ	根拠
タスク選択	固定された重み付け100タスクのマニフェスト（ハッシュ化）	チェリーピックされたスライスを防ぎ、再実行を可能にする
証拠収集	共有された再現可能な証拠パック	推論品質を検索の運から切り離す
ベースラインの分離	gpt-5.5、claude-opus-4-8をパネル/合成/判定/検証から除外	Fusionの主張へのベースライン混入を防ぐ
コスト計算	役割別に分離された行。Fusionのみの合計はベースライン呼び出しを除外	ブレンドコストによるコスト/ドル比の歪みを回避
比較設計	ペア、同一タスクID、ブートストラップCI、符号検定	領域およびサンプルの分散を制御
実行	シャード化された再開可能なランナー	部分的な進捗追跡と段階的な再実行を可能にする
スコアリング	領域ルーブリックに対するルーブリックベースの検証者/判定者スコアリング	検証者のアブレーションとスコア分解を可能にする

TokenLab Fusionは、複数のメトリクス信号を複合スコアに集約する自動スコアリングパイプラインを通じてモデル出力を評価します。スコアリングルールは、この段階では手動レビューなしでプログラム的に適用されます。この方法に関する公開された人間による監査または評価者間の一致データはまだ公開されていません。報告された結果は自動評価のみを反映しており、独立した検証を待っている状態です。

データの可用性

本研究の基礎となるマニフェストハッシュ、コスト行、生の実行結果ファイル、モデルの信頼できる唯一の情報源スナップショット、およびソースマップは、TokenLabの内部研究アーカイブに保持されています。これらの資料はアクセス制限されており、本稿と併せて公開されていません。その結果、基礎となるデータの編集済みサンプルまたは公開サブセットがリリースされるまで、公開された再現性は限定的です。

4. レシピの進化：モデルを増やすことはレバーではない

初期の重要な発見は否定的なものです。パネルにモデルを追加しても品質は確実に向上するわけではなく、向上すると想定することもできません。レシピはパネルサイズを拡大することではなく、制御されたアブレーションのシーケンスを通じて進化しました。

制御群としての高速コア

低コストで多様かつ安定した3モデルパネル（gemini-3.1-flash-lite、deepseek-v4-flash、grok-4-1-fast-non-reasoning）が、すべての追加およびすべての検証者バリアントが測定されるコスト/レイテンシの制御条件として機能します。

具体的な低コストモデル構成

TokenLab Fusionは重みを統合したモデルではなく、推論時のオーケストレーション層です。これは複数の既存モデルへの呼び出しを調整し、実行時に出力を結合する仕組みです。これを具体化するため、ベースラインモデルである gpt-5.5 および claude-opus-4-8 は、パネル、合成、判定、検証、レビュー、ツールオーナーといったすべてのFusionの役割から除外されています。これにより、報告される性能向上が、パイプライン内部でこれらのベースラインが隠れた処理を行っていることに起因するものではないことを保証しています。

デフォルト構成は、並列実行される3つのモデルによる高速かつ低コストなコントロールパネルです。これに加え、品質モードで評価されるオプションの第4のパネリスト、上限性能を証明するための履歴アンカー、およびペアとなる証拠を待機中のプレミアムなしのカナリア候補が含まれています。

役割	モデル	ステータス
高速低コストコントロールパネル	gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning	検証中のデフォルト低コストパネル
品質向上候補	kimi-k2.7-code	第4のパネリストとして評価。昇格なし（レイテンシが増加し、検証器との組み合わせで一部のドメインで回帰が発生）
履歴性能アンカー	gemini-3.1-pro-preview	強力なベースラインレシピにおける合成/判定/検証/修正に使用。上限性能を証明するものであり、想定される製品コスト経路ではない
プレミアムなしカナリア候補	deepseek-v4-pro (合成/検証/修正), glm-5.2 (独立判定)	目標とするコストパス。ペアとなるカナリアの証拠を待機中

オーケストレーションは、モデル呼び出しを無秩序に行うのではなく、以下の固定されたシーケンスに従って進行します。

1. 共有エビデンスパックを一度作成し、すべてのパネリストが同一のコンテキストに基づいて推論できるようにする。
2. 低コストパネリストをそのエビデンスパックに対して並列実行する。
3. パネルの出力を比較可能な共通フォーマットに正規化する。
4. パネル分析を実行し、合意、対立、不足している証拠を抽出する。
5. 単一の回答を合成し、ルーブリック対応の検証器を実行する。検証器が問題を指摘した場合は一度だけ修正を行う。
6. 最終回答をスコアリング/判定する。ツールオーナーを単一に指定し、パネリストが直接ツールを実行することはない。

kimi-k2.7-code の結果および保留中の deepseek-v4-pro/glm-5.2 カナリアについては、評価済みだが評価済みだが未採用の構成と想定される製品コストレシピが混同されるのを避けるため、デフォルトのパネル数値とは別に報告されます。

Kimiの追加：実在するがわずかなシグナル

高速コアにコーディング/多様性モデルを追加した20タスクのパイロットでは、平均スコア34.36（高速コアは31.37）が得られました（ペアデルタ +2.99、95% CI -0.04〜6.10、勝敗引き分け 11/6/3、コスト ~1.01x、レイテンシ ~1.57x）。CIがゼロをまたぎ、符号検定のp値が0.3323であることは、これをレイテンシに敏感なデフォルトにする正当性がないことを意味します。また、一部の学術、医療、テクノロジーのタスクで回帰が見られました。導き出された結論は役割固有のものです。このクラスのモデルは、汎用の常時稼働パネリストとしてではなく、コーディング/フロントエンド/長文脈のスペシャリストとして扱うのが最適です。

GLMおよびDeepSeek Proの追加には、包括的な包含ではなく役割が必要

GLMの追加は、小さなスライスで1.49xのコストと1.85xのレイテンシで約+1.22のスコアしか生み出さず、判定者/合成者/コーディングレビュアーの役割には有用な証拠ですが、デフォルトのパネル昇格には不十分な証拠でした。DeepSeek V4 Proの評価は、価格修正（入力$0.435、出力$0.87/1Mトークン）後に大きく変化し、以前の「高すぎる」という判断を無効にし、低コストレシピにおける合成者/検証者の役割の有力候補に昇格させました（セクション6）。DeepSeek V4 Proの価格修正は、2026年7月7日に観測された内部モデルSSOTに由来するものであり、外部のベンダー公開価格の引用ではなく、研究上のコスト仮定を構成するものです。

検証者/書き換えが発見された最大の単一レバー

20タスクの拡張において、高速コアにルーブリックを考慮した検証者/書き換えステージを追加したところ、平均スコア81.70（高速コアのみの場合は29.88）が得られ、ペアデルタは+51.81（95% CI 42.64〜61.23）、勝敗引き分け 20/0/0、コスト2.14x、レイテンシ1.89xでした。これは漸進的な改善ではなく、レシピが何を実行できるかという構造的なシフトです。また、これは無料ではありません。コスト倍率は1つの分析パスで自動保持しきい値の2.0xを超えました。つまり、研究深層階層には明らかに価値がある同じ結果が、高速/安価な製品階層にとっては現実的な制約となります。より安価な代替案はテストされ、デフォルトとしては拒否されました。ライトレビュー/ライトスタックバリアントは完全な検証と比較して約28ポイント低下し、すべてのペア比較で敗北しました。弱い領域のヒューリスティックに基づく選択的検証はコストの約11%しか節約できず、平均スコアを-8.53失いました。高リスクのみの選択的バリアントはさらに失いました。したがって、選択的検証は解決されたコスト削減手法ではなく、未解決のルーティング研究課題のままです。

5. 強力なベースラインの結果：証明されたこと

weighted-100の強力なベースライン研究実行は、プログラム内で最も強力な証拠アーティファクトです。これはgpt-5.5とclaude-opus-4-8をベースラインのみの比較対象として保持し、すべてのFusionの役割から除外しています。

100タスク全体でのFusionのみの要約：

メトリクス	値
平均スコア	86.04
公式合計コスト	$12.837461
公式平均コスト	$0.128375
プラットフォーム合計コスト	$6.568959
公式ドルあたりのスコア	670.21
失敗した呼び出し	0
失敗率	0.0%
平均呼び出しレイテンシ	216.4s
コスト行	799
集計フォールバックタスク	0

報告された670.21という値は、Fusionのみの生平均スコアをFusionのみの公式平均コストで割ったものを示しています。一方、2.26xおよび3.06xの数値は、一致する比較構成に対して計算された、ペアのベースライン相対スコア対ドル比の倍率を表しています。

2つの強力なベースラインに対するペア比較：

ベースライン	ベースライン平均スコア	Fusionデルタ	95% CI	勝敗引き分け	Fusionコスト倍率	スコア/$比	レイテンシ倍率
gpt-5.5	53.43	+32.60	28.13 – 37.28	95/4/1	0.71x	2.26x	1.23x
claude-opus-4-8	40.41	+45.63	40.85 – 50.21	97/2/1	0.69x	3.06x	2.15x

品質およびコスト調整後の品質は、このマニフェストにおいて明らかにFusionの勝利です。0.0パーセントポイントの失敗率デルタは、安定性が差別化要因ではなく引き分けであることを示しています。レイテンシは明らかにFusionの敗北です。gpt-5.5より1.23x遅く、claude-opus-4-8より2.15x遅くなっています。このデータから導かれる誠実な製品の枠組みは、低レイテンシのインタラクティブなチャットではなく、高品質でコスト効率が高く、検証可能なディープリサーチです。

領域別の内訳は、両方のベースラインに対してすべての領域で正のデルタを示しており、改善が単一領域のアーティファクトであるという説を否定しています。選択された値：gpt-5.5に対して、金融 +37.13、ショッピング +38.20、Needle-in-a-Haystack +62.56、テクノロジー +33.49。claude-opus-4-8に対して、ショッピング +55.96、Needle-in-a-Haystack +69.38、テクノロジー +52.43、UXデザイン +52.77。金融は、最も明確な未解決リスクを抱える領域でもあります。8つの高重大度の証拠警告はすべて金融であり、finance:needs_more_sourcesとフラグが立てられ、メトリクス用語、期間用語、現在の主要期間のソース収集におけるギャップが指摘されています。これらは呼び出しの失敗ではなく、ソースの十分性に関する警告であり、スコアデルタが大きい場合でも、金融固有の証拠ルーティングがまだ完全には解決されていないことを示しています。

6. 準備状況：証明済み vs. 保留中

ステータスの2つの層を分離することが重要です。これはレシピの証明結果であり、出荷されたシステムの結果ではありません。プログラム全体で使用されている準備状況の追跡は、その区別を明確に反映しています。

合格：固定された重み付け100タスクのマニフェスト、パネルポリシー、証拠ルーターのシェイクダウン、パネルアブレーションの証明、検証者/合成者アブレーションの証明、強力なベースライン構成そのもの、弱いソースゲートの証明、レシピアーティファクト、およびセクション5で説明した強力なベースラインペア証明。

未合格：Fusionのみによる最終再実行。

最終再実行は、強力なベースラインに対する2回目の比較ではありません。その目的は異なり、より限定的です。凍結された勝利レシピが、実行時にベースラインコストなしで同じ100タスクのマニフェスト上で再現されること、ランタイム構成がレシピ定義と一致すること、コスト行が完全であること、およびFusionのみのパスにベースラインの混入がないことを確認することです。最新の段階的実行の時点で、カバー範囲は100タスク中20タスクがスコアリング済み、20/20がランタイム互換、Fusionのみの公式コストは$2.619654、ベースラインコストは$0となっており、残りの80タスクは今後のオフセットステージで実行される予定です。

この区別は、weighted-100研究実行の数値をどのように読むべきかという点で重要です。強力なベースラインデルタは現実的でペアですが、ループ内にベースラインコストなしでエンドツーエンドで独立して再現されていないレシピで測定されており、製品コストパスが意図的に引退させようとしている合成/検証/判定アンカーを使用しています。

特にGemini Proアンカーに関して、これらの数値を生成した凍結レシピは、合成/判定/検証アンカーとして過去のプレミアムなGemini Proモデルであるgemini-3.1-pro-previewを使用していました。その構成は、レシピ構造とルーブリックを考慮した検証が達成できる上限を確立しますが、製品コストパスが出荷を意図している構成ではありません。プレミアムなGemini Proの価格設定はターゲットのコストプロファイルに適合しないため、次に必要な証拠アーティファクトは、プレミアムなGeminiを使用しないカナリア実行です。これは、コスト効率の高いレシピが証明された品質上限と一致するという主張を行う前に、同じタスクIDに対して、合成/検証にdeepseek-v4-proを、判定にglm-5.2を代用して実行される、小規模なペア再実行です。

7. プロトコルと互換性：なぜ1つのチャットエンドポイントでは不十分なのか

単一のOpenAI互換チャットエンドポイントに対してのみ機能するレシピは、実際のコーディングエージェントクライアントとの接触に耐えられません。Chat Completionsは単純な会話用途には十分ですが、エージェントクライアントが依存するセマンティクス（型付き出力アイテム、関数呼び出し/ツール結果のペアリング、ストリーミングアイテムイベント、ステートフル対ステートレスな履歴、プロバイダー固有の順序保証）を欠落させます。

重要なインターフェースと、それぞれが持つセマンティクスは、損失なしに1つの形状に集約できないほど異なります。

インターフェース	維持されなければならない重要なセマンティクス
OpenAI Responses	型付き出力アイテム、開発者/システム指示階層、関数呼び出しと関数呼び出し出力、previous_response_id、store、ストリーミングアイテムイベント、使用量計算
OpenAI Chat	レガシーメッセージ/ツール。劣化したファサードとして使用可能だが、互換性の損失はログに記録する必要がある
Anthropic Messages	トップレベルのシステムフィールド、コンテンツブロック、tool_use/tool_result、ステートレスな全履歴リクエスト、stop_reason、200以降のストリームエラー
Codexスタイルクライアントプロファイル	レスポンス優先、store、previous_response_id、ストリーミングツール引数、ツール結果リプレイ、厳密なイベント順序
Claude Codeスタイルクライアントプロファイル	Anthropic Messages、即時のtool_result順序、並列ツールバッチ、disable_parallel_tool_use、モデル発見許可リスト

アーキテクチャ上の回答は、正規の中間表現（IR）です。外部プロトコルは1つの内部リクエスト/レスポンス/ストリーム/ツール/使用量/エラー/トレース表現にマッピングされ、レシピ実行とプロバイダーアダプターは、単一のワイヤプロトコルではなく、そのIRに対して動作します。IRは少なくとも以下を保持する必要があります：会話とターンの識別子、プロバイダー状態ポインター（previous_response_id）、クライアントプロトコルと公開レシピ識別子、システム/開発者/ゲートウェイ/レシピ指示の出所と優先順位、メッセージ、コンテンツブロック、画像、派生テキスト、ツール、ツール結果、ツール選択、並列ツールポリシー、モダリティと生成設定、互換性損失の記録、使用量行と役割別に分離されたコスト行、および証拠、検索、ツール、コスト、モデルの役割活動をカバーするトレース。

実用的な正当性は具体的です。Anthropicのtool_resultは、一致するtool_useの直後に続く必要があります。OpenAI Responsesの関数呼び出し出力はcall_idでリプレイする必要があります。チャットファサードは開発者メッセージの優先順位を完全に保持できません。Claude Codeはターンごとにステートレスな全履歴を送信しますが、Responsesベースのクライアントはプロバイダー側の状態ポインターに依存します。これらのケースを直接実行するIRと互換性スイートがなければ、システムはベンチマークに合格しても、ツールループが正しく完了しないため、実際のエージェントクライアント内では失敗する可能性があります。

現在の実装状況は、楽観的ではなく正確に述べる必要があります。互換性レイヤーは、プロトコルドキュメント、アダプターIR定義、ゲートウェイ契約フィクスチャ、ターンプランナー、ストリームライター、ツール/証拠フィクスチャ、および集計互換性テストスイートとして存在します。これはオフラインの互換性スケルトンであり、プロトコルの形状を制約し、ギャップを表面化させ、初期の設計ドリフトを防ぐには十分ですが、まだライブの製品ゲートウェイではありません。実際のプロバイダー実行、クライアント向けのストリーミング製品インターフェース、ライブツール実行、製品認証/テナンシー、または永続的なトレースバックエンドはまだ含まれていません。公開モデルの発見は、名前空間化された公開レシピ識別子のみを公開するように設計されています。非公開または名前空間化されていないモデルIDリクエストは、クライアントがレシピ、コスト、またはトレースの境界をバイパスすることを許可するのではなく、閉じた状態で失敗（例：model_not_public）する必要があります。

8. ツール使用制御モデル

マルチモデルのツール呼び出しは、このシステムのコーディングエージェント拡張において最も運用上危険な部分です。複数のモデルが同じターンで独立してツール呼び出しを発行できる場合、結果として重複したファイル編集、重複した外部API呼び出し、重複した課金、同時書き込み、競合するシェルコマンド、または認証情報の露出が発生する可能性があります。採用された制御モデルは、意図的に制限的です。

• ターンには、デフォルトで正確に1つのアクティブなツールオーナーが存在します。
• 他のモデルはレビュアーまたは批評家として行動し、変更を提案できますが、ツールを実行することはできません。
• モデルの出力に含まれるツール形状のテキストは、それ自体では実行権限を持ちません。
• すべてのツール呼び出しは、実行の決定が下される前に正規のToolCall IRに正規化されます。
• スケジューラーは、各呼び出しをexecutable（実行可能）、advice_only（助言のみ）、blocked（ブロック）、またはrequires_approval（承認が必要）に分類します。
• 読み取り専用、ネットワーク読み取り、および計算のみの呼び出しは、安全な条件下で並列グループ内で同時に実行できます。
• 書き込み、シェル書き込み、支払い、認証情報、および破壊的なクラスの呼び出しは、デフォルトでシリアル化され、承認ゲートが設けられます。
• ツール結果は、ターゲットプロトコルの期待される形状に決定論的にリプレイされます。
• 部分的なJSONは決して実行されません。適切に形成されたJSONであっても、スキーマ、副作用、承認、およびオーナーチェックに合格する必要があります。

これは、複数のエージェントがすべて同時に問題を「解決」しようとする一般的なマルチエージェントデモンストレーションからの有意義な逸脱です。製品化に向けたコーディングレシピには、実行の安全性に対する役割の規律が必要です。レビュアーは提案されたパッチがテストスイートを壊すことをフラグ立てできますが、それ自体が破壊的なシェルコマンドを実行することはできません。ツールオーナーはファイル編集やシェルコマンドを開始できますが、その出力は実行前にゲートウェイによって検証されます。

これはまた、モデルライブラリのツール機能タグをどのように読むべきかを制約します。「ツール使用」タグは、モデルがツール呼び出しを表現できる可能性があることを意味し、製品のツールオーナーになることが許可されていることを意味するわけではありません。オーナーのステータスへの昇格には、ストリーミングツール引数、ツールIDの安定性、不正なJSONの修復、ツール結果のリプレイ、並列ツールポリシー、使用量計算、およびエラー形状をカバーする互換性スイートに合格する必要があります。関連するエッジケースとして、インラインツールの「救済」があります。一部のプロバイダーは、ツール呼び出しをアシスタントテキスト（XML/JSONブロック、プライベート関数タグ、オブジェクトまたは二重エンコードされた引数）として出力します。アダプターレイヤーはこれらのダイアレクトを検出して修復できますが、修復は候補となるToolCall IRを生成するだけであり、実行権限を付与するわけではありません。また、現在のオーナーのレスポンステキストのみにスコープされ（ユーザーテキスト、ツール結果、レビュアーのメモ、最終的な融合された回答には決して適用されません）、修復された呼び出しは、オーナー、スキーマ、副作用、承認、並列処理、およびべき等性のゲートをクリアする必要があります。繰り返される不正なJSONは、黙って実行されるのではなく、そのターンのオーナーの互換性チェックを失敗させる必要があります。

9. ビジョンとウェブ検索：公平性 vs. 製品体験

評価パスと製品パスは、ここで意図的に分岐します。ベンチマークの証明は共有された再現可能な証拠を使用します。製品リクエストはネイティブ検索やビジョンを使用する場合がありますが、追跡可能な場合に限られます。

検索は3つの異なるパスを通じて処理されます。shared_evidence（Fusion所有の再現可能な外部検索/フェッチ/読み取りパック。weighted-100研究スイートの証明実行、強力なベースライン比較、モデルアップグレードのカナリア、最終再実行に必須）、native_search（モデルまたはプロバイダー自身のウェブ/ブラウズ/グラウンディング機能）、およびexternal_search（フェッチ、ブラウザ読み取り、ドキュメント抽出などの追跡可能な外部ツール）。ネイティブ検索は禁止されていません。製品体験を向上させる可能性がありますが、公平なベンチマークの主張をサポートすることはできません。なぜなら、モデル自身の検索行動、取得されたソース、および引用トレイルが不透明である場合、比較は同一タスクの比較ではなくなるからです。

ビジョンも同じ論理に従います。ネイティブビジョンと派生したOCR/キャプションテキストは同等の入力ではなく、画像への可視性が異なるモデル間での比較は、公平なビジョン比較ではありません。トレースは各モデルの可視性をnative_image、derived_text、またはnoneとして明示的に記録します。推奨される製品パターンはハイブリッドです。プライマリモデルはネイティブビジョンを使用し、低コストのレビュアーは派生テキストから作業します。現在の事実タスクはデフォルトで外部検索/フェッチを行い、ネイティブ検索はルートが機能プローブに合格し、完全なトレースを生成した場合にのみ許可されます。ただし、評価は常に共有された証拠とハッシュ化された証拠バンドルをデフォルトとします。

10. 役割を意識した選択スキームとしてのモデルライブラリ

TokenLab Fusionの基礎となるモデルカタログは、フラットな機能テーブルから、コスト階層、Fusionの役割、機能タグ、選択メトリクス、ルーティングプロファイル、推奨評価トラックのフィールドを持つ階層型選択スキームに移行しました。これは、「このモデルはどれくらい強力か」という単一のランキングでは捉えきれない製品の現実を反映しています。モデルは優れたコーディングレビュアーでありながら、低レイテンシの研究パネリストとしては不十分である可能性があります。モデルは安価でありながら、ツール呼び出しIDが不安定である可能性があります。モデルは、公平性がゲートされた評価に十分なトレース証拠をまだ持たずに、ネイティブビジョンの機能タグを保持している可能性があります。

層	代表的な役割	製品上の意味
安価な常時稼働	低コストのパネル/レビュアー/判定者候補	デフォルトのパネル構成。ペアのカナリア証拠を通じてのみ昇格
強力な推論アップグレード	困難なタスクのエスカレーション	困難なタスクの合成者/検証者/判定者の役割
コーディング/エージェントスペシャリスト	ツールループ、リポジトリ規模、フロントエンドレビュー	コーディングエージェントのツールオーナーおよびレビュアー候補
ビジョン/検索スペシャリスト	画像/検索重視の製品ワークフロー	公平性がゲートされた評価使用の前にトレースプローブが必要
超長文脈ホールドアウト	巨大なリポジトリ/証拠バンドルの診断	デフォルトのパネルメンバーではない
ブラックボックス比較対象	プロバイダー側のマルチエージェントシステム	参照点のみ。内部Fusionの帰属はそこから導き出せない

引退したプレミアムアンカーに関する現在の判断は、明示的に述べる価値があります。weighted-100の証明を支えた過去のプレミアムなGemini Proモデルは、アクティブな製品コストレシピの計画から引退しており、低価格のGeminiフラッシュ階層モデルも、ターゲットのレシピコストプロファイルに適合しない出力価格設定のためにデフォルトプランから削除されました。これはweighted-100研究実行の結果を修正するものではありません。その証明は記録通りに立っていますが、証明と意図された出荷レシピが現在同じシステムではないことを意味します。これがまさに、プレミアムなGeminiを使用しないカナリアが、オプションではなく次に必要な証拠ステップである理由です。

11. モデルライブラリのアップグレードゲート

繰り返される運用上の懸念は、すべてのモデル変更に100タスクの完全な再実行が必要かどうかです。プログラムによって採用された回答は、両極端（変更のたびに盲目的に完全再実行する、または証拠なしに同じファミリー内で盲目的に代用する）ではなく、リスクに比例した階層的なゲートです。

1. 契約スモーク：ルート、価格設定、ストリーミング、コンテキストウィンドウ、出力制限、モダリティ、およびツール/検索/ビジョンフラグを確認する。
2. 互換性スイート：OpenAI Chat、OpenAI Responses、Anthropic Messages、ツール呼び出し、ツール結果、並列ツール、使用量、エラー、およびストリーム処理を演習する。
3. センチネル評価：モデルが主張する役割に一致する小さな領域固有のセットを実行する（例：金融ソースの十分性、コーディングツールループ、フロントエンド視覚レビュー）。
4. ペアカナリア：品質、コスト、レイテンシ、および失敗率について、同一のタスクIDで現在のレシピと比較する。
5. 100タスクの完全実行：デフォルトのレシピや強力なベースラインの主張を変更する可能性のある候補のために予約されている。

一見些細な同じファミリーのアップグレードであっても、このファンネルを通過する必要があります。価格設定、ツール呼び出しの動作、ストリーミング、およびペアの品質はすべて、共有されたモデルファミリー名から推論されるのではなく、独立した確認が必要です。これが、100タスクのマニフェストが継続的に実行されない理由でもあります。それは最終確認のために予約されており、日々のモデル変更は上記のより安価で高速なゲートによって管理されます。

12. 関連研究と再利用されるもの（およびされないもの）

このプログラムは、その目的を全面的に採用することなく、いくつかの公開された研究およびツール化の方向性を利用しています。Mixture-of-Agentsは、弱いモデルの出力がより強力な合成者を有用に条件付けできるという考えを動機づけますが、セクション4のパネル肥大化の知見は、アブレーションなしの階層化に対して警告しています。LLM-Blenderは、パネル/判定者/合成ステージが類似している候補生成、ペアワイズランキング、生成融合構造に貢献していますが、現在、専用のトレーニング済みランカーがルーブリックベースの判定者に取って代わることはありません。FrugalGPTおよびRouteLLMは、コストを意識したカスケードとルーティングを動機づけますが、ここでのルーティング問題はマルチロール（パネル、合成、判定、検証、検索戦略、ツールオーナーがそれぞれ独立してルーティング可能）であり、単一のバイナリモデルの選択ではありません。Inspect AI、OpenAI Evals、Promptfoo、Ragasなどの評価ハーネスツールは、体系的でCIフレンドリーな評価ループのエンジニアリングパターンを通知しますが、それらのどれも、ここで使用されている固定された重み付けマニフェスト、ソースの十分性チェック、役割別に分離されたコスト行、または領域重み付けされたペア証明構造の代わりにはなりません。

13. 制限事項

制限事項	現在の状態	重要性
プレミアムアンカーへの依存	weighted-100の証明は、合成/判定/検証に過去のプレミアムなGemini Proモデルを使用	意図された製品コストレシピではなく、レシピの上限を証明
最終再実行が不完全	Fusionのみの再実行は100タスク中20タスク、20/20がランタイム互換	ベースラインコストなしでの再現性はまだ完全には確認されていない
公開された人間による監査または評価者間の一致データなし	この評価パイプラインについて、人間による監査および評価者間の一致結果はまだ公開されていない	自動スコアの信頼性と人間による判断に対する一貫性は未検証であり、絶対的なスコア解釈の信頼性を制限する
レイテンシの不利	gpt-5.5に対して1.23x、claude-opus-4-8に対して2.15x	ディープリサーチには許容される可能性があるが、インタラクティブなコーディングエージェントには許容されない可能性が高い
ルーブリックを考慮した検証者	検証者はスコアリングルーブリック/チェックリストを参照する	比較はこれを公開する必要がある。ルーブリックブラインドシステムとは直接比較できない
金融ソースの警告	8つの高重大度のfinance:needs_more_sources警告	大きなスコアデルタにもかかわらず、金融におけるソースの十分性は未解決
ネイティブ機能の推論	検索/ビジョン機能タグは、製品グレードのトレースサポートの証明ではない	公平性がゲートされた評価使用の前に、ルートごとのプローブが必要
互換性レイヤーの成熟度	オフラインスケルトン（IR、フィクスチャ、ルーター契約、プランナー、ストリームライター）	実際のプロバイダー実行、認証/テナンシー、または永続的なトレースストレージを備えたライブゲートウェイではない
価格/ルートの変動性	DeepSeek V4 Proの価格修正により、すでに戦略的決定が変更された	価格設定とルート動作の変化に応じて、モデルライブラリの階層化を再検証する必要がある

14. よくある質問（FAQ）

100タスクの結果は、TokenLab Fusionが一般的にGPT-5.5やClaude Opus 4.8を上回ることを意味しますか？

ペアの結果は、共有された証拠と役割別に分離されたコスト計算を使用し、gpt-5.5とclaude-opus-4-8をFusionパネルから除外した状態で、固定された重み付け100タスクの研究マニフェスト上で具体的に保持されます。これはその範囲内での強力で領域の広い証拠であり、タスクタイプ、証拠条件、またはマニフェスト構成から独立した一般的な主張ではありません。

スコアデルタがすでに大きいのに、なぜGemini Proアンカーが重要なのですか？

デルタは、合成、判定、検証に過去のプレミアムなGemini Proモデルを使用したレシピによって生成されました。その構成はレシピ構造が達成できることを確立しますが、製品パスが出荷を意図しているコストプロファイルではありません。プレミアムなGeminiを使用しない構成が同じタスクIDに対してペアのカナリアとして実行されるまで、達成された品質と意図された出荷コストは、一緒にではなく別々に証明されています。

呼び出しあたりのコストが低いことは、品質単位あたりのコストが低いことと同じですか？

いいえ、その理由で両者は別々に報告されています。0.71xおよび0.69xのコスト倍率は2つのベースラインに対する生コストを説明し、2.26xおよび3.06xのスコア対ドル比はコスト調整後の品質を説明します。システムは呼び出しあたりのコストが安くてもスコアが悪い場合や、呼び出しあたりのコストが高くても品質単位あたりのコスト効率が良い場合があるため、両方が必要です。この評価では、それらを崩すのではなく、明示的に両方を報告しています。

なぜこの結果にとって検証者のアブレーションが重要なのですか？

ルーブリックを考慮した検証者/書き換えステージは、このプログラムで測定された最大の品質変化（20タスクの拡張でペアデルタ+51.81）を、高速コア制御と比較して約2.14xのコストと1.89xのレイテンシで生成しました。レシピ間、またはFusionとベースライン間の比較では、検証者ステージがアクティブかどうかを開示する必要があります。これはコストプロファイルと公平性の枠組み（検証者はスコアリングルーブリックへの可視性を持つ）の両方を変更するためです。

TokenLab Fusionは今日、実際のコーディングエージェントクライアント内で実行する準備ができていますか？

いいえ。プロトコルとツール使用制御アーキテクチャ（正規IR、互換性スイート、ツールオーナーモデル）は、文書化されたプロトコルマッピングとフィクスチャを備えたオフラインの互換性スケルトンとして存在しますが、ライブの製品ゲートウェイ、実際のプロバイダー実行、認証/テナンシー、または永続的なトレースストレージはまだ含まれていません。Deep Researchの証明とCoding Agentラインは異なるタイムラインで評価されており、コーディングラインは最初の小規模サンプル検証フェーズをまだ完了していません。

15. 研究の締めくくり

証明されたこと

固定されたハッシュ化された重み付け100タスクの多領域マニフェスト上で、共有された証拠と役割別に分離されたコスト計算を使用し、検証者装備のマルチモデルレシピは、gpt-5.5に対して+32.60、claude-opus-4-8に対して+45.63のペア平均スコアデルタを達成しました。コストはそれぞれ0.71xおよび0.69xで、799のコスト行全体で呼び出しの失敗はゼロでした。ルーブリックを考慮した検証は、テストされた最大の単一品質レバーとして確認され、高速コア制御に対して+51.81のペアデルタを記録しました。正のデルタはマニフェスト内のすべての領域で両方のベースラインに対して保持されており、利得が1つのタスクタイプに集中していないことを示しています。

保留中のこと

凍結された勝利レシピのFusionのみによる最終再実行は不完全であり（前回のチェックで100タスク中20タスク）、証明をエンドツーエンドで再現可能と呼ぶ前に、クリーンな準備状況監査を伴う完全なカバー範囲に達する必要があります。証明を生成したレシピは、製品コストパスが引退を意図している過去のプレミアムなGemini Proアンカーに依存しています。意図されたプレミアムなGeminiを使用しない代用については、まだペアの証拠が存在しません。レイテンシは、特にコーディングエージェントアプリケーションにとって、未解決の製品トレードオフのままです。金融ソースの十分性は、その領域での大きなスコア上の利点にもかかわらず、8つの未解決の高重大度警告を抱えています。プロトコル互換性レイヤーはアーキテクチャ上定義されていますが、まだ実行中の製品ゲートウェイではありません。

次に収集すべき証拠

残りの80タスクについてFusionのみによる最終再実行を完了し、ループ内にベースラインコストなしで再現性を確認するために準備状況監査を再実行してください。プレミアムなGemini Proアンカーの代わりに、合成/検証にdeepseek-v4-proを、判定にglm-5.2を代用した、同一タスクIDのペアカナリアを、完全なマニフェストの主張を行う前に小規模から開始して実行してください。金融領域の結果を完全に解決済みとして扱う前に、領域固有のソースゲート作業で8つの未解決の金融証拠十分性警告を閉じてください。互換性スイートをオフラインスケルトンからライブプロバイダー実行に向けて拡張し、コーディングエージェントインフラへのさらなる投資の前に、ツールオーナー/レビュアーアーキテクチャがパネル対単一モデルの測定可能な利点を生成するかどうかをテストするために、小規模なコーディングエージェント検証フェーズ（5タスク程度）を実行してください。これらはそれぞれ、一般的なロードマップ項目ではなく、具体的で反証可能な次の実験です。