TokenLab Fusion: DRACO Weighted-100 연구 데이터셋을 통한 증거

연구 현황 참고: TokenLab Fusion: 본 결과는 레시피 검증을 위한 것으로, 역사적으로 강력한 기준 모델을 사용한 연구 결과이며 상용화 주장이 아닙니다. 결과는 프리미엄 Gemini 앵커 모델을 사용하여 도출되었습니다. 프리미엄 의존성 없이 재현 가능한지 확인하기 위해 프리미엄 모델을 제외한 카나리(canary) 실행 및 Fusion 단독 최종 재실행이 진행 중입니다. DRACO weighted-100은 TokenLab의 독점 내부 평가이며 외부 또는 표준화된 벤치마크가 아닙니다. 이에 따라 해석하시기 바랍니다.

초록

본 보고서는 다중 모델 추론 시간 오케스트레이션 시스템인 TokenLab Fusion의 현재 증거 상태를 문서화합니다. 이 시스템은 고정된 가중치 100개 다중 도메인 연구 제품군(금융, 쇼핑/상품 비교, 학술, 기술, 일반 지식, UX 디자인, 법률, 의학, Needle-in-a-Haystack, 개인화된 비서 작업 등을 포함하는 DRACO weighted-100 연구 매니페스트)을 대상으로 평가되었습니다. 핵심 연구 질문은 모델 앙상블이 벤치마크의 특정 부분에서 단일 모델보다 더 높은 합산 점수를 기록할 수 있는지 여부가 아니라, 규율 있는 레시피(패널 구성, 합성, 루브릭 기반 검증, 증거 소싱, 비용 회계)를 통해 유리한 하위 집합뿐만 아니라 모든 도메인에서 강력한 단일 모델 기준치를 능가하는 재현 가능하고 감사 가능하며 업그레이드 가능한 시스템을 구축할 수 있는지 여부입니다.

현재까지 가장 강력한 증거는 고정된 100개 작업의 DRACO 데이터셋에서 gpt-5.5 및 claude-opus-4-8을 대상으로 수행된 기준 모델 기반의 가중치 100개 연구 실행에서 나왔습니다. TokenLab Fusion은 평균 86.04점을 기록했으며, gpt-5.5 대비 평균 델타 +32.60(승/패/무 95/4/1, 비용 0.71x, 달러당 점수 2.26x), claude-opus-4-8 대비 +45.63(승/패/무 97/2/1, 비용 0.69x, 달러당 점수 3.06x)을 기록했습니다. 이 수치는 고정된 매니페스트를 기준으로 강력하고 재현 가능하지만, 본 보고서에서는 각주가 아닌 일급 결과로 취급해야 할 두 가지 중요한 제한 사항이 있습니다. 승리한 레시피는 합성/판사/검증자 앵커로 과거의 프리미엄 Gemini Pro 모델(gemini-3.1-pro-preview)을 사용했으며, 시스템의 출시 준비 상태를 완료로 간주하려면 Fusion 단독 최종 재실행이 필요합니다. 본 보고서의 나머지 부분에서는 강력한 기준 모델 연구 실행에서 입증된 내용과 상용화 주장 이전에 해결해야 할 과제를 구분하고, 그 간극을 메우기 위해 가장 시급한 프리미엄 Gemini를 제외한 카나리 실행을 포함하여 필요한 구체적인 증거를 제시합니다.

1. 연구 범위 및 목적

TokenLab Fusion은 여기에서 학습된 가중치 병합 모델이 아닌, 여러 업스트림 모델 간의 추론 시간 오케스트레이션으로 정의됩니다. 단일 요청은 여러 모델 역할(패널리스트, 합성자, 검증자, 판사, 리뷰어, 도구 소유자)을 통해 라우팅되며, 레시피는 출력이 생성, 비교, 재작성 및 반환되는 방식을 제어합니다. 이는 상태 비저장 앙상블 투표보다 검증 가능한 다중 모델 상용 구성에 더 가깝습니다. Mixture-of-Agents 및 LLM-Blender와 구조적 계보를 공유하지만, 아래에 설명된 레시피 선택 및 비용 회계 장치는 이를 능가합니다.

평가 대상은 weighted-100 연구 제품군으로, 고정된 다중 도메인, 증거 밀도가 높고 엄격한 루브릭으로 채점된 연구 작업 세트입니다. 연구 프로그램은 약한 기준 모델 비교를 명시적으로 거부합니다. 유일하게 허용되는 기준 모델은 gpt-5.5와 claude-opus-4-8이며, 두 모델 모두 Fusion 패널, 합성, 판사, 검증자 및 도구 소유자 역할에서 엄격히 제외됩니다. 기준 모델로 패널을 오염시키는 것은 "더 저렴한 다중 모델 레시피가 강력한 단일 모델을 능가한다"는 주장을 무효화하기 때문입니다.

본 문서에서 참조된 모델 식별자(gpt-5.5, claude-opus-4-8, gemini-3.1-pro-preview, deepseek-v4-pro, glm-5.2)는 TokenLab Fusion 플랫폼의 논리적 모델 ID이며 2026년 7월 7일에 관찰된 TokenLab 모델 SSOT(Single-Source-of-Truth) 스냅샷에서 캡처된 연구 기준 ID입니다. 이러한 식별자는 독립적으로 공개 감사된 리더보드가 아닌 내부 라우팅 및 평가 레이블을 나타내며, 이러한 이름이 외부 공급업체의 공개 릴리스 명칭과 일대일로 대응한다는 주장은 하지 않습니다. gpt-5.5 및 claude-opus-4-8과 같은 식별자는 TokenLab SSOT에서 도출된 내부 기준 및 라우팅 레이블이므로 공개 공급업체 모델 버전 지정으로 해석해서는 안 됩니다. 결과적으로 본 논문의 강력한 기준 모델 비교는 완전한 상용화 준비 상태에 대한 주장으로 읽혀서는 안 됩니다. 프리미엄 Gemini를 제외한 카나리 평가와 나머지 Fusion 단독 재실행은 아직 완료되지 않았으며 추가 검증을 기다리고 있습니다. 여기에 제시된 결과는 최종적이거나 완전히 검증된 상용 벤치마크 결과가 아닌, 특정 시점의 연구 비교를 나타냅니다.

두 개의 제품 라인이 이 연구 인프라를 공유하지만 레시피는 다릅니다. Deep Research 라인(증거 기반, 출처 충분성 확인, 검증자 중심)과 Coding Agent 라인(도구 실행 중심, 지연 시간 민감, Phase-0 이전)입니다. 본 보고서는 강력한 기준 모델 대비 쌍을 이룬 증거가 존재하는 Deep Research 라인을 주로 다룹니다.

2. 고정된 100개 작업 매니페스트를 사용하는 이유

단일 슬라이스 벤치마크 실행은 레시피 결정을 지원할 수 없습니다. 100개 작업 매니페스트는 6가지 별도의 엔지니어링 기능을 동시에 수행합니다: 도메인 간 레시피 선택(특정 슬라이스에 대한 과적합 방지), 라우터 정책 학습 데이터, 모델 역할 할당 증거, 비용/품질/지연 시간 곡선 구성, 회귀 테스트 및 향후 모델 업그레이드 카나리를 위한 실패 라이브러리, 업스트림 모델이 변경될 때마다 전체 재실행이 필요 없는 재사용 가능한 계층적 회귀 세트입니다.

보고된 실험 전반에 걸쳐 사용된 매니페스트는 weighted-100-v1으로, 고정된 작업 세트 해시(b08a09aacbc76c5e5aafd5ca0a6fa614a5061bc478f905007ae5aee4a93fc43a)를 가진 결정론적 가중치 슬라이스입니다. 도메인 가중치는 균일하지 않습니다: 금융(20), 쇼핑/상품 비교(16), 학술(12), 기술(10), 일반 지식(9), UX 디자인(9), 법률(6), 의학(6), Needle-in-a-Haystack(6), 개인화된 비서(6). Fusion의 이득은 도메인에 따라 다르며, 특히 금융 분야는 가장 지속적인 공개 위험을 안고 있기 때문에 이러한 분포가 중요합니다(섹션 6).

DRACO weighted-100은 본 논문의 TokenLab Fusion 평가 파이프라인 내에서만 독점적으로 사용되는 TokenLab 내부 연구 데이터셋입니다. 이는 외부에서 공개적으로 유지 관리되는 벤치마크가 아니며, 제3자 벤치마크 제품군과 제휴하거나 보증받거나 그로부터 도출된 것이 아닙니다. 항목 샘플링, 범주 가중치 체계 및 출처 메타데이터를 포함한 weighted-100 매니페스트는 본 논문과 함께 게시되지 않는 비공개 TokenLab 소스 맵에 의해 관리됩니다. 따라서 보고된 점수는 공개 리더보드나 커뮤니티 벤치마크와 비교 가능한 점수가 아니라 TokenLab의 평가 방법론에 특화된 내부 비교 신호로 해석되어야 합니다. 독자는 DRACO weighted-100 결과가 유사한 이름이나 구조를 가진 다른 데이터셋으로 일반화되거나 상호 참조될 수 있다고 가정해서는 안 됩니다.

3. 방법론

연구 루프는 증거 우선입니다. 모든 강력한 주장은 고정된 매니페스트, 작업 ID, 도메인 가중치, 런타임 설정, 원시 결과 파일, 비용 행 및 기준 모델 행으로 추적 가능해야 합니다. 이러한 아티팩트가 없는 총합 요약 수치는 증거로 취급되지 않습니다.

네 가지 방법론적 약속이 가장 중요합니다.

불투명한 기본 검색보다 공유된 증거 사용

검색, 가져오기 및 리더 도구는 테스트 중인 모델 외부의 증거 팩을 생성하며, 동일한 팩이 가능한 경우 패널 모델과 기준 모델 모두에게 제공됩니다. 이는 "모델이 추론과 합성을 잘하는가"와 "모델이 우연히 검색을 잘했는가"를 분리하며, weighted-100 연구 제품군 증명 실행, 강력한 기준 모델 비교, 모델 업그레이드 카나리 및 최종 재실행을 위한 엄격한 요구 사항입니다.

역할별 비용 회계

기준 모델이 활성화된 실행에서 총 비용 열은 Fusion 호출과 기준 모델 호출을 혼합합니다. 이를 직접 사용하면 Fusion 전용 비용 주장이 과대 또는 과소 평가될 수 있습니다. weighted-100 연구 실행 분석은 기준 모델 및 기준 모델 점수 행을 명시적으로 제외하여 799개의 비용 행에 걸쳐 $12.837461의 Fusion 전용 공식 총계를 도출합니다. 혼합된 총계가 아닌 역할별 비용 행 구분은 본 보고서의 모든 비용 조정 품질 주장의 근거입니다.

비쌍(unpaired) 평균보다 쌍(paired) 비교

Fusion과 기준 모델 출력은 동일한 작업 ID에서 비교되며, 결과는 평균 델타, 부트스트랩 신뢰 구간, 부호 검정 p-값, 승/패/무 횟수, 비용 승수, 지연 시간 승수 및 실패율 델타로 보고됩니다. 작업 범위가 다른 비쌍 평균은 증거로 허용되지 않습니다.

재개 가능한 샤딩 실행

weighted-100 연구 실행은 10개 작업씩 10개의 샤드로 실행된 후 단일 증명 아티팩트로 집계되었습니다. 최종 Fusion 전용 재실행(섹션 6)도 동일한 단계적이고 재개 가능한 패턴을 사용합니다.

방법론 차원	사용된 접근 방식	근거
작업 선택	고정된 가중치 100개 작업 매니페스트, 해시됨	체리 피킹 방지, 재실행 가능
증거 소싱	공유되고 재현 가능한 증거 팩	검색 운과 추론 품질 분리
기준 모델 격리	gpt-5.5, claude-opus-4-8을 패널/합성/판사/검증자에서 제외	Fusion 주장에 대한 기준 모델 오염 방지
비용 회계	역할별 행; Fusion 전용 총계는 기준 모델 호출 제외	혼합 비용으로 인한 왜곡 방지
비교 설계	쌍 비교, 동일 작업 ID, 부트스트랩 CI, 부호 검정	도메인 및 샘플 분산 제어
실행	샤딩된, 재개 가능한 실행기	부분 진행 상황 추적 및 단계적 재실행 가능
채점	도메인 루브릭에 대한 루브릭 기반 검증자/판사 채점	검증자 절제 및 점수 분해 가능

TokenLab Fusion은 여러 메트릭 신호를 복합 점수로 집계하는 자동 채점 파이프라인을 통해 모델 출력을 평가합니다. 채점 규칙은 이 단계에서 수동 검토 없이 프로그래밍 방식으로 적용됩니다. 이 방법에 대한 공개적인 인간 감사 또는 평가자 간 일치 데이터는 아직 게시되지 않았으며, 보고된 결과는 독립적인 검증을 기다리는 자동 평가 결과만을 반영합니다.

데이터 가용성

본 연구의 기초가 되는 매니페스트 해시, 비용 행, 원시 결과 파일, 모델 SSOT 스냅샷 및 소스 맵은 TokenLab의 내부 연구 아카이브에 보관됩니다. 이러한 자료는 접근이 제한되어 있으며 본 논문과 함께 게시되지 않습니다. 결과적으로 기본 데이터의 수정된 샘플이나 공개 하위 집합이 릴리스될 때까지 공개 재현성은 제한됩니다.

4. 레시피 진화: 모델을 늘리는 것이 핵심이 아님

초기의 중요한 발견은 부정적인 것입니다. 패널에 모델을 추가한다고 해서 품질이 안정적으로 향상되지 않으며, 향상될 것이라고 가정해서도 안 됩니다. 레시피는 패널 크기를 조정하는 것이 아니라 통제된 절제(ablation) 순서를 통해 진화했습니다.

제어 그룹으로서의 빠른 코어

저비용, 다양성, 안정적인 3개 모델 패널(gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning)이 모든 추가 및 검증자 변형을 측정하는 비용/지연 시간 제어 조건 역할을 합니다.

구체적인 저비용 모델 조합

TokenLab Fusion은 가중치 병합 모델이 아닌 추론 시점 오케스트레이션 계층입니다. 이는 여러 기존 모델에 대한 호출을 조정하고 런타임에 그 출력값을 결합합니다. 이를 구체화하기 위해, 기준 모델인 gpt-5.5와 claude-opus-4-8은 패널, 합성, 판정, 검증, 검토 및 도구 소유자 등 모든 Fusion 역할에서 제외되었습니다. 이는 보고된 성능 향상이 파이프라인 내부에서 수행되는 해당 기준 모델들의 숨겨진 작업에 기인한 것이 아님을 보장하기 위함입니다.

기본 구성은 병렬로 실행되는 3개의 모델로 구성된 빠르고 저렴한 제어 패널이며, 여기에 품질 모드에서 평가되는 선택적 네 번째 패널리스트, 성능 상한선 증명을 위한 과거 앵커 모델, 그리고 아직 쌍을 이룬 증거를 기다리고 있는 프리미엄 없는 카나리 후보가 포함됩니다.

역할	모델	상태
빠른 저비용 제어 패널	gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning	검증 중인 기본 저비용 패널
품질 보완 후보	kimi-k2.7-code	네 번째 패널리스트로 평가됨; 미적용 — 지연 시간 증가 및 일부 도메인에서 검증기와의 회귀 발생
성능 상한선 증명 앵커	gemini-3.1-pro-preview	강력한 기준 레시피의 합성/판정/검증/수정에 사용; 상한선을 증명하며, 의도된 제품 비용 경로가 아님
프리미엄 없는 카나리 후보	deepseek-v4-pro (합성/검증/수정), glm-5.2 (독립 판정)	의도된 비용 경로; 쌍을 이룬 카나리 증거 대기 중

오케스트레이션은 무분별한 모델 호출이 아닌 고정된 순서로 진행됩니다.

1. 공유 증거 팩을 한 번 생성하여 모든 패널리스트가 동일한 컨텍스트를 기반으로 추론하도록 합니다.
2. 저비용 패널리스트들을 해당 증거 팩에 대해 병렬로 실행합니다.
3. 비교를 위해 패널 출력값을 공통 형식으로 정규화합니다.
4. 패널 분석을 실행하여 합의, 충돌 및 누락된 증거를 도출합니다.
5. 단일 답변을 합성한 후, 루브릭 기반 검증기를 실행하고 검증기가 문제를 표시할 경우 1회 수정합니다.
6. 최종 답변을 채점/판정하며, 지정된 단일 도구 소유자가 이를 담당합니다. 패널리스트는 도구를 직접 실행하지 않습니다.

kimi-k2.7-code 결과와 대기 중인 deepseek-v4-pro/glm-5.2 카나리는 평가되었으나 평가되었으나 채택되지 않은 구성이 의도된 제품 비용 레시피와 혼동되지 않도록 기본 패널 수치와 별도로 보고됩니다.

Kimi 추가: 실질적이지만 미미한 신호

빠른 코어에 코딩/다양성 모델을 추가한 20개 작업 파일럿은 평균 점수 34.36을 기록하여 빠른 코어의 31.37과 비교되었습니다(쌍 델타 +2.99, 95% CI -0.04 ~ 6.10, 승/패/무 11/6/3, 비용 ~1.01x, 지연 시간 ~1.57x). CI가 0을 포함하고 부호 검정 p-값이 0.3323이라는 것은 이 추가를 지연 시간에 민감한 기본값으로 만들 만큼 강력하지 않음을 의미합니다. 또한 일부 학술, 의학 및 기술 작업에서 퇴보했습니다. 도출된 결론은 역할별입니다. 이 모델 클래스는 범용 상시 패널리스트보다는 코딩/프런트엔드/긴 컨텍스트 전문가로 다루는 것이 좋습니다.

GLM 및 DeepSeek Pro 추가는 포괄적 포함이 아닌 역할이 필요함

GLM 추가는 작은 슬라이스에서 1.49x 비용과 1.85x 지연 시간으로 약 +1.22점만 생산했으며, 이는 판사/합성/코딩 리뷰어 역할에는 유용한 증거가 되지만 기본 패널 승격을 위한 증거로는 충분하지 않습니다. DeepSeek V4 Pro의 평가는 가격 수정(1M 토큰당 입력 $0.435, 출력 $0.87) 이후 실질적으로 변경되었으며, 이는 이전의 "너무 비싸다"는 판단을 무효화하고 저비용 레시피에서 합성/검증자 역할의 선두 후보로 격상시켰습니다(섹션 6). DeepSeek V4 Pro 가격 수정은 2026년 7월 7일에 관찰된 내부 모델 SSOT에서 도출되었으며 외부 공급업체가 게시한 가격을 인용한 것이 아니라 연구 비용 가정으로 구성됩니다.

검증자/재작성이 발견된 가장 큰 단일 레버

20개 작업 확장 시, 빠른 코어에 루브릭 기반 검증자/재작성 단계를 추가한 결과 평균 점수 81.70을 기록하여 빠른 코어 단독의 29.88 대비 +51.81의 쌍 델타(95% CI 42.64 ~ 61.23), 승/패/무 20/0/0, 비용 2.14x, 지연 시간 1.89x를 기록했습니다. 이는 점진적인 개선이 아니라 레시피가 수행할 수 있는 구조적 변화입니다. 또한 공짜가 아닙니다. 비용 승수가 한 분석 패스에서 자동 유지 임계값인 2.0x를 초과했는데, 이는 연구 심층 계층에는 확실히 가치가 있는 결과가 빠르고 저렴한 제품 계층에는 실제 제약임을 의미합니다. 더 저렴한 대안들이 테스트되었으나 기본값으로 거부되었습니다. 라이트 리뷰/라이트 스택 변형은 전체 검증 대비 약 28점을 잃고 모든 쌍 비교에서 패배했습니다. 약한 도메인 휴리스틱에 기반한 선택적 검증은 비용의 약 11%만 절감하면서 평균 점수 -8.53을 잃었으며, 고위험 전용 선택적 변형은 더 많은 점수를 잃었습니다. 따라서 선택적 검증은 해결된 비용 절감 기술이 아니라 여전히 열려 있는 라우팅 연구 문제입니다.

5. 강력한 기준 모델 결과: 입증된 내용

weighted-100 강력한 기준 모델 연구 실행은 프로그램에서 가장 강력한 증거 아티팩트입니다. 이 실행은 gpt-5.5와 claude-opus-4-8을 기준 모델 전용 비교 대상으로 유지하며 모든 Fusion 역할에서 제외했습니다.

100개 작업에 걸친 Fusion 전용 요약:

메트릭	값
평균 점수	86.04
공식 총 비용	$12.837461
공식 평균 비용	$0.128375
플랫폼 총 비용	$6.568959
공식 달러당 점수	670.21
실패한 호출	0
실패율	0.0%
평균 호출 지연 시간	216.4s
비용 행	799
총 폴백 작업	0

보고된 670.21 값은 Fusion 전용 원시 평균 점수를 Fusion 전용 공식 평균 비용으로 나눈 것이며, 2.26x 및 3.06x 수치는 일치하는 비교 구성에 대해 계산된 쌍 기준 모델 상대 점수-대-달러 승수를 나타냅니다.

두 강력한 기준 모델과의 쌍 비교:

기준 모델	기준 모델 평균 점수	Fusion 델타	95% CI	승/패/무	Fusion 비용 승수	점수/$ 비율	지연 시간 승수
gpt-5.5	53.43	+32.60	28.13 – 37.28	95/4/1	0.71x	2.26x	1.23x
claude-opus-4-8	40.41	+45.63	40.85 – 50.21	97/2/1	0.69x	3.06x	2.15x

품질 및 비용 조정 품질은 이 매니페스트에서 확실한 Fusion의 승리입니다. 0.0 퍼센트 포인트의 실패율 델타는 안정성이 차별화 요소가 아닌 동점임을 의미합니다. 지연 시간은 Fusion의 확실한 패배입니다. gpt-5.5보다 1.23x 느리고 claude-opus-4-8보다 2.15x 느립니다. 이 데이터에서 도출되는 정직한 제품 프레임은 저지연 대화형 채팅이 아니라 고품질, 비용 효율적, 검증 가능한 심층 연구입니다.

도메인 분석은 두 기준 모델 대비 모든 도메인에서 양의 델타를 보여주며, 이는 개선이 단일 도메인 아티팩트가 아님을 시사합니다. 선택된 값: gpt-5.5 대비 금융 +37.13, 쇼핑 +38.20, Needle-in-a-Haystack +62.56, 기술 +33.49; claude-opus-4-8 대비 쇼핑 +55.96, Needle-in-a-Haystack +69.38, 기술 +52.43, UX 디자인 +52.77. 금융은 또한 가장 명확한 미해결 위험을 안고 있는 도메인입니다. 8개의 고위험 증거 경고가 모두 금융 분야에서 발생했으며, finance:needs_more_sources로 플래그 지정되어 메트릭 용어, 기간 용어 및 현재 기본 기간 소싱의 격차를 지적했습니다. 이는 호출 실패가 아니라 소스 충분성 경고이며, 점수 델타가 크더라도 금융별 증거 라우팅이 아직 완전히 해결되지 않았음을 나타냅니다.

6. 준비 상태: 입증됨 vs. 여전히 게이트됨

상태의 두 계층을 구분하는 것이 중요합니다. 이는 레시피 검증 결과이지 출시된 시스템 결과가 아니며, 프로그램 전반에 걸쳐 사용된 준비 상태 추적은 그 구분을 명시적으로 반영합니다.

통과: 고정된 가중치 100개 작업 매니페스트, 패널 정책, 증거 라우터 셰이크다운, 패널 절제 증명, 검증자/합성 절제 증명, 강력한 기준 모델 구성 자체, 약한 소스 게이트 증명, 레시피 아티팩트 및 섹션 5에 설명된 강력한 기준 모델 쌍 증명.

미통과: Fusion 전용 최종 재실행.

최종 재실행은 강력한 기준 모델 대비 두 번째 비교가 아닙니다. 목적은 더 좁고 다릅니다. 고정된 승리 레시피가 실행 시 기준 모델 비용 없이 동일한 100개 작업 매니페스트에서 재현되는지, 런타임 구성이 레시피 정의와 일치하는지, 비용 행이 완전한지, Fusion 전용 경로에 기준 모델 오염이 없는지 확인하는 것입니다. 최신 단계적 실행 기준으로 100개 작업 중 20개 채점 완료, 20개 런타임 호환, Fusion 전용 공식 비용 $2.619654, 기준 모델 비용 $0이며 나머지 80개 작업은 추가 오프셋 단계에서 실행될 예정입니다.

이 구분은 weighted-100 연구 실행 수치를 읽는 방식에 중요합니다. 강력한 기준 모델 델타는 실제적이고 쌍을 이루지만, 루프에 기준 모델 비용 없이 처음부터 끝까지 독립적으로 재현되지 않은 레시피로 측정되었으며, 제품 비용 경로가 의도적으로 은퇴시키려는 합성/검증자/판사 앵커를 사용했습니다.

Gemini Pro 앵커에 대해 구체적으로 말하자면, 이 수치를 생성한 고정 레시피는 합성/판사/검증자 앵커로 과거의 프리미엄 Gemini Pro 모델인 gemini-3.1-pro-preview를 사용했습니다. 해당 구성은 레시피 구조와 루브릭 기반 검증이 달성할 수 있는 상한선을 설정하지만, 제품 비용 경로가 출시하려는 구성은 아닙니다. 프리미엄 Gemini Pro 가격은 목표 비용 프로필에 맞지 않기 때문에, 다음으로 필요한 증거 아티팩트는 프리미엄 Gemini를 제외한 카나리입니다. 즉, 비용 효율적인 레시피가 입증된 품질 상한선과 일치한다는 주장을 하기 전에 동일한 작업 ID에 대해 합성/검증에 deepseek-v4-pro를, 판사에 glm-5.2를 대입하여 실행한 쌍을 이룬 소규모 재실행입니다.

7. 프로토콜 및 호환성: 하나의 채팅 엔드포인트로는 충분하지 않은 이유

단일 OpenAI 호환 채팅 엔드포인트에서만 작동하는 레시피는 실제 코딩 에이전트 클라이언트와의 접촉에서 살아남지 못할 것입니다. 채팅 완성은 일반적인 대화 사용에는 충분하지만 에이전트 클라이언트가 의존하는 의미 체계(타이핑된 출력 항목, 함수 호출/도구 결과 페어링, 스트리밍 항목 이벤트, 상태 저장 대 상태 비저장 기록, 공급업체별 순서 보장)를 삭제합니다.

중요한 표면과 각 표면이 가진 의미 체계는 너무 달라서 손실 없이 하나의 형태로 축소할 수 없습니다:

표면	보존되어야 할 핵심 의미 체계
OpenAI 응답	타이핑된 출력 항목, 개발자/시스템 지침 계층, 함수 호출 및 함수 호출 출력, previous_response_id, store, 스트리밍 항목 이벤트, 사용량 회계
OpenAI 채팅	레거시 메시지/도구; 저하된 파사드로 사용 가능하지만 호환성 손실은 기록되어야 함
Anthropic 메시지	최상위 시스템 필드, 콘텐츠 블록, tool_use/tool_result, 상태 비저장 전체 기록 요청, stop_reason, 200 이후 스트림 오류
Codex 스타일 클라이언트 프로필	응답 우선, store, previous_response_id, 스트리밍 도구 인수, 도구 결과 재생, 엄격한 이벤트 순서
Claude Code 스타일 클라이언트 프로필	Anthropic 메시지, 즉각적인 tool_result 순서, 병렬 도구 배치, disable_parallel_tool_use, 모델 검색 허용 목록

건축학적 해답은 정식 중간 표현(IR)입니다. 외부 프로토콜은 하나의 내부 요청/응답/스트림/도구/사용량/오류/추적 표현으로 매핑되며, 레시피 실행 및 공급업체 어댑터는 단일 와이어 프로토콜이 아닌 해당 IR에 대해 작동합니다. IR은 최소한 다음을 전달해야 합니다: 대화 및 턴 식별자 플러스 공급업체 상태 포인터(previous_response_id); 클라이언트 프로토콜 및 공개 레시피 식별자; 시스템/개발자/게이트웨이/레시피 지침의 출처 및 우선순위; 메시지, 콘텐츠 블록, 이미지 및 파생 텍스트; 도구, 도구 결과, 도구 선택 및 병렬 도구 정책; 모달리티 및 생성 설정; 호환성 손실 기록; 사용량 행 및 역할별 비용 행; 증거, 검색, 도구, 비용 및 모델 역할 활동을 포함하는 추적.

실용적인 정당성은 구체적입니다. Anthropic의 tool_result는 일치하는 tool_use를 즉시 따라야 합니다. OpenAI 응답 함수 호출 출력은 call_id로 재생되어야 합니다. 채팅 파사드는 개발자 메시지 우선순위를 완전히 보존할 수 없습니다. Claude Code는 매 턴마다 상태 비저장 전체 기록을 보내는 반면, 응답 기반 클라이언트는 공급업체 측 상태 포인터에 의존합니다. 이러한 사례를 직접 연습하는 IR과 호환성 제품군 없이는 시스템이 벤치마크를 통과하더라도 도구 루프가 올바르게 완료되지 않아 실제 에이전트 클라이언트 내부에서 실패할 수 있습니다.

현재 구현 상태는 낙관적이기보다는 정확하게 명시되어야 합니다. 호환성 계층은 프로토콜 문서, 어댑터 IR 정의, 게이트웨이 계약 픽스처, 턴 플래너, 스트림 작성기, 도구/증거 픽스처 및 집계 호환성 테스트 제품군으로 존재합니다. 이는 프로토콜 모양을 제한하고 격차를 드러내며 초기 설계 드리프트를 방지하기에 충분한 오프라인 호환성 골격이지만, 아직 라이브 상용 게이트웨이는 아닙니다. 아직 실제 규모의 공급업체 실행, 클라이언트 대면 스트리밍 제품 표면, 라이브 도구 실행, 상용 인증/테넌시 또는 지속적인 추적 백엔드를 포함하지 않습니다. 공개 모델 검색은 네임스페이스가 지정된 공개 레시피 식별자만 노출하도록 설계되었습니다. 비공개 또는 네임스페이스가 지정되지 않은 모델 ID 요청은 클라이언트가 레시피, 비용 또는 추적 경계를 우회하도록 허용하는 대신 닫힌 상태(예: model_not_public)로 실패해야 합니다.

8. 도구 사용 제어 모델

다중 모델 도구 호출은 이 시스템의 코딩 에이전트 확장 중 가장 운영적으로 위험한 부분입니다. 여러 모델이 동일한 턴에서 독립적으로 도구 호출을 발행할 수 있는 경우, 결과는 중복 파일 편집, 중복 외부 API 호출, 중복 청구, 동시 쓰기, 충돌하는 셸 명령 또는 자격 증명 노출이 될 수 있습니다. 채택된 제어 모델은 의도적으로 제한적입니다:

• 턴에는 기본적으로 정확히 하나의 활성 도구 소유자가 있습니다.
• 다른 모델은 리뷰어 또는 비평가로 행동하고 변경 사항을 제안할 수 있지만 도구를 실행할 수는 없습니다.
• 모델 출력의 도구 모양 텍스트는 그 자체로 실행 권한이 아닙니다.
• 모든 도구 호출은 실행 결정이 내려지기 전에 정식 ToolCall IR로 정규화됩니다.
• 스케줄러는 각 호출을 executable, advice_only, blocked 또는 requires_approval로 분류합니다.
• 읽기 전용, 네트워크 읽기 및 컴퓨팅 전용 호출은 안전한 조건 하에서 병렬 그룹으로 동시에 실행될 수 있습니다.
• 쓰기, 셸 쓰기, 결제, 자격 증명 및 파괴적 클래스 호출은 기본적으로 직렬화되고 승인 게이트가 적용됩니다.
• 도구 결과는 대상 프로토콜의 예상 모양으로 결정론적으로 재생됩니다.
• 부분 JSON은 절대 실행되지 않습니다. 잘 구성된 JSON이라도 스키마, 부작용, 승인 및 소유자 검사를 통과해야 합니다.

이는 여러 에이전트가 모두 동시에 문제를 "해결"하려고 시도할 수 있는 일반적인 다중 에이전트 시연에서 의미 있는 변화입니다. 상용 코딩 레시피는 실행 안전성에 대한 역할 규율을 요구합니다. 리뷰어는 제안된 패치가 테스트 제품군을 깨뜨릴 것이라고 플래그를 지정할 수 있지만 스스로 파괴적인 셸 명령을 실행할 수는 없습니다. 도구 소유자는 파일 편집 또는 셸 명령을 시작할 수 있지만 그 출력은 실행 전에 게이트웨이에 의해 검증됩니다.

이는 또한 모델 라이브러리의 도구 기능 태그를 읽는 방식을 제한합니다. "tool-use" 태그는 모델이 도구 호출을 그럴듯하게 표현할 수 있음을 의미하며, 상용 도구 소유자가 될 수 있음을 의미하지는 않습니다. 소유자 상태로의 승격은 스트리밍 도구 인수, 도구 ID 안정성, 잘못된 JSON 복구, 도구 결과 재생, 병렬 도구 정책, 사용량 회계 및 오류 모양을 다루는 호환성 제품군을 통과해야 합니다. 관련 에지 케이스는 인라인 도구 "구조"입니다. 일부 공급업체는 도구 호출을 어시스턴트 텍스트(XML/JSON 블록, 비공개 함수 태그, 객체 또는 이중 인코딩된 인수)로 방출합니다. 어댑터 계층은 이러한 방언을 감지하고 복구할 수 있지만, 복구는 후보 ToolCall IR만 생성합니다. 실행 권한을 부여하지 않으며 현재 소유자의 응답 텍스트로만 범위가 지정되고(사용자 텍스트, 도구 결과, 리뷰어 메모 또는 최종 융합 답변에는 절대 적용되지 않음), 복구된 호출은 여전히 소유자, 스키마, 부작용, 승인, 병렬성 및 멱등성 게이트를 통과해야 합니다. 반복되는 잘못된 JSON은 해당 소유자의 턴에 대한 호환성 검사를 실패하게 해야 하며 조용히 실행되어서는 안 됩니다.

9. 비전 및 웹 검색: 공정성 vs. 제품 경험

평가 및 제품 경로는 여기서 의도적으로 갈라집니다. 벤치마크 증명은 공유되고 재현 가능한 증거를 사용하며, 상용 요청은 추적 가능한 경우에만 네이티브 검색 또는 비전을 사용할 수 있습니다.

검색은 세 가지 별도 경로를 통해 처리됩니다: shared_evidence(Fusion 소유의 재현 가능한 외부 검색/가져오기/읽기 팩, weighted-100 연구 제품군 증명 실행, 강력한 기준 모델 비교, 모델 업그레이드 카나리 및 최종 재실행에 필수), native_search(모델 또는 공급업체 자체의 웹/브라우징/그라운딩 기능), external_search(가져오기, 브라우저 읽기 또는 문서 추출과 같은 추적 가능한 외부 도구). 네이티브 검색이 금지되는 것은 아닙니다. 제품 경험을 향상시킬 수 있지만 공정한 벤치마크 주장을 뒷받침할 수는 없습니다. 모델 자체의 검색 동작, 검색된 소스 및 인용 추적이 불투명하면 비교가 동일 작업 비교가 아니게 되기 때문입니다.

비전도 동일한 논리를 따릅니다. 네이티브 비전과 파생된 OCR/캡션 텍스트는 동등한 입력이 아니며, 이미지에 대한 가시성이 다른 모델 간의 비교는 공정한 비전 비교가 아닙니다. 추적은 각 모델의 가시성을 native_image, derived_text 또는 none으로 명시적으로 기록합니다. 권장되는 상용 패턴은 하이브리드입니다. 기본 모델은 네이티브 비전을 사용할 수 있고 저비용 리뷰어는 파생된 텍스트에서 작업합니다. 현재 사실 작업은 기본적으로 외부 검색/가져오기를 사용하며, 네이티브 검색은 경로가 기능 프로브를 통과하고 완전한 추적을 생성한 후에만 허용됩니다. 그러나 평가는 항상 공유된 증거와 해시된 증거 번들을 기본값으로 합니다.

10. 역할 인식 선택 스키마로서의 모델 라이브러리

TokenLab Fusion의 기초가 되는 모델 카탈로그는 평면 기능 테이블에서 비용 계층, Fusion 역할, 기능 태그, 선택 메트릭, 라우팅 프로필 및 권장 평가 트랙에 대한 필드가 있는 계층적 선택 스키마로 이동했습니다. 이는 단일 "이 모델이 얼마나 강력한가" 순위로는 포착할 수 없는 제품 현실을 반영합니다. 모델은 훌륭한 코딩 리뷰어일 수 있지만 저지연 연구 패널리스트로는 부족할 수 있습니다. 모델은 저렴할 수 있지만 불안정한 도구 호출 ID를 가질 수 있습니다. 모델은 공정성 게이트 평가에 충분한 추적 증거 없이 네이티브 비전 기능 태그를 가질 수 있습니다.

계층	대표 역할	제품 의미
저렴한 상시	저비용 패널/리뷰어/판사 후보	기본 패널 구성, 쌍을 이룬 카나리 증거를 통해서만 승격
강력한 추론 업그레이드	어려운 작업 에스컬레이션	어려운 작업을 위한 합성/검증자/판사 역할
코딩/에이전트 전문가	도구 루프, 리포지토리 규모, 프런트엔드 리뷰	코딩 에이전트 도구 소유자 및 리뷰어 후보
비전/검색 전문가	이미지/검색 중심 제품 워크플로우	공정성 게이트 평가 사용 전 추적 프로브 필요
초장기 컨텍스트 홀드아웃	거대 리포지토리/증거 번들 진단	기본 패널 멤버 아님
블랙박스 비교기	공급업체 측 다중 에이전트 시스템	참조점일 뿐; 내부 Fusion 귀속은 도출 불가

은퇴한 프리미엄 앵커에 대한 현재 판단은 명시적으로 진술할 가치가 있습니다. weighted-100 증명을 고정했던 과거의 프리미엄 Gemini Pro 모델은 활성 제품 비용 레시피 계획에서 은퇴했으며, 저가형 Gemini 플래시 계층 모델도 목표 레시피 비용 프로필에 맞지 않는 출력 가격으로 인해 기본 계획에서 제거되었습니다. 이는 weighted-100 연구 실행 결과를 수정하는 것이 아니며, 증명은 기록된 대로 유지됩니다. 그러나 증명과 의도된 출시 레시피가 현재 동일한 시스템이 아님을 의미하며, 이것이 바로 프리미엄 Gemini를 제외한 카나리가 선택 사항이 아닌 다음으로 필요한 증거 단계인 이유입니다.

11. 모델 라이브러리 업그레이드 게이트

반복되는 운영상의 우려는 모든 모델 변경에 100개 작업 전체 재실행이 필요한지 여부입니다. 프로그램이 채택한 답변은 양 극단(변경 시마다 맹목적인 전체 재실행, 또는 증거 없이 맹목적인 동일 제품군 대체)이 아닌 계층적이고 위험에 비례하는 게이팅입니다:

1. 계약 스모크: 경로, 가격, 스트리밍, 컨텍스트 창, 출력 제한, 모달리티 및 도구/검색/비전 플래그 확인.
2. 호환성 제품군: OpenAI 채팅, OpenAI 응답, Anthropic 메시지, 도구 호출, 도구 결과, 병렬 도구, 사용량, 오류 및 스트림 처리 연습.
3. 센티넬 평가: 모델이 주장하는 역할에 맞춰진 소규모 도메인별 세트 실행(예: 금융 소스 충분성, 코딩 도구 루프, 프런트엔드 시각적 리뷰).
4. 쌍 카나리: 품질, 비용, 지연 시간 및 실패율에 대해 동일한 작업 ID에서 현재 레시피와 비교.
5. 100개 작업 전체 실행: 기본 레시피나 강력한 기준 모델 주장을 변경할 수 있는 후보를 위해 예약됨.

겉보기에 사소한 동일 제품군 업그레이드조차 이 퍼널을 통과해야 합니다. 가격, 도구 호출 동작, 스트리밍 및 쌍 품질 모두 공유 모델 제품군 이름에서 추론되는 대신 독립적인 확인이 필요합니다. 이것이 100개 작업 매니페스트가 지속적으로 실행되지 않는 이유이기도 합니다. 최종 확인을 위해 예약되어 있으며, 일상적인 모델 변경은 위의 더 저렴하고 빠른 게이트에 의해 관리됩니다.

12. 관련 연구 및 재사용되는 것(과 그렇지 않은 것)

이 프로그램은 목표를 완전히 채택하지 않고 여러 공개 연구 및 도구 방향을 활용합니다. Mixture-of-Agents는 약한 모델 출력이 더 강력한 합성자를 유용하게 조건화할 수 있다는 아이디어를 동기 부여하지만, 섹션 4의 패널 팽창 발견은 절제 없는 계층화에 대해 경고합니다. LLM-Blender는 패널/판사/합성 단계가 유사한 후보 생성, 쌍별 순위 지정, 생성적 융합 구조를 제공하지만, 현재 루브릭 기반 판사를 대체하는 전용 학습 순위 지정기는 없습니다. FrugalGPT 및 RouteLLM은 비용 인식 캐스케이딩 및 라우팅을 동기 부여하지만, 여기의 라우팅 문제는 단일 이진 모델 선택이 아니라 다중 역할(패널, 합성, 판사, 검증자, 검색 전략, 도구 소유자가 각각 독립적으로 라우팅 가능)입니다. Inspect AI, OpenAI Evals, Promptfoo 및 Ragas와 같은 평가 하네스 도구는 체계적이고 CI 친화적인 평가 루프의 엔지니어링 패턴을 알리지만, 그중 어느 것도 고정된 가중치 매니페스트, 소스 충분성 검사, 역할별 비용 행 또는 여기에 사용된 도메인 가중치 쌍 증명 구조를 대체하지 않습니다.

13. 제한 사항

제한 사항	현재 상태	중요한 이유
프리미엄 앵커 의존성	weighted-100 증명은 과거의 프리미엄 Gemini Pro 모델을 합성/판사/검증자로 사용	의도된 제품 비용 레시피가 아닌 레시피 상한선 증명
최종 재실행 불완전	Fusion 전용 재실행 100개 작업 중 20개 완료, 20개 런타임 호환	기준 모델 비용 없는 재현성이 아직 완전히 확인되지 않음
공개 인간 감사 또는 평가자 간 일치 데이터 없음	인간 감사 및 평가자 간 일치 결과가 아직 게시되지 않음	자동 점수의 신뢰성과 인간 판단 대비 일관성이 검증되지 않아 절대 점수 해석에 제한
지연 시간 불이익	gpt-5.5 대비 1.23x, claude-opus-4-8 대비 2.15x	심층 연구에는 허용될 수 있으나 대화형 코딩 에이전트에는 허용되지 않을 가능성
루브릭 인식 검증자	검증자가 채점 루브릭/체크리스트를 확인	비교 시 이를 공개해야 함; 루브릭 블라인드 시스템과 직접 비교 불가
금융 소스 경고	8개의 고위험 finance:needs_more_sources 경고	큰 점수 델타에도 불구하고 금융 분야의 소스 충분성은 미해결
네이티브 기능 추론	검색/비전 기능 태그는 상용 등급 추적 지원의 증거가 아님	공정성 게이트 평가 사용 전 경로별 프로빙 필요
호환성 계층 성숙도	오프라인 골격(IR, 픽스처, 라우터 계약, 플래너, 스트림 작성기)	실제 공급업체 실행, 인증/테넌시 또는 지속적 추적 저장소가 있는 라이브 게이트웨이가 아님
가격/경로 변동성	DeepSeek V4 Pro 가격 수정으로 전략적 결정 변경됨	가격 및 경로 동작 변경에 따라 모델 라이브러리 계층화 재확인 필요

14. FAQ

100개 작업 결과가 TokenLab Fusion이 일반적으로 GPT-5.5 및 Claude Opus 4.8을 능가한다는 의미인가요?

쌍을 이룬 결과는 고정된 가중치 100개 연구 매니페스트에서 공유된 증거와 역할별 비용 회계를 사용하고 gpt-5.5 및 claude-opus-4-8을 Fusion 패널에서 제외한 상태에서 구체적으로 유지됩니다. 이는 작업 유형, 증거 조건 또는 매니페스트 구성과 독립적인 일반적인 주장이 아니라 해당 범위 내에서 강력하고 도메인이 넓은 증거입니다.

점수 델타가 이미 큰데 Gemini Pro 앵커가 왜 중요한가요?

델타는 합성, 판사 및 검증에 과거의 프리미엄 Gemini Pro 모델을 사용하는 레시피에 의해 생성되었습니다. 해당 구성은 레시피 구조가 달성할 수 있는 것을 설정하지만 제품 경로가 출시하려는 비용 프로필은 아닙니다. 프리미엄 Gemini를 제외한 구성이 동일한 작업 ID에 대해 쌍을 이룬 카나리로 실행될 때까지, 달성된 품질과 의도된 출시 비용은 함께가 아니라 별도로 입증됩니다.

호출당 비용이 낮으면 품질 단위당 비용도 낮은가요?

아니요, 이러한 이유로 두 가지가 별도로 보고됩니다. 0.71x 및 0.69x 비용 승수는 두 기준 모델 대비 원시 비용을 설명하고, 2.26x 및 3.06x 달러당 점수 비율은 비용 조정 품질을 설명합니다. 시스템이 호출당 더 저렴하면서도 점수가 더 나쁠 수 있거나, 호출당 더 비싸면서도 품질 단위당 더 비용 효율적일 수 있기 때문에 두 가지 모두 필요합니다. 이 평가는 이를 붕괴시키는 대신 명시적으로 보고합니다.

이 결과에서 검증자 절제가 왜 중요한가요?

루브릭 인식 검증자/재작성 단계는 이 프로그램에서 측정된 가장 큰 품질 변화를 생성했으며(20개 작업 확장 시 쌍 델타 +51.81), 빠른 코어 제어 대비 약 2.14x 비용과 1.89x 지연 시간이 소요되었습니다. 레시피 간 또는 Fusion과 기준 모델 간의 비교는 검증자 단계가 활성화되었는지 여부를 공개해야 합니다. 이는 비용 프로필과 공정성 프레임(검증자가 채점 루브릭을 볼 수 있음)을 모두 변경하기 때문입니다.

TokenLab Fusion은 오늘 실제 코딩 에이전트 클라이언트 내부에서 실행될 준비가 되었나요?

아니요. 프로토콜 및 도구 사용 제어 아키텍처(정식 IR, 호환성 제품군, 도구 소유자 모델)는 문서화된 프로토콜 매핑 및 픽스처가 있는 오프라인 호환성 골격으로 존재하지만, 아직 라이브 상용 게이트웨이, 실제 규모의 공급업체 실행, 인증/테넌시 또는 지속적인 추적 저장소를 포함하지 않습니다. Deep Research 증명과 코딩 에이전트 라인은 서로 다른 타임라인에서 평가되며, 코딩 라인은 아직 첫 번째 소규모 샘플 검증 단계를 완료하지 않았습니다.

15. 연구 종료

입증된 내용

고정되고 해시된 가중치 100개 작업 다중 도메인 매니페스트에서 공유된 증거와 역할별 비용 회계를 사용하여, 검증자가 장착된 다중 모델 레시피는 gpt-5.5 대비 +32.60, claude-opus-4-8 대비 +45.63의 쌍 평균 점수 델타를 달성했으며, 비용은 각각 0.71x 및 0.69x였고 799개의 비용 행에서 호출 실패는 0이었습니다. 루브릭 인식 검증은 빠른 코어 제어 대비 쌍 델타 +51.81로 테스트된 가장 큰 단일 품질 레버로 확인되었습니다. 양의 델타는 매니페스트의 모든 도메인에서 두 기준 모델 대비 유지되며, 이는 이득이 한 가지 작업 유형에 집중되지 않음을 나타냅니다.

게이트된 내용

고정된 승리 레시피의 Fusion 전용 최종 재실행은 불완전하며(마지막 확인 시 100개 작업 중 20개), 증명이 처음부터 끝까지 재현 가능하다고 하려면 깨끗한 준비 상태 감사와 함께 전체 범위를 달성해야 합니다. 증명을 생성한 레시피는 제품 비용 경로가 은퇴시키려는 과거의 프리미엄 Gemini Pro 앵커에 의존합니다. 의도된 프리미엄 Gemini 제외 대체에 대한 쌍 증거는 아직 존재하지 않습니다. 지연 시간은 특히 코딩 에이전트 애플리케이션에 대해 미해결된 제품 트레이드오프로 남아 있습니다. 금융 소스 충분성은 해당 도메인에서 큰 점수 이점에도 불구하고 8개의 미해결 고위험 경고를 안고 있습니다. 프로토콜 호환성 계층은 건축학적으로 정의되었지만 아직 실행 중인 상용 게이트웨이는 아닙니다.

다음에 수집해야 할 증거

나머지 80개 작업에 대해 Fusion 전용 최종 재실행을 완료하고 루프에 기준 모델 비용 없이 재현성을 확인하기 위해 준비 상태 감사를 재실행하십시오. 프리미엄 Gemini Pro 앵커 대신 합성/검증에 deepseek-v4-pro를, 판사에 glm-5.2를 대입하여 동일한 작업 ID에 대해 쌍을 이룬 카나리를 실행하십시오. 금융 도메인 결과를 완전히 해결된 것으로 취급하기 전에 도메인별 소스 게이트 작업으로 8개의 미해결 금융 증거 충분성 경고를 닫으십시오. 호환성 제품군을 오프라인 골격에서 라이브 공급업체 실행으로 확장하고, 코딩 에이전트 인프라에 더 투자하기 전에 도구 소유자/리뷰어 아키텍처가 패널-대-단일 모델 이점을 측정 가능한지 테스트하기 위해 소규모 코딩 에이전트 검증 단계(약 5개 작업)를 실행하십시오. 이 각각은 일반적인 로드맵 항목이 아니라 구체적이고 반증 가능한 다음 실험입니다.