TokenLab Fusion: Bukti dari DRACO Weighted-100 Research Dataset

Catatan status penelitian: TokenLab Fusion: ini adalah hasil penelitian "proof-of-recipe" (bukti resep) dan tolok ukur dasar (baseline) historis yang kuat, bukan klaim produksi. Hasil diperoleh menggunakan jangkar Gemini premium; uji coba canary tanpa premium dan uji coba ulang Fusion-only sedang dalam proses untuk mengonfirmasi reproduktifitas tanpa dependensi premium. DRACO weighted-100 adalah evaluasi internal milik TokenLab dan bukan tolok ukur eksternal atau standar. Harap interpretasikan sesuai dengan konteks tersebut.

Abstrak

Laporan ini mendokumentasikan status pembuktian terkini dari TokenLab Fusion, sebuah sistem orkestrasi waktu inferensi multi-model yang dievaluasi terhadap rangkaian penelitian multi-domain berbobot 100 yang tetap (manifest penelitian DRACO weighted-100, mencakup Keuangan, Belanja/Perbandingan Produk, Akademik, Teknologi, Pengetahuan Umum, Desain UX, Hukum, Kedokteran, Needle-in-a-Haystack, dan tugas Asisten yang Dipersonalisasi). Pertanyaan penelitian utamanya bukanlah apakah sekumpulan model dapat mencetak skor agregat yang lebih tinggi daripada satu model pada irisan tolok ukur, melainkan apakah resep yang disiplin (komposisi panel, sintesis, validasi berbasis rubrik, pencarian bukti, dan akuntansi biaya) dapat diorganisasikan ke dalam sistem yang dapat direproduksi, diaudit, dan ditingkatkan yang mengungguli baseline model tunggal yang kuat di berbagai domain, bukan hanya pada subset yang menguntungkan.

Bukti terkuat hingga saat ini berasal dari uji coba penelitian weighted-100, sebuah evaluasi berpasangan dengan baseline terhadap gpt-5.5 dan claude-opus-4-8 pada dataset DRACO 100-tugas yang tetap. TokenLab Fusion mencetak rata-rata 86.04, dengan delta rata-rata berpasangan sebesar +32.60 di atas gpt-5.5 (menang/kalah/seri 95/4/1, biaya 0.71x, skor-per-dolar 2.26x) dan +45.63 di atas claude-opus-4-8 (menang/kalah/seri 97/2/1, biaya 0.69x, skor-per-dolar 3.06x). Angka-angka ini kuat, berpasangan, dan dapat direproduksi terhadap manifest yang tetap, namun memiliki dua kualifikasi penting yang diperlakukan laporan ini sebagai temuan kelas satu, bukan catatan kaki: resep pemenang menggunakan model Gemini Pro premium historis (gemini-3.1-pro-preview) sebagai jangkar sintesis/hakim/validator, dan status kesiapan rilis sistem masih memerlukan uji coba ulang Fusion-only final sebelum hasil tersebut dapat dinyatakan lengkap. Sisa laporan ini memisahkan apa yang telah terbukti dalam uji coba penelitian baseline yang kuat dari apa yang masih tertahan sebelum klaim produksi apa pun, dan memaparkan bukti spesifik yang masih diperlukan, terutama canary tanpa Gemini premium, untuk menutup kesenjangan tersebut.

1. Ruang Lingkup dan Tujuan Penelitian

TokenLab Fusion didefinisikan di sini sebagai orkestrasi waktu inferensi di berbagai model hulu, bukan model dengan bobot gabungan yang dilatih. Satu permintaan dirutekan melalui beberapa peran model (panelis, penyintesis, validator, hakim, peninjau, pemilik alat), dan resep mengontrol bagaimana output dihasilkan, dibandingkan, ditulis ulang, dan dikembalikan. Ini lebih dekat ke konfigurasi produksi multi-model yang dapat diverifikasi daripada pemungutan suara ansambel tanpa status; sistem ini memiliki kesamaan struktural dengan Mixture-of-Agents dan LLM-Blender, meskipun aparatus pemilihan resep dan akuntansi biaya yang dijelaskan di bawah ini melampaui keduanya.

Target evaluasi adalah rangkaian penelitian weighted-100: serangkaian tugas penelitian multi-domain yang tetap, padat bukti, dan dinilai secara ketat berdasarkan rubrik. Program penelitian secara eksplisit menolak perbandingan baseline yang lemah. Satu-satunya baseline yang diterima adalah gpt-5.5 dan claude-opus-4-8, dan keduanya dijaga ketat agar tidak masuk ke dalam peran panel, sintesis, hakim, validator, dan pemilik alat Fusion; mengontaminasi panel dengan model baseline akan membatalkan klaim "resep multi-model yang lebih murah mengalahkan model tunggal yang kuat".

Pengidentifikasi model yang dirujuk dalam makalah ini--gpt-5.5, claude-opus-4-8, gemini-3.1-pro-preview, deepseek-v4-pro, dan glm-5.2--adalah ID model logis platform TokenLab Fusion dan ID baseline penelitian yang diambil dari snapshot sumber kebenaran tunggal (SSOT) model TokenLab yang diamati pada 2026-07-07. Pengidentifikasi ini menunjukkan label perutean dan evaluasi internal, bukan papan peringkat independen yang diaudit secara publik, dan tidak ada klaim bahwa nama-nama ini berhubungan satu-ke-satu dengan penamaan rilis publik vendor eksternal mana pun. Pengidentifikasi seperti gpt-5.5 dan claude-opus-4-8 adalah label baseline dan perutean internal yang diambil dari SSOT TokenLab dan tidak boleh diinterpretasikan sebagai penunjukan versi model vendor publik. Akibatnya, perbandingan baseline yang kuat dalam makalah ini tidak boleh dibaca sebagai klaim kesiapan produksi yang lengkap: evaluasi canary tanpa Gemini premium dan uji coba ulang Fusion-only yang tersisa belum selesai dan masih tertahan menunggu validasi lebih lanjut. Hasil yang disajikan di sini mewakili perbandingan penelitian pada satu titik waktu, bukan hasil tolok ukur produksi yang final atau tervalidasi sepenuhnya.

Dua lini produk berbagi infrastruktur penelitian ini tetapi berbeda dalam resep: lini Deep Research (berbasis bukti, diperiksa kecukupan sumbernya, berat di validator) dan lini Coding Agent (berat di eksekusi alat, sensitif terhadap latensi, masih pra-Fase-0). Laporan ini terutama membahas lini Deep Research, karena di situlah bukti berpasangan terhadap baseline yang kuat saat ini ada.

2. Mengapa Manifest 100-Tugas yang Tetap?

Uji coba tolok ukur satu irisan tidak dapat mendukung keputusan resep. Manifest 100-tugas ada untuk melayani enam fungsi teknik yang berbeda secara bersamaan: pemilihan resep lintas domain (menghindari overfitting ke satu irisan yang beruntung), data pelatihan kebijakan router, bukti penugasan peran model, konstruksi kurva biaya/kualitas/latensi, pustaka kegagalan untuk pengujian regresi dan canary peningkatan model di masa depan, serta rangkaian regresi berlapis yang dapat digunakan kembali yang tidak memerlukan uji coba ulang penuh setiap kali model hulu berubah.

Manifest yang digunakan di seluruh eksperimen yang dilaporkan adalah weighted-100-v1, irisan berbobot deterministik dengan hash set-tugas yang tetap (b08a09aacbc76c5e5aafd5ca0a6fa614a5061bc478f905007ae5aee4a93fc43a). Pembobotan domainnya tidak seragam: Keuangan (20), Belanja/Perbandingan Produk (16), Akademik (12), Teknologi (10), Pengetahuan Umum (9), Desain UX (9), Hukum (6), Kedokteran (6), Needle-in-a-Haystack (6), Asisten yang Dipersonalisasi (6). Distribusi ini penting karena keuntungan Fusion bergantung pada domain, dan Keuangan secara khusus membawa risiko terbuka yang paling persisten (Bagian 6).

DRACO weighted-100 adalah dataset penelitian internal TokenLab yang digunakan secara eksklusif dalam alur evaluasi TokenLab Fusion dalam makalah ini. Ini bukan tolok ukur eksternal yang dikelola secara publik, dan tidak berafiliasi dengan, didukung oleh, atau diambil dari rangkaian tolok ukur pihak ketiga mana pun. Manifest weighted-100, termasuk pengambilan sampel item, skema pembobotan kategori, dan metadata asal, diatur oleh peta sumber TokenLab pribadi yang tidak dipublikasikan bersama makalah ini. Oleh karena itu, skor yang dilaporkan harus diinterpretasikan sebagai sinyal perbandingan internal yang spesifik untuk metodologi evaluasi TokenLab, bukan sebagai skor yang dapat dibandingkan dengan papan peringkat publik atau tolok ukur komunitas. Pembaca tidak boleh berasumsi bahwa hasil DRACO weighted-100 dapat digeneralisasikan ke, atau dapat direferensikan silang dengan, dataset lain yang memiliki nama atau struktur serupa.

3. Metodologi

Siklus penelitian mengutamakan bukti: setiap klaim kuat harus dapat dilacak ke manifest yang tetap, ID tugas, bobot domain, pengaturan runtime, file hasil mentah, baris biaya, dan baris baseline. Ringkasan angka agregat tanpa artefak tersebut tidak diperlakukan sebagai bukti.

Empat komitmen metodologis adalah yang terpenting.

Bukti bersama di atas pencarian asli yang buram

Alat pencarian, pengambilan, dan pembaca menghasilkan paket bukti di luar model yang diuji, dan paket yang sama disediakan untuk panel dan model baseline jika memungkinkan. Ini mengisolasi "apakah model dapat bernalar dan menyintesis dengan baik" dari "apakah model kebetulan mencari dengan baik", dan ini adalah persyaratan ketat untuk uji coba pembuktian rangkaian penelitian weighted-100, perbandingan baseline yang kuat, canary peningkatan model, dan uji coba ulang final.

Akuntansi biaya yang dipisahkan berdasarkan peran

Dalam uji coba yang diaktifkan baseline, kolom biaya agregat mencampur panggilan Fusion dan panggilan baseline; menggunakannya secara langsung akan melebih-lebihkan atau meremehkan klaim biaya Fusion-only. Analisis uji coba penelitian weighted-100 secara eksplisit mengecualikan baris baseline dan skor-baseline untuk mendapatkan total resmi Fusion-only sebesar $12.837461 di 799 baris biaya. Perbedaan ini, baris biaya yang dipisahkan berdasarkan peran alih-alih total yang dicampur, adalah dasar untuk setiap klaim kualitas yang disesuaikan dengan biaya dalam laporan ini.

Perbandingan berpasangan di atas rata-rata yang tidak berpasangan

Output Fusion dan baseline dibandingkan pada ID tugas yang identik, dan hasil dilaporkan sebagai delta rata-rata, interval kepercayaan bootstrap, nilai-p uji tanda, jumlah menang/kalah/seri, pengganda biaya, pengganda latensi, dan delta tingkat kegagalan. Rata-rata tidak berpasangan dengan cakupan tugas yang berbeda tidak diterima sebagai bukti.

Eksekusi yang dapat dilanjutkan dan dipecah (sharded)

Uji coba penelitian weighted-100 dijalankan sebagai sepuluh pecahan dari sepuluh tugas masing-masing, kemudian diagregasikan menjadi satu artefak bukti. Uji coba ulang Fusion-only final (Bagian 6) menggunakan pola bertahap dan dapat dilanjutkan yang sama.

Dimensi metode	Pendekatan yang digunakan	Rasional
Pemilihan tugas	Manifest 100-tugas berbobot tetap, di-hash	Mencegah irisan yang dipilih secara cherry-picked, memungkinkan uji coba ulang
Penyediaan bukti	Paket bukti bersama yang dapat direproduksi	Mengisolasi kualitas penalaran dari keberuntungan pencarian
Isolasi baseline	gpt-5.5, claude-opus-4-8 dikecualikan dari panel/sintesis/hakim/validator	Mencegah kontaminasi baseline pada klaim Fusion
Akuntansi biaya	Baris yang dipisahkan berdasarkan peran; total Fusion-only mengecualikan panggilan baseline	Menghindari distorsi biaya/dolar dari biaya campuran
Desain perbandingan	Berpasangan, ID tugas sama, CI bootstrap, uji tanda	Mengontrol varians domain dan sampel
Eksekusi	Runner yang dipecah, dapat dilanjutkan	Memungkinkan pelacakan kemajuan parsial dan uji coba ulang bertahap
Penilaian	Penilaian validator/hakim berbasis rubrik terhadap rubrik domain	Memungkinkan ablasi validator dan dekomposisi skor

TokenLab Fusion mengevaluasi output model melalui alur penilaian otomatis yang mengagregasikan beberapa sinyal metrik menjadi skor komposit. Aturan penilaian diterapkan secara terprogram tanpa tinjauan manual pada tahap ini. Data audit manusia publik atau kesepakatan antar-penilai untuk metode ini belum dipublikasikan; hasil yang dilaporkan hanya mencerminkan evaluasi otomatis, menunggu verifikasi independen.

Ketersediaan data

Hash manifest, baris biaya, file hasil mentah, snapshot sumber kebenaran tunggal model, dan peta sumber yang mendasari studi ini disimpan dalam arsip penelitian internal TokenLab. Materi ini dibatasi aksesnya dan tidak dipublikasikan bersama makalah ini. Akibatnya, reproduktifitas publik terbatas sampai sampel yang disunting atau subset publik dari data yang mendasarinya dirilis.

4. Evolusi Resep: Lebih Banyak Model Bukanlah Pengungkitnya

Temuan awal dan penting adalah negatif: menambahkan lebih banyak model ke panel tidak secara andal meningkatkan kualitas, dan tidak dapat diasumsikan demikian. Resep berevolusi melalui serangkaian ablasi terkontrol alih-alih dengan meningkatkan ukuran panel.

Inti cepat sebagai kelompok kontrol

Panel tiga model yang berbiaya rendah, beragam, dan stabil (gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning) berfungsi sebagai kondisi kontrol biaya/latensi di mana setiap penambahan dan setiap varian validator diukur.

Paduan model berbiaya rendah yang konkret

TokenLab Fusion adalah lapisan orkestrasi waktu inferensi, bukan model dengan bobot gabungan: lapisan ini mengoordinasikan panggilan ke beberapa model yang ada dan menggabungkan outputnya saat runtime. Agar lebih konkret, model dasar gpt-5.5 dan claude-opus-4-8 dikecualikan dari setiap peran Fusion — panel, sintesis, penilai (judge), validator, peninjau, dan pemilik alat — sehingga peningkatan yang dilaporkan tidak dapat dikaitkan dengan model dasar tersebut yang melakukan pekerjaan tersembunyi di dalam pipeline.

Konfigurasi defaultnya adalah panel kontrol yang cepat dan berbiaya rendah yang terdiri dari tiga model yang dijalankan secara paralel, dengan panelis keempat opsional yang dievaluasi dalam mode kualitas, jangkar bukti plafon historis, dan kandidat canary tanpa premi yang masih menunggu bukti berpasangan.

Peran	Model	Status
Panel kontrol cepat berbiaya rendah	gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning	Panel default berbiaya rendah yang sedang diuji
Kandidat tambahan kualitas	kimi-k2.7-code	Dievaluasi sebagai panelis keempat; tidak dipromosikan — menambah latensi, mengalami regresi di beberapa domain dengan validator
Jangkar bukti historis	gemini-3.1-pro-preview	Digunakan untuk sintesis/penilai/validator/revisi dalam resep dasar yang kuat; membuktikan plafon, bukan jalur biaya produk yang dituju
Kandidat canary tanpa premi	deepseek-v4-pro (sintesis/validasi/revisi), glm-5.2 (penilai independen)	Jalur biaya yang dituju; menunggu bukti canary berpasangan

Orkestrasi berjalan sebagai urutan tetap, bukan panggilan model yang bebas:

1. Buat paket bukti bersama sekali saja, sehingga setiap panelis menalar konteks yang identik.
2. Jalankan panelis berbiaya rendah secara paralel terhadap paket bukti tersebut.
3. Normalisasi output panel ke dalam format umum untuk perbandingan.
4. Jalankan analisis panel untuk memunculkan kesepakatan, konflik, dan bukti yang hilang.
5. Sintesis jawaban tunggal, lalu jalankan validator yang sadar rubrik dan revisi sekali jika validator menandai masalah.
6. Beri skor/nilai jawaban akhir, dengan satu pemilik alat yang ditunjuk — panelis tidak pernah mengeksekusi alat secara langsung.

Hasil kimi-k2.7-code dan canary deepseek-v4-pro/glm-5.2 yang tertunda dilaporkan secara terpisah dari angka panel default untuk menghindari pencampuran antara konfigurasi yang dievaluasi-tetapi-tidak diadopsi dengan resep biaya produk yang dituju.

Penambahan Kimi: sinyal nyata namun marjinal

Pilot 20-tugas yang menambahkan model pengkodean/keberagaman ke inti cepat menghasilkan skor rata-rata 34.36 dibandingkan inti cepat 31.37 (delta berpasangan +2.99, 95% CI -0.04 hingga 6.10, menang/kalah/seri 11/6/3, biaya ~1.01x, latensi ~1.57x). CI yang melintasi nol dan nilai-p uji tanda 0.3323 berarti ini tidak cukup kuat untuk membenarkan penambahan tersebut sebagai default yang sensitif terhadap latensi; ini juga mengalami regresi pada beberapa tugas Akademik, Kedokteran, dan Teknologi. Kesimpulan yang ditarik bersifat spesifik peran: kelas model ini lebih baik diperlakukan sebagai spesialis pengkodean/front-end/konteks panjang daripada panelis serba guna yang selalu aktif.

Penambahan GLM dan DeepSeek Pro memerlukan peran, bukan penyertaan menyeluruh

Penambahan GLM hanya menghasilkan sekitar +1.22 dengan biaya 1.49x dan latensi 1.85x pada irisan kecil, bukti yang berguna untuk peran hakim/sintesis/peninjau pengkodean, bukan bukti yang cukup untuk promosi panel default. Evaluasi DeepSeek V4 Pro berubah secara material setelah koreksi harga (input $0.435, output $0.87 per 1 juta token), yang membatalkan penilaian "terlalu mahal" sebelumnya dan mengangkatnya menjadi kandidat utama untuk peran sintesis/validator dalam resep berbiaya lebih rendah (Bagian 6). Koreksi harga DeepSeek V4 Pro berasal dari SSOT model internal yang diamati pada 2026-07-07 dan merupakan asumsi biaya penelitian alih-alih kutipan harga yang dipublikasikan vendor eksternal.

Validator/tulis ulang adalah pengungkit tunggal terbesar yang ditemukan

Dalam ekspansi 20-tugas, menambahkan tahap validator/tulis ulang berbasis rubrik ke inti cepat menghasilkan skor rata-rata 81.70 dibandingkan 29.88 untuk inti cepat saja, delta berpasangan +51.81 (95% CI 42.64 hingga 61.23), menang/kalah/seri 20/0/0, dengan biaya 2.14x dan latensi 1.89x. Ini bukan peningkatan inkremental; ini adalah pergeseran struktural dalam kemampuan resep. Ini juga tidak gratis: pengganda biaya melebihi ambang batas simpan otomatis sebesar 2.0x dalam satu analisis, yang berarti hasil yang sama yang secara tidak ambigu berharga untuk tingkat penelitian mendalam adalah kendala nyata untuk tingkat produk cepat/murah. Alternatif yang lebih murah diuji dan ditolak sebagai default: varian lite-review/lite-stack kehilangan sekitar 28 poin relatif terhadap validasi penuh dan kalah dalam setiap perbandingan berpasangan; validasi selektif berdasarkan heuristik domain lemah hanya menghemat sekitar 11% biaya sementara kehilangan -8.53 skor rata-rata, dan varian selektif berisiko tinggi kehilangan lebih banyak. Oleh karena itu, validasi selektif tetap menjadi masalah penelitian perutean terbuka, bukan teknik pengurangan biaya yang terpecahkan.

5. Hasil Baseline yang Kuat: Apa yang Terbukti

Uji coba penelitian baseline yang kuat weighted-100 adalah artefak bukti terkuat dalam program ini. Uji coba ini menahan gpt-5.5 dan claude-opus-4-8 sebagai pembanding khusus baseline, yang dikecualikan dari setiap peran Fusion.

Ringkasan Fusion-only di 100 tugas:

Metrik	Nilai
Skor rata-rata	86.04
Total biaya resmi	$12.837461
Biaya rata-rata resmi	$0.128375
Total biaya platform	$6.568959
Skor per dolar resmi	670.21
Panggilan gagal	0
Tingkat kegagalan	0.0%
Latensi panggilan rata-rata	216.4s
Baris biaya	799
Tugas fallback agregat	0

Nilai yang dilaporkan sebesar 670.21 menunjukkan skor rata-rata mentah Fusion-only dibagi dengan biaya rata-rata resmi Fusion-only, sedangkan angka 2.26x dan 3.06x mewakili pengganda skor-per-dolar relatif baseline berpasangan yang dihitung terhadap konfigurasi perbandingan yang cocok.

Perbandingan berpasangan terhadap dua baseline yang kuat:

Baseline	Skor rata-rata baseline	Delta Fusion	95% CI	Menang/Kalah/Seri	Pengganda biaya Fusion	Rasio Skor/$	Pengganda latensi
gpt-5.5	53.43	+32.60	28.13 – 37.28	95/4/1	0.71x	2.26x	1.23x
claude-opus-4-8	40.41	+45.63	40.85 – 50.21	97/2/1	0.69x	3.06x	2.15x

Kualitas dan kualitas yang disesuaikan dengan biaya adalah kemenangan Fusion yang tidak ambigu pada manifest ini. Delta tingkat kegagalan sebesar 0.0 poin persentase membuat stabilitas menjadi seri alih-alih pembeda. Latensi adalah kekalahan Fusion yang jelas: 1.23x lebih lambat dari gpt-5.5 dan 2.15x lebih lambat dari claude-opus-4-8. Pembingkaian produk yang jujur dari data ini adalah penelitian mendalam yang berkualitas tinggi, efisien biaya, dan dapat diverifikasi, bukan obrolan interaktif dengan latensi rendah.

Rincian domain menunjukkan delta positif di setiap domain terhadap kedua baseline, yang membantah bahwa peningkatan tersebut merupakan artefak domain tunggal. Nilai terpilih: terhadap gpt-5.5, Keuangan +37.13, Belanja +38.20, Needle-in-a-Haystack +62.56, Teknologi +33.49; terhadap claude-opus-4-8, Belanja +55.96, Needle-in-a-Haystack +69.38, Teknologi +52.43, Desain UX +52.77. Keuangan juga merupakan domain yang membawa risiko unresolved yang paling jelas: delapan peringatan bukti tingkat keparahan tinggi, semuanya Keuangan, menandai finance:needs_more_sources, mengutip kesenjangan dalam istilah metrik, istilah periode, dan sumber periode-utama saat ini. Ini bukan kegagalan panggilan; ini adalah peringatan kecukupan sumber, yang menunjukkan bahwa perutean bukti khusus Keuangan belum sepenuhnya terpecahkan bahkan di mana delta skornya besar.

6. Status Kesiapan: Terbukti vs. Masih Tertahan

Penting untuk memisahkan dua lapisan status. Ini adalah hasil "proof-of-recipe", bukan hasil sistem yang dikirimkan, dan pelacakan kesiapan yang digunakan di seluruh program mencerminkan perbedaan itu secara eksplisit.

Lulus: manifest 100-tugas berbobot tetap, kebijakan panel, shakedown router bukti, bukti ablasi panel, bukti ablasi validator/sintesis, konfigurasi baseline yang kuat itu sendiri, bukti gerbang sumber lemah, artefak resep, dan bukti berpasangan baseline yang kuat yang dijelaskan di Bagian 5.

Belum lulus: uji coba ulang final Fusion-only.

Uji coba ulang final bukanlah perbandingan kedua terhadap baseline yang kuat; tujuannya berbeda dan lebih sempit: mengonfirmasi bahwa resep pemenang yang dibekukan bereproduksi pada manifest 100-tugas yang sama tanpa biaya baseline dalam uji coba, bahwa konfigurasi runtime cocok dengan definisi resep, bahwa baris biaya lengkap, dan bahwa tidak ada kontaminasi baseline di jalur Fusion-only. Hingga uji coba bertahap terbaru, cakupan berada di 20 dari 100 tugas yang dinilai, 20 dari 20 kompatibel dengan runtime, biaya resmi Fusion-only sebesar $2.619654, biaya baseline $0, dengan 80 tugas sisanya akan dijalankan dalam tahap offset lebih lanjut.

Perbedaan ini penting untuk bagaimana angka uji coba penelitian weighted-100 harus dibaca: delta baseline yang kuat adalah nyata dan berpasangan, tetapi diukur dengan resep yang belum direproduksi secara independen dari ujung ke ujung tanpa biaya baseline dalam loop, dan menggunakan jangkar sintesis/validator/hakim yang secara sengaja coba dipensiunkan oleh jalur biaya produk.

Secara khusus mengenai jangkar Gemini Pro, resep beku yang menghasilkan angka-angka ini menggunakan gemini-3.1-pro-preview, model Gemini Pro premium historis, sebagai jangkar sintesis/hakim/validator. Konfigurasi tersebut menetapkan batas atas untuk apa yang dapat dicapai oleh struktur resep dan validasi berbasis rubrik, tetapi itu bukan konfigurasi yang ingin dikirimkan oleh jalur biaya produk. Karena harga Gemini Pro premium tidak sesuai dengan profil biaya target, artefak bukti berikutnya yang diperlukan adalah canary tanpa Gemini premium: uji coba ulang skala lebih kecil yang berpasangan, menggantikan deepseek-v4-pro untuk sintesis/validasi dan glm-5.2 untuk penilaian, dijalankan terhadap ID tugas yang sama sebelum klaim apa pun dibuat bahwa resep yang efisien biaya cocok dengan batas atas kualitas yang terbukti.

7. Protokol dan Kompatibilitas: Mengapa Satu Endpoint Obrolan Tidak Cukup

Resep yang hanya berfungsi terhadap satu endpoint obrolan yang kompatibel dengan OpenAI tidak akan bertahan saat bersentuhan dengan klien agen pengkodean nyata. Chat Completions cukup untuk penggunaan percakapan biasa tetapi menghilangkan semantik yang diandalkan klien agen: item output yang diketik, pemasangan panggilan fungsi/hasil alat, acara item streaming, riwayat stateful versus stateless, dan jaminan pemesanan khusus penyedia.

Permukaan yang penting, dan semantik yang dibawa masing-masing, cukup berbeda sehingga tidak dapat digabungkan menjadi satu bentuk tanpa kehilangan:

Permukaan	Semantik kunci yang harus dipertahankan
Respons OpenAI	item output yang diketik, hierarki instruksi pengembang/sistem, panggilan fungsi dan output panggilan fungsi, previous_response_id, store, acara item streaming, akuntansi penggunaan
Obrolan OpenAI	pesan/alat warisan; dapat digunakan sebagai fasad yang terdegradasi, tetapi kehilangan kompatibilitas harus dicatat
Pesan Anthropic	bidang sistem tingkat atas, blok konten, tool_use/tool_result, permintaan riwayat penuh stateless, stop_reason, kesalahan stream pasca-200
Profil klien gaya Codex	Respons-pertama, store, previous_response_id, argumen alat streaming, pemutaran ulang hasil alat, pemesanan acara yang ketat
Profil klien gaya Claude Code	Pesan Anthropic, pemesanan tool_result segera, batch alat paralel, disable_parallel_tool_use, daftar izin penemuan model

Jawaban arsitekturalnya adalah representasi perantara (IR) kanonik. Protokol eksternal dipetakan ke dalam satu representasi permintaan/respons/stream/alat/penggunaan/kesalahan/jejak internal, dan eksekusi resep serta adaptor penyedia beroperasi terhadap IR tersebut alih-alih terhadap protokol kabel tunggal mana pun. IR diperlukan untuk membawa, setidaknya: pengidentifikasi percakapan dan giliran ditambah penunjuk status penyedia (previous_response_id); protokol klien dan pengidentifikasi resep publik; asal dan prioritas instruksi sistem/pengembang/gateway/resep; pesan, blok konten, gambar, dan teks turunan; alat, hasil alat, pilihan alat, dan kebijakan alat paralel; modalitas dan pengaturan generasi; catatan kehilangan kompatibilitas; baris penggunaan dan baris biaya yang dipisahkan berdasarkan peran; serta jejak yang mencakup bukti, pencarian, alat, biaya, dan aktivitas peran model.

Justifikasi praktisnya konkret: tool_result Anthropic harus segera mengikuti tool_use yang cocok; output panggilan fungsi Respons OpenAI harus diputar ulang berdasarkan call_id; fasad Obrolan tidak dapat sepenuhnya mempertahankan prioritas pesan pengembang; Claude Code mengirim riwayat penuh stateless pada setiap giliran, sementara klien berbasis Respons mengandalkan penunjuk status sisi penyedia. Tanpa IR dan rangkaian kompatibilitas yang melatih kasus-kasus ini secara langsung, sistem dapat lulus tolok ukur dan tetap gagal di dalam klien agen nyata karena loop alat tidak pernah selesai dengan benar.

Status implementasi saat ini harus dinyatakan secara tepat alih-alih optimis: lapisan kompatibilitas ada sebagai dokumentasi protokol, definisi IR adaptor, perlengkapan kontrak gateway, perencana giliran, penulis stream, perlengkapan alat/bukti, dan rangkaian uji kompatibilitas agregat. Ini adalah kerangka kompatibilitas offline, cukup untuk membatasi bentuk protokol, kesenjangan permukaan, dan mencegah pergeseran desain awal, tetapi belum menjadi gateway produksi langsung. Ini belum mencakup eksekusi penyedia nyata dalam skala besar, permukaan produk streaming yang menghadap klien, eksekusi alat langsung, autentikasi/penyewaan produksi, atau backend jejak persisten. Penemuan model publik dirancang untuk hanya mengekspos pengidentifikasi resep publik yang memiliki namespace; setiap permintaan ID model non-publik atau non-namespace harus gagal tertutup (misalnya, model_not_public) alih-alih membiarkan klien melewati batas resep, biaya, atau jejak.

8. Model Kontrol Penggunaan Alat

Panggilan alat multi-model adalah bagian yang paling berbahaya secara operasional dari ekstensi agen pengkodean apa pun dari sistem ini. Jika beberapa model dapat secara independen mengeluarkan panggilan alat dalam giliran yang sama, hasilnya bisa berupa pengeditan file duplikat, panggilan API eksternal duplikat, biaya duplikat, penulisan bersamaan, perintah shell yang bertentangan, atau paparan kredensial. Model kontrol yang diadopsi sengaja bersifat restriktif:

• Sebuah giliran memiliki, secara default, tepat satu pemilik alat aktif.
• Model lain dapat bertindak sebagai peninjau atau kritikus dan dapat mengusulkan perubahan, tetapi tidak dapat mengeksekusi alat.
• Teks berbentuk alat dalam output model bukanlah, dengan sendirinya, otoritas eksekusi.
• Setiap panggilan alat dinormalisasi menjadi IR ToolCall kanonik sebelum keputusan eksekusi apa pun dibuat.
• Penjadwal mengklasifikasikan setiap panggilan sebagai executable, advice_only, blocked, atau requires_approval.
• Panggilan baca-saja, baca-jaringan, dan hanya-komputasi dapat berjalan bersamaan dalam grup paralel di bawah kondisi yang aman.
• Panggilan tulis, tulis-shell, pembayaran, kredensial, dan kelas destruktif diserialisasi dan diberi gerbang persetujuan secara default.
• Hasil alat diputar ulang secara deterministik kembali ke bentuk yang diharapkan protokol target.
• JSON parsial tidak pernah dieksekusi; bahkan JSON yang terbentuk dengan baik harus tetap lulus pemeriksaan skema, efek samping, persetujuan, dan pemilik.

Ini adalah penyimpangan yang berarti dari demonstrasi multi-agen tipikal, di mana beberapa agen mungkin semuanya mencoba untuk "memecahkan" masalah secara bersamaan. Resep pengkodean yang menghadap produksi memerlukan disiplin peran atas keselamatan eksekusi: peninjau dapat menandai bahwa patch yang diusulkan akan merusak rangkaian pengujian, tetapi tidak dapat menjalankan perintah shell yang destruktif. Pemilik alat dapat memulai pengeditan file atau perintah shell, tetapi outputnya tetap diverifikasi oleh gateway sebelum eksekusi.

Ini juga membatasi bagaimana tag kemampuan alat pustaka model harus dibaca: tag "tool-use" berarti model dapat secara masuk akal mengekspresikan panggilan alat, bukan berarti model tersebut dibersihkan untuk menjadi pemilik alat produksi. Promosi ke status pemilik memerlukan kelulusan rangkaian kompatibilitas yang mencakup argumen alat streaming, stabilitas ID-alat, perbaikan JSON yang cacat, pemutaran ulang hasil alat, kebijakan alat paralel, akuntansi penggunaan, dan bentuk kesalahan. Kasus tepi terkait adalah "penyelamatan" alat inline: beberapa penyedia memancarkan panggilan alat sebagai teks asisten (blok XML/JSON, tag fungsi pribadi, argumen objek atau yang dikodekan ganda). Lapisan adaptor dapat mendeteksi dan memperbaiki dialek ini, tetapi perbaikan hanya menghasilkan IR ToolCall kandidat; itu tidak memberikan otoritas eksekusi, itu dicakup untuk teks respons pemilik saat ini saja (tidak pernah untuk teks pengguna, hasil alat, catatan peninjau, atau jawaban akhir yang digabungkan), dan panggilan yang diperbaiki harus tetap melewati gerbang pemilik, skema, efek samping, persetujuan, paralelisme, dan idempotensi. JSON cacat yang berulang harus menggagalkan pemeriksaan kompatibilitas pemilik tersebut untuk giliran tersebut alih-alih dieksekusi secara diam-diam.

9. Visi dan Pencarian Web: Keadilan vs. Pengalaman Produk

Jalur evaluasi dan produk sengaja berbeda di sini. Bukti tolok ukur menggunakan bukti bersama yang dapat direproduksi; permintaan produksi dapat menggunakan pencarian asli atau visi, tetapi hanya jika dapat dilacak.

Pencarian ditangani melalui tiga jalur berbeda: shared_evidence (paket pencarian/pengambilan/baca eksternal yang dimiliki Fusion, dapat direproduksi, wajib untuk uji coba pembuktian rangkaian penelitian weighted-100, perbandingan baseline yang kuat, canary peningkatan model, dan uji coba ulang final), native_search (kemampuan web/telusuri/grounding milik model atau penyedia sendiri), dan external_search (alat eksternal yang dapat dilacak seperti pengambilan, baca browser, atau ekstraksi dokumen). Pencarian asli tidak dilarang; itu dapat meningkatkan pengalaman produk, tetapi tidak dapat mendukung klaim tolok ukur yang adil, karena jika perilaku pencarian model sendiri, sumber yang diambil, dan jejak kutipan buram, perbandingan berhenti menjadi perbandingan tugas-yang-sama.

Visi mengikuti logika yang sama. Visi asli dan teks OCR/kapsi turunan bukanlah input yang setara, dan perbandingan lintas model dengan visibilitas berbeda ke dalam gambar bukanlah perbandingan visi yang adil. Jejak mencatat visibilitas setiap model secara eksplisit sebagai native_image, derived_text, atau none. Pola produksi yang direkomendasikan adalah hibrida: model utama dapat menggunakan visi asli sementara peninjau berbiaya lebih rendah bekerja dari teks turunan; tugas fakta-terkini default ke pencarian/pengambilan eksternal, dan pencarian asli hanya diizinkan setelah rute lulus pemeriksaan kemampuan dan menghasilkan jejak lengkap. Namun, evaluasi selalu default ke bukti bersama dan bundel bukti yang di-hash.

10. Pustaka Model sebagai Skema Pemilihan yang Sadar Peran

Katalog model yang mendasari TokenLab Fusion telah berpindah dari tabel kemampuan datar ke skema pemilihan berlapis dengan bidang untuk tingkat biaya, peran Fusion, tag kemampuan, metrik pemilihan, profil perutean, dan jalur evaluasi yang direkomendasikan. Ini mencerminkan realitas produk bahwa peringkat "seberapa kuat model ini" tunggal tidak menangkapnya: model bisa menjadi peninjau pengkodean yang sangat baik dan panelis penelitian latensi rendah yang buruk; model bisa murah tetapi memiliki ID panggilan alat yang tidak stabil; model bisa membawa tag kemampuan visi-asli tanpa memiliki bukti jejak yang cukup untuk evaluasi yang dibatasi keadilan.

Lapisan	Peran representatif	Arti produk
Murah selalu aktif	kandidat panel/peninjau/hakim berbiaya rendah	Komposisi panel default, dipromosikan hanya melalui bukti canary berpasangan
Peningkatan penalaran kuat	eskalasi tugas sulit	Peran sintesis/validator/hakim untuk tugas sulit
Spesialis pengkodean/agen	loop alat, skala repo, tinjauan front-end	Kandidat pemilik dan peninjau alat agen pengkodean
Spesialis visi/pencarian	alur kerja produk berat gambar/pencarian	Memerlukan pemeriksaan jejak sebelum penggunaan yang dibatasi keadilan
Holdout konteks ultra-panjang	diagnostik repo/bundel bukti besar	Bukan anggota panel default
Pembanding kotak hitam	sistem multi-agen sisi penyedia	Titik referensi saja; atribusi Fusion internal tidak dapat diturunkan darinya

Penilaian saat ini pada jangkar premium yang dipensiunkan layak mendapatkan pernyataan eksplisit: model Gemini Pro premium historis yang menjangkar bukti weighted-100 telah dipensiunkan dari perencanaan resep biaya-produk aktif, dan model tingkat flash Gemini yang lebih murah juga dihapus dari rencana default karena harga output yang tidak sesuai dengan profil biaya resep target. Ini tidak merevisi hasil uji coba penelitian weighted-100, bukti itu tetap seperti yang dicatat, tetapi itu berarti bukti dan resep pengiriman yang dimaksudkan saat ini bukan sistem yang sama, yang justru mengapa canary tanpa Gemini premium adalah langkah bukti berikutnya yang diperlukan, bukan langkah opsional.

11. Gerbang Peningkatan Pustaka Model

Kekhawatiran operasional yang berulang adalah apakah setiap perubahan model memerlukan uji coba ulang 100-tugas penuh. Jawaban yang diadopsi oleh program adalah gerbang yang berlapis dan proporsional terhadap risiko alih-alih salah satu dari dua ekstrem (uji coba ulang penuh buta pada setiap perubahan, atau substitusi keluarga-sama buta tanpa bukti):

1. Asap kontrak: konfirmasi rute, harga, streaming, jendela konteks, batas output, modalitas, dan tag alat/pencarian/visi.
2. Rangkaian kompatibilitas: latih Obrolan OpenAI, Respons OpenAI, Pesan Anthropic, panggilan alat, hasil alat, alat paralel, penggunaan, kesalahan, dan penanganan stream.
3. Evaluasi sentinel: jalankan set spesifik domain kecil yang disesuaikan dengan peran yang diklaim model (misalnya, kecukupan sumber keuangan, loop alat pengkodean, tinjauan visual front-end).
4. Canary berpasangan: bandingkan terhadap resep saat ini pada ID tugas yang identik untuk kualitas, biaya, latensi, dan tingkat kegagalan.
5. Uji coba 100-tugas penuh: dicadangkan untuk kandidat yang dapat mengubah resep default atau klaim baseline yang kuat.

Bahkan peningkatan keluarga-sama yang tampaknya kecil memerlukan langkah melalui corong ini: harga, perilaku panggilan alat, streaming, dan kualitas berpasangan semuanya memerlukan konfirmasi independen alih-alih disimpulkan dari nama keluarga model bersama. Inilah juga mengapa manifest 100-tugas tidak dijalankan terus-menerus; itu dicadangkan untuk konfirmasi akhir, sementara perubahan model sehari-hari diatur oleh gerbang yang lebih murah dan lebih cepat di atas.

12. Pekerjaan Terkait dan Apa yang (dan Tidak) Digunakan Kembali

Program ini menarik beberapa arah penelitian dan alat publik tanpa mengadopsi tujuannya secara keseluruhan. Mixture-of-Agents memotivasi gagasan bahwa output model yang lebih lemah masih dapat secara berguna mengondisikan penyintesis yang lebih kuat, tetapi temuan panel-bloat di Bagian 4 memperingatkan terhadap pelapisan tanpa ablasi. LLM-Blender berkontribusi pada struktur pembuatan kandidat, pemeringkatan berpasangan, fusi generatif yang menyerupai tahap panel/hakim/sintesis, meskipun tidak ada pemeringkat terlatih khusus yang saat ini menggantikan hakim berbasis rubrik. FrugalGPT dan RouteLLM memotivasi cascading dan perutean yang sadar biaya, tetapi masalah perutean di sini adalah multi-peran (panel, sintesis, hakim, validator, strategi pencarian, pemilik alat masing-masing dapat merutekan secara independen), bukan pilihan model biner tunggal. Alat harness evaluasi seperti Inspect AI, OpenAI Evals, Promptfoo, dan Ragas menginformasikan pola teknik dari loop evaluasi yang sistematis dan ramah CI, tetapi tidak ada yang menggantikan manifest berbobot tetap, pemeriksaan kecukupan sumber, baris biaya yang dipisahkan berdasarkan peran, atau struktur bukti berpasangan berbobot domain yang digunakan di sini.

13. Keterbatasan

Keterbatasan	Status saat ini	Mengapa itu penting
Dependensi jangkar premium	Bukti weighted-100 menggunakan model Gemini Pro premium historis sebagai sintesis/hakim/validator	Membuktikan batas atas resep, bukan resep biaya-produk yang dimaksudkan
Uji coba ulang final tidak lengkap	Uji coba ulang Fusion-only pada 20/100 tugas, 20/20 kompatibel dengan runtime	Reproduktifitas tanpa biaya baseline belum sepenuhnya dikonfirmasi
Tidak ada data audit manusia publik atau kesepakatan antar-penilai	Hasil audit manusia dan kesepakatan antar-penilai belum dipublikasikan atau tersedia secara publik untuk alur evaluasi ini	Keandalan dan konsistensi skor otomatis relatif terhadap penilaian manusia tetap tidak terverifikasi, membatasi kepercayaan dalam interpretasi skor absolut
Kerugian latensi	1.23x vs. gpt-5.5, 2.15x vs. claude-opus-4-8	Mungkin dapat diterima untuk penelitian mendalam, kemungkinan tidak dapat diterima untuk agen pengkodean interaktif
Validator sadar rubrik	Validator melihat rubrik/daftar periksa penilaian	Perbandingan harus mengungkapkan ini; tidak dapat dibandingkan secara langsung dengan sistem buta-rubrik
Peringatan sumber keuangan	8 peringatan finance:needs_more_sources tingkat keparahan tinggi	Kecukupan sumber dalam Keuangan belum terpecahkan meskipun delta skor besar
Inferensi kemampuan asli	Tag kemampuan pencarian/visi bukanlah bukti dukungan jejak tingkat produksi	Memerlukan pemeriksaan per-rute sebelum penggunaan evaluasi yang dibatasi keadilan
Kematangan lapisan kompatibilitas	Kerangka offline (IR, perlengkapan, kontrak router, perencana, penulis stream)	Belum menjadi gateway produksi langsung dengan eksekusi penyedia nyata, autentikasi/penyewaan, atau penyimpanan jejak persisten
Volatilitas harga/rute	Koreksi harga DeepSeek V4 Pro sudah mengubah keputusan strategis	Tiering pustaka model harus diverifikasi ulang seiring perubahan harga dan perilaku rute

14. FAQ

Apakah hasil 100-tugas berarti TokenLab Fusion mengalahkan GPT-5.5 dan Claude Opus 4.8 secara umum?

Hasil berpasangan berlaku secara spesifik pada manifest penelitian weighted-100 yang tetap, menggunakan bukti bersama dan akuntansi biaya yang dipisahkan berdasarkan peran, dengan gpt-5.5 dan claude-opus-4-8 ditahan dari panel Fusion. Ini adalah bukti yang kuat dan luas secara domain dalam lingkup tersebut, bukan klaim umum yang independen dari jenis tugas, kondisi bukti, atau komposisi manifest.

Mengapa jangkar Gemini Pro penting jika delta skor sudah besar?

Delta dihasilkan oleh resep yang menggunakan model Gemini Pro premium historis untuk sintesis, penilaian, dan validasi. Konfigurasi tersebut menetapkan apa yang dapat dicapai oleh struktur resep, tetapi itu bukan profil biaya yang ingin dikirimkan oleh jalur produk. Sampai konfigurasi tanpa Gemini premium dijalankan sebagai canary berpasangan terhadap ID tugas yang sama, kualitas yang dicapai dan biaya pengiriman yang dimaksudkan dibuktikan secara terpisah, bukan bersama-sama.

Apakah biaya per-panggilan yang lebih rendah sama dengan biaya per unit kualitas yang lebih rendah?

Tidak, dan keduanya dilaporkan secara terpisah karena alasan ini. Pengganda biaya 0.71x dan 0.69x menggambarkan biaya mentah terhadap dua baseline; rasio skor-per-dolar 2.26x dan 3.06x menggambarkan kualitas yang disesuaikan dengan biaya. Keduanya diperlukan, karena sistem bisa lebih murah per panggilan dan tetap mencetak skor lebih buruk, atau lebih mahal per panggilan dan tetap lebih efisien biaya per unit kualitas; evaluasi ini melaporkan keduanya secara eksplisit alih-alih menggabungkannya.

Mengapa ablasi validator penting untuk hasil ini?

Tahap validator/tulis ulang berbasis rubrik menghasilkan perubahan kualitas tunggal terbesar yang diukur dalam program ini (delta berpasangan +51.81 pada ekspansi 20-tugas), dengan biaya sekitar 2.14x dan latensi 1.89x dibandingkan kontrol inti cepat. Setiap perbandingan antara resep, atau antara Fusion dan baseline, perlu mengungkapkan apakah tahap validator aktif, karena itu mengubah profil biaya dan pembingkaian keadilan (validator memiliki visibilitas ke dalam rubrik penilaian).

Apakah TokenLab Fusion siap dijalankan di dalam klien agen pengkodean nyata hari ini?

Tidak. Arsitektur kontrol protokol dan penggunaan alat (IR kanonik, rangkaian kompatibilitas, model pemilik alat) ada sebagai kerangka kompatibilitas offline dengan pemetaan protokol dan perlengkapan yang didokumentasikan, tetapi belum mencakup gateway produksi langsung, eksekusi penyedia nyata dalam skala besar, autentikasi/penyewaan, atau penyimpanan jejak persisten. Bukti Deep Research dan lini Coding Agent dievaluasi pada garis waktu yang berbeda, dan lini pengkodean belum menyelesaikan fase validasi sampel kecil pertamanya.

15. Penutupan Penelitian

Apa yang terbukti

Pada manifest multi-domain 100-tugas yang tetap, di-hash, dan berbobot, menggunakan bukti bersama dan akuntansi biaya yang dipisahkan berdasarkan peran, resep multi-model yang dilengkapi validator mencapai delta skor-rata-rata berpasangan +32.60 di atas gpt-5.5 dan +45.63 di atas claude-opus-4-8, dengan biaya masing-masing 0.71x dan 0.69x, dengan nol kegagalan panggilan di 799 baris biaya. Validasi berbasis rubrik dikonfirmasi sebagai pengungkit kualitas tunggal terbesar yang diuji, dengan delta berpasangan +51.81 di atas kontrol inti cepat. Delta positif berlaku di setiap domain dalam manifest terhadap kedua baseline, menunjukkan keuntungan tidak terkonsentrasi pada satu jenis tugas.

Apa yang tetap tertahan

Uji coba ulang final Fusion-only dari resep pemenang yang dibekukan belum lengkap (20 dari 100 tugas pada pemeriksaan terakhir) dan harus mencapai cakupan penuh dengan audit kesiapan yang bersih sebelum bukti tersebut dapat disebut dapat direproduksi dari ujung ke ujung. Resep yang menghasilkan bukti bergantung pada jangkar Gemini Pro premium historis yang ingin dipensiunkan oleh jalur biaya-produk; belum ada bukti berpasangan untuk substitusi tanpa Gemini premium yang dimaksudkan. Latensi tetap menjadi tradeoff produk yang belum terpecahkan, terutama untuk aplikasi agen pengkodean apa pun. Kecukupan sumber keuangan membawa delapan peringatan tingkat keparahan tinggi yang belum terpecahkan meskipun memiliki keunggulan skor besar di domain tersebut. Lapisan kompatibilitas protokol didefinisikan secara arsitektural tetapi belum menjadi gateway produksi yang berjalan.

Bukti apa yang harus dikumpulkan selanjutnya

Selesaikan uji coba ulang final Fusion-only pada 80 tugas sisanya dan jalankan kembali audit kesiapan untuk mengonfirmasi reproduktifitas tanpa biaya baseline dalam loop. Jalankan canary berpasangan dengan ID tugas yang sama yang menggantikan deepseek-v4-pro untuk sintesis/validasi dan glm-5.2 untuk penilaian sebagai pengganti jangkar Gemini Pro premium, dimulai pada skala kecil sebelum klaim manifest penuh apa pun. Tutup delapan peringatan kecukupan bukti Keuangan yang luar biasa dengan pekerjaan gerbang-sumber khusus domain sebelum memperlakukan hasil domain Keuangan sebagai sepenuhnya terpecahkan. Perluas rangkaian kompatibilitas dari kerangka offline menuju eksekusi penyedia langsung, dan jalankan fase validasi agen pengkodean sampel kecil (sekitar lima tugas) untuk menguji apakah arsitektur pemilik/peninjau alat menghasilkan keuntungan panel-di-atas-model-tunggal yang terukur sebelum berinvestasi lebih lanjut dalam infrastruktur agen pengkodean. Masing-masing adalah eksperimen berikutnya yang spesifik dan dapat dipalsukan, bukan item peta jalan umum.