TokenLab Fusion: DRACO Weighted-100 Araştırma Veri Kümesinden Kanıtlar

Araştırma durumu notu: TokenLab Fusion: bu bir "tarif kanıtı" (proof-of-recipe) çalışması olup, tarihsel güçlü bir temel araştırma sonucudur; ticari bir ürün iddiası değildir. Sonuçlar, premium bir Gemini çapası (anchor) kullanılarak üretilmiştir; premium bağımlılıklar olmadan tekrarlanabilirliği doğrulamak için premium olmayan bir canary çalışması ve nihai Fusion-sadece tekrarı beklenmektedir. DRACO weighted-100, TokenLab'in tescilli bir iç değerlendirmesidir ve harici veya standartlaştırılmış bir benchmark değildir. Lütfen buna göre yorumlayınız.

Özet

Bu rapor, sabit, ağırlıklı-100 çok alanlı bir araştırma paketi (Finans, Alışveriş/Ürün Karşılaştırma, Akademik, Teknoloji, Genel Kültür, UX Tasarımı, Hukuk, Tıp, Needle-in-a-Haystack ve Kişiselleştirilmiş Asistan görevlerini kapsayan DRACO weighted-100 araştırma manifestosu) üzerinde değerlendirilen çok modelli bir çıkarım zamanı (inference-time) orkestrasyon sistemi olan TokenLab Fusion'ın mevcut kanıt durumunu belgelemektedir. Buradaki temel araştırma sorusu, bir model grubunun bir benchmark diliminde tek bir modelden daha yüksek bir toplam puan alıp alamayacağı değil; disiplinli bir tarifin (panel kompozisyonu, sentez, rubrik farkındalıklı doğrulama, kanıt kaynağı ve maliyet muhasebesi) sadece elverişli bir alt kümede değil, tüm alanlarda güçlü tek modelli temelleri geride bırakan, tekrarlanabilir, denetlenebilir ve yükseltilebilir bir sisteme dönüştürülüp dönüştürülemeyeceğidir.

Bugüne kadarki en güçlü kanıtlar, sabit 100 görevlik DRACO veri kümesi üzerinde gpt-5.5 ve claude-opus-4-8'e karşı gerçekleştirilen, eşleştirilmiş ve temel destekli değerlendirme olan ağırlıklı-100 araştırma çalışmasından gelmektedir. TokenLab Fusion, gpt-5.5 üzerinde +32.60 (kazanma/kaybetme/beraberlik 95/4/1, maliyet 0.71x, dolar başına puan 2.26x) ve claude-opus-4-8 üzerinde +45.63 (kazanma/kaybetme/beraberlik 97/2/1, maliyet 0.69x, dolar başına puan 3.06x) eşleştirilmiş ortalama fark ile 86.04 ortalama puan almıştır. Bu rakamlar güçlü, eşleştirilmiş ve sabit bir manifestoya karşı tekrarlanabilirdir; ancak bu raporun dipnot olarak değil, birinci sınıf bulgular olarak ele aldığı iki önemli nitelendirmeyi beraberinde getirmektedir: kazanan tarif, sentez/yargıç/doğrulayıcı çapası olarak tarihsel bir premium Gemini Pro modeli (gemini-3.1-pro-preview) kullanmıştır ve sistemin sürüm hazırlık durumu, sonuç tamamlanmış sayılmadan önce Fusion-sadece nihai bir tekrarı gerektirmektedir. Bu raporun geri kalanı, güçlü temel araştırma çalışmasında kanıtlananları, herhangi bir üretim iddiasından önce kısıtlı kalanlardan ayırmakta ve bu boşluğu kapatmak için en acil ihtiyaç olan premium-olmayan Gemini canary çalışması da dahil olmak üzere gereken spesifik kanıtları ortaya koymaktadır.

1. Araştırma Kapsamı ve Hedefi

TokenLab Fusion burada, eğitilmiş ağırlık birleştirilmiş bir model değil, birden fazla yukarı yönlü model arasında çıkarım zamanı orkestrasyonu olarak tanımlanmıştır. Tek bir istek, birkaç model rolü (panelist, sentezleyici, doğrulayıcı, yargıç, gözden geçiren, araç sahibi) üzerinden yönlendirilir ve tarif, çıktıların nasıl oluşturulacağını, karşılaştırılacağını, yeniden yazılacağını ve döndürüleceğini kontrol eder. Bu, durum bilgisi olmayan bir topluluk oylamasından ziyade, doğrulanabilir çok modelli bir üretim konfigürasyonuna daha yakındır; Mixture-of-Agents ve LLM-Blender ile yapısal bir geçmişi paylaşır, ancak aşağıda açıklanan tarif seçimi ve maliyet muhasebesi mekanizması her ikisinin de ötesine geçer.

Değerlendirme hedefi, ağırlıklı-100 araştırma paketidir: çok alanlı, kanıt yoğun, kesin rubrik puanlı araştırma görevlerinden oluşan sabit bir set. Araştırma programı, zayıf temel karşılaştırmalarını açıkça reddeder. Kabul edilen tek temeller gpt-5.5 ve claude-opus-4-8'dir ve her ikisi de Fusion paneli, sentez, yargıç, doğrulayıcı ve araç sahibi rollerinden kesinlikle uzak tutulmuştur; paneli temel modelle kirletmek, "daha ucuz çok modelli tarif, güçlü tek modeli yener" iddiasını geçersiz kılacaktır.

Bu makalede referans verilen model tanımlayıcıları--gpt-5.5, claude-opus-4-8, gemini-3.1-pro-preview, deepseek-v4-pro ve glm-5.2--TokenLab Fusion platformunun mantıksal model kimlikleri ve 2026-07-07 tarihinde gözlemlenen TokenLab model tek doğruluk kaynağı (SSOT) anlık görüntüsünden alınan araştırma temeli kimlikleridir. Bu tanımlayıcılar, bağımsız ve kamuya açık denetlenen bir liderlik tablosundan ziyade dahili yönlendirme ve değerlendirme etiketlerini belirtir ve bu isimlerin herhangi bir harici satıcının halka açık sürüm isimlendirmesiyle birebir karşılık geldiğine dair hiçbir iddiada bulunulmaz. gpt-5.5 ve claude-opus-4-8 gibi tanımlayıcılar, TokenLab SSOT'tan alınan dahili temel ve yönlendirme etiketleridir ve kamuya açık satıcı model sürümü atamaları olarak yorumlanmamalıdır. Sonuç olarak, bu makaledeki güçlü temel karşılaştırmaları, tam bir üretim hazırlığı iddiası olarak okunmamalıdır: premium-olmayan Gemini canary değerlendirmesi ve kalan Fusion-sadece tekrarı henüz tamamlanmamıştır ve daha fazla doğrulama beklenmektedir. Burada sunulan sonuçlar, nihai veya tam olarak doğrulanmış bir üretim benchmark sonucu değil, zaman içindeki bir anlık araştırma karşılaştırmasını temsil eder.

İki ürün grubu bu araştırma altyapısını paylaşır ancak tarif konusunda ayrılır: Derin Araştırma hattı (kanıt temelli, kaynak yeterliliği kontrol edilmiş, doğrulayıcı ağırlıklı) ve Kodlama Ajanı hattı (araç yürütme ağırlıklı, gecikmeye duyarlı, hala Faz-0 öncesi). Bu rapor öncelikle Derin Araştırma hattı hakkındadır, çünkü güçlü temellere karşı eşleştirilmiş kanıtların mevcut olduğu yer burasıdır.

2. Neden Sabit 100 Görevlik Bir Manifesto?

Tek bir dilimlik benchmark çalışması, tarif kararlarını destekleyemez. 100 görevlik manifesto, aynı anda altı farklı mühendislik işlevine hizmet etmek için vardır: alanlar arası tarif seçimi (tek bir şanslı dilime aşırı uyumdan kaçınma), yönlendirici politikası eğitim verisi, model rolü atama kanıtı, maliyet/kalite/gecikme eğrisi oluşturma, regresyon testi ve gelecekteki model yükseltme canary'leri için bir hata kütüphanesi ve yukarı yönlü bir model her değiştiğinde tam bir tekrar gerektirmeyen, yeniden kullanılabilir katmanlı bir regresyon seti.

Raporlanan deneylerde kullanılan manifesto, sabit bir görev seti karma değerine (hash) sahip (b08a09aacbc76c5e5aafd5ca0a6fa614a5061bc478f905007ae5aee4a93fc43a) deterministik ağırlıklı bir dilim olan weighted-100-v1'dir. Alan ağırlıklandırması tekdüze değildir: Finans (20), Alışveriş/Ürün Karşılaştırma (16), Akademik (12), Teknoloji (10), Genel Kültür (9), UX Tasarımı (9), Hukuk (6), Tıp (6), Needle-in-a-Haystack (6), Kişiselleştirilmiş Asistan (6). Bu dağılım önemlidir çünkü Fusion'ın kazanımları alana bağlıdır ve özellikle Finans, en kalıcı açık riski taşır (Bölüm 6).

DRACO weighted-100, yalnızca bu makalenin TokenLab Fusion değerlendirme hattı içinde kullanılan TokenLab dahili araştırma veri kümesidir. Harici, kamuya açık olarak sürdürülen bir benchmark değildir ve herhangi bir üçüncü taraf benchmark paketiyle ilişkili değildir, bunlar tarafından onaylanmamıştır veya bunlardan alınmamıştır. Öğe örneklemesi, kategori ağırlıklandırma şeması ve köken meta verileri dahil olmak üzere ağırlıklı-100 manifestosu, bu makaleyle birlikte yayınlanmayan özel bir TokenLab kaynak haritası tarafından yönetilir. Bu nedenle raporlanan puanlar, kamuya açık liderlik tabloları veya topluluk benchmarkları ile karşılaştırılabilir puanlar olarak değil, TokenLab'in değerlendirme metodolojisine özgü dahili karşılaştırmalı sinyaller olarak yorumlanmalıdır. Okuyucular, DRACO weighted-100 sonuçlarının benzer bir isim veya yapı taşıyan başka herhangi bir veri kümesine genellenebileceğini veya bunlarla çapraz referans verilebileceğini varsaymamalıdır.

3. Metodoloji

Araştırma döngüsü kanıt önceliklidir: her güçlü iddia sabit bir manifestoya, görev kimliklerine, alan ağırlıklarına, çalışma zamanı ayarlarına, ham sonuç dosyalarına, maliyet satırlarına ve temel satırlara dayandırılabilir olmalıdır. Bu kanıtlar olmadan elde edilen toplu özet rakamlar, kanıt olarak kabul edilmez.

Dört metodolojik taahhüt en önemlisidir.

Opak yerel arama yerine paylaşılan kanıt

Arama, getirme ve okuyucu araçları, test edilen modellerin dışında bir kanıt paketi üretir ve bu aynı paket, mümkün olan her yerde hem panele hem de temel modellere sağlanır. Bu, "model iyi akıl yürütebiliyor ve sentezleyebiliyor mu" sorusunu "model tesadüfen iyi arama yaptı mı" sorusundan ayırır ve ağırlıklı-100 araştırma paketi kanıt çalışmaları, güçlü temel karşılaştırmaları, model yükseltme canary'leri ve nihai tekrarlar için katı bir gerekliliktir.

Rol ayrımı yapılmış maliyet muhasebesi

Temel destekli bir çalışmada, toplam maliyet sütunu Fusion çağrılarını ve temel çağrılarını karıştırır; bunu doğrudan kullanmak, Fusion-sadece maliyet iddiasını abartır veya eksik gösterir. Ağırlıklı-100 araştırma çalışması analizi, 799 maliyet satırı üzerinden $12.837461'lik bir Fusion-sadece resmi toplamına ulaşmak için temel ve temel-puan satırlarını açıkça hariç tutar. Bu ayrım, harmanlanmış toplamlar yerine rol ayrımı yapılmış maliyet satırları, bu rapordaki her maliyet ayarlı kalite iddiasının temelidir.

Eşleştirilmemiş ortalamalar yerine eşleştirilmiş karşılaştırma

Fusion ve temel çıktıları aynı görev kimlikleri üzerinde karşılaştırılır ve sonuçlar ortalama fark, bootstrap güven aralığı, işaret testi p-değeri, kazanma/kaybetme/beraberlik sayısı, maliyet çarpanı, gecikme çarpanı ve hata oranı farkı olarak raporlanır. Farklı görev kapsamına sahip eşleştirilmemiş ortalamalar kanıt olarak kabul edilmez.

Devam ettirilebilir, parçalı yürütme

Ağırlıklı-100 araştırma çalışması, her biri on görevden oluşan on parça (shard) olarak yürütülmüş ve ardından tek bir kanıt yapısında birleştirilmiştir. Nihai Fusion-sadece tekrarı (Bölüm 6) aynı aşamalı, devam ettirilebilir modeli kullanır.

Metot boyutu	Kullanılan yaklaşım	Gerekçe
Görev seçimi	Sabit ağırlıklı 100 görevlik manifesto, hash'lenmiş	Özenle seçilmiş dilimleri önler, tekrarları sağlar
Kanıt kaynağı	Paylaşılan, tekrarlanabilir kanıt paketi	Akıl yürütme kalitesini arama şansından ayırır
Temel izolasyonu	gpt-5.5, claude-opus-4-8 panel/sentez/yargıç/doğrulayıcıdan hariç tutuldu	Fusion iddiasının temel ile kirlenmesini önler
Maliyet muhasebesi	Rol ayrımı yapılmış satırlar; Fusion-sadece toplamları temel çağrılarını hariç tutar	Harmanlanmış maliyet bozulmasını önler
Karşılaştırma tasarımı	Eşleştirilmiş, aynı görev kimlikleri, bootstrap CI, işaret testi	Alan ve örnek varyansını kontrol eder
Yürütme	Parçalı, devam ettirilebilir çalıştırıcılar	Kısmi ilerleme takibini ve aşamalı tekrarları sağlar
Puanlama	Alan rubriklerine karşı rubrik tabanlı doğrulayıcı/yargıç puanlaması	Doğrulayıcı ablasyonunu ve puan ayrıştırmasını sağlar

TokenLab Fusion, model çıktılarını birden fazla metrik sinyalini kompozit bir puanda birleştiren otomatik bir puanlama hattı aracılığıyla değerlendirir. Puanlama kuralları, bu aşamada manuel inceleme olmaksızın programatik olarak uygulanır. Bu yöntem için kamuya açık insan denetimi veya değerlendiriciler arası uyum verileri henüz yayınlanmamıştır; raporlanan sonuçlar, bağımsız doğrulama beklenirken yalnızca otomatik değerlendirmeyi yansıtır.

Veri kullanılabilirliği

Bu çalışmanın temelini oluşturan manifesto hash değeri, maliyet satırları, ham sonuç dosyaları, model tek doğruluk kaynağı anlık görüntüsü ve kaynak haritası, TokenLab'in dahili araştırma arşivinde tutulmaktadır. Bu materyaller erişim kısıtlıdır ve bu makaleyle birlikte yayınlanmamaktadır. Sonuç olarak, temel verilerin redakte edilmiş bir örneği veya kamuya açık bir alt kümesi yayınlanana kadar kamuya açık tekrarlanabilirlik sınırlıdır.

4. Tarif Evrimi: Daha Fazla Model Kaldıraç Değildir

Erken ve önemli bir bulgu olumsuzdur: panele daha fazla model eklemek kaliteyi güvenilir bir şekilde artırmaz ve artıracağı varsayılamaz. Tarif, panel boyutunu ölçeklendirmek yerine kontrollü ablasyonlar dizisiyle evrildi.

Kontrol grubu olarak hızlı çekirdek

Düşük maliyetli, çeşitli, kararlı üç modelli bir panel (gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning), her eklemenin ve her doğrulayıcı varyantının ölçüldüğü maliyet/gecikme kontrol koşulu olarak hizmet eder.

Somut düşük maliyetli model karması

TokenLab Fusion, ağırlıkları birleştirilmiş bir model değil, çıkarım anında çalışan bir orkestrasyon katmanıdır: mevcut birkaç modele yapılan çağrıları koordine eder ve çıktılarını çalışma zamanında birleştirir. Bunu somutlaştırmak gerekirse, gpt-5.5 ve claude-opus-4-8 temel modelleri, panel, sentez, yargıç, doğrulayıcı, gözden geçiren ve araç sahibi gibi tüm Fusion rollerinden hariç tutulmuştur; böylece bildirilen kazanımlar, bu temel modellerin işlem hattı içinde gizli bir çalışma yürütmesine atfedilemez.

Varsayılan yapılandırma, paralel olarak çalışan üç modelden oluşan hızlı ve düşük maliyetli bir kontrol panelidir; buna ek olarak kalite modunda değerlendirilen isteğe bağlı dördüncü bir panelist, tarihsel bir tavan kanıtı çapası ve henüz eşleştirilmiş kanıtları bekleyen primsiz bir aday canary modeli bulunur.

Rol	Model(ler)	Durum
Hızlı düşük maliyetli kontrol paneli	gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning	Test edilen varsayılan düşük maliyet paneli
Kalite ekleme adayı	kimi-k2.7-code	Dördüncü panelist olarak değerlendirildi; yükseltilmedi — gecikme ekliyor, doğrulayıcı ile bazı alanlarda gerileme gösteriyor
Tarihsel kanıt çapası	gemini-3.1-pro-preview	Güçlü temel tarifinde sentez/yargıç/doğrulayıcı/revizyon için kullanılır; bir tavan değeri kanıtlar, hedeflenen ürün maliyeti yolu değildir
Primsiz canary adayı	deepseek-v4-pro (sentez/doğrulama/revizyon), glm-5.2 (bağımsız yargıç)	Hedeflenen maliyet yolu; eşleştirilmiş canary kanıtı bekleniyor

Orkestrasyon, rastgele model çağrıları yerine sabit bir sıra ile ilerler:

1. Paylaşılan bir kanıt paketi bir kez oluşturulur, böylece her panelist aynı bağlam üzerinde akıl yürütür.
2. Düşük maliyetli panelistler, bu kanıt paketine karşı paralel olarak çalıştırılır.
3. Panel çıktıları, karşılaştırma için ortak bir biçime normalleştirilir.
4. Mutabakatı, çatışmayı ve eksik kanıtları ortaya çıkarmak için panel analizi çalıştırılır.
5. Tek bir yanıt sentezlenir, ardından rubrik farkındalıklı bir doğrulayıcı çalıştırılır ve doğrulayıcı sorun işaretlerse bir kez revize edilir.
6. Nihai yanıt puanlanır/yargılanır ve tek bir atanmış araç sahibi belirlenir; panelistler araçları asla doğrudan yürütmez.

kimi-k2.7-code sonucu ve bekleyen deepseek-v4-pro/glm-5.2 canary modeli, değerlendirilmiş ancak değerlendirilmiş ancak benimsenmemiş bir yapılandırmayı hedeflenen ürün maliyeti tarifiyle karıştırmamak için varsayılan panel rakamlarından ayrı olarak raporlanmıştır.

Kimi geri eklemesi: gerçek ama marjinal bir sinyal

Hızlı çekirdeğe bir kodlama/çeşitlilik modeli ekleyen 20 görevlik bir pilot çalışma, hızlı çekirdek 31.37'ye karşı 34.36 ortalama puan üretti (eşleştirilmiş fark +2.99, %95 CI -0.04 ila 6.10, kazanma/kaybetme/beraberlik 11/6/3, maliyet ~1.01x, gecikme ~1.57x). CI'ın sıfırı kapsaması ve 0.3323'lük bir işaret testi p-değeri, bunun eklemeyi gecikmeye duyarlı bir varsayılan haline getirmeyi haklı çıkaracak kadar güçlü olmadığını gösterir; ayrıca bazı Akademik, Tıp ve Teknoloji görevlerinde gerileme göstermiştir. Çıkarılan sonuç role özgüdür: bu model sınıfı, genel amaçlı her zaman açık bir panelistten ziyade bir kodlama/ön uç/uzun bağlam uzmanı olarak ele alınmalıdır.

GLM ve DeepSeek Pro geri eklemeleri, genel dahil etme değil, roller gerektirir

Bir GLM geri eklemesi, küçük bir dilimde 1.49x maliyet ve 1.85x gecikme ile sadece yaklaşık +1.22 puan üretti; bu, yargıç/sentez/kodlama-gözden geçiren rolü için yararlı bir kanıt olsa da, varsayılan panel tanıtımı için yeterli kanıt değildir. DeepSeek V4 Pro'nun değerlendirmesi, bir fiyatlandırma düzeltmesinden sonra (1M token başına giriş $0.435, çıkış $0.87) önemli ölçüde değişti; bu, daha önceki "çok pahalı" yargısını geçersiz kıldı ve onu daha düşük maliyetli bir tarifte sentez/doğrulayıcı rolü için önde gelen bir aday haline getirdi (Bölüm 6). DeepSeek V4 Pro fiyatlandırma düzeltmesi, 2026-07-07 tarihinde gözlemlenen dahili model SSOT'tan türetilmiştir ve harici, satıcı tarafından yayınlanmış bir fiyatın alıntısı değil, bir araştırma maliyeti varsayımı teşkil eder.

Doğrulayıcı/yeniden yazma bulunan en büyük tek kaldıraçtır

20 görevlik bir genişlemede, hızlı çekirdeğe rubrik farkındalıklı bir doğrulayıcı/yeniden yazma aşaması eklemek, sadece hızlı çekirdek için 29.88'e karşı 81.70 ortalama puan üretti; +51.81'lik eşleştirilmiş fark (%95 CI 42.64 ila 61.23), kazanma/kaybetme/beraberlik 20/0/0, 2.14x maliyet ve 1.89x gecikme ile. Bu artımlı bir iyileştirme değildir; tarifin yetenekli olduğu şeyde yapısal bir değişimdir. Ayrıca ücretsiz de değildir: maliyet çarpanı, bir analiz geçişinde 2.0x olan otomatik tutma eşiğini aştı, bu da araştırma-derinliği katmanı için kesinlikle buna değen aynı sonucun, hızlı/ucuz bir ürün katmanı için gerçek bir kısıtlama olduğu anlamına gelir. Daha ucuz alternatifler test edildi ve varsayılan olarak reddedildi: bir lite-gözden geçirme/lite-yığın varyantı, tam doğrulamaya göre yaklaşık 28 puan kaybetti ve her eşleştirilmiş karşılaştırmayı kaybetti; zayıf alan bulgularına dayalı seçici doğrulama, maliyetin sadece yaklaşık %11'ini tasarruf ederken -8.53 ortalama puan kaybetti ve yüksek riskli seçici varyant daha fazla kaybetti. Bu nedenle seçici doğrulama, çözülmüş bir maliyet düşürme tekniği değil, açık bir yönlendirme-araştırma problemi olarak kalmaktadır.

5. Güçlü Temel Sonuçları: Ne Kanıtlandı

Ağırlıklı-100 güçlü temel araştırma çalışması, programdaki en güçlü kanıt yapısıdır. gpt-5.5 ve claude-opus-4-8'i, her Fusion rolünden hariç tutulmuş, yalnızca temel karşılaştırıcılar olarak tutar.

100 görev genelinde Fusion-sadece özeti:

Metrik	Değer
Ortalama puan	86.04
Resmi toplam maliyet	$12.837461
Resmi ortalama maliyet	$0.128375
Platform toplam maliyet	$6.568959
Resmi dolar başına puan	670.21
Başarısız çağrılar	0
Hata oranı	0.0%
Ortalama çağrı gecikmesi	216.4s
Maliyet satırları	799
Toplam yedek görevler	0

Raporlanan 670.21 değeri, Fusion-sadece ham ortalama puanın Fusion-sadece resmi ortalama maliyete bölünmesini ifade ederken, 2.26x ve 3.06x rakamları, eşleştirilmiş karşılaştırma konfigürasyonlarına karşı hesaplanan eşleştirilmiş temel-göreceli dolar başına puan çarpanlarını temsil eder.

İki güçlü temele karşı eşleştirilmiş karşılaştırma:

Temel	Temel ortalama puan	Fusion farkı	95% CI	Kazanma/Kaybetme/Beraberlik	Fusion maliyet çarpanı	Puan/$ oranı	Gecikme çarpanı
gpt-5.5	53.43	+32.60	28.13 – 37.28	95/4/1	0.71x	2.26x	1.23x
claude-opus-4-8	40.41	+45.63	40.85 – 50.21	97/2/1	0.69x	3.06x	2.15x

Kalite ve maliyet ayarlı kalite, bu manifestoda tartışmasız Fusion zaferleridir. 0.0 yüzde puanlık hata oranı farkı, kararlılığı bir farklılaştırıcı değil, bir beraberlik haline getirir. Gecikme net bir Fusion kaybıdır: gpt-5.5'ten 1.23x ve claude-opus-4-8'den 2.15x daha yavaştır. Bu verilerden elde edilen dürüst ürün çerçevesi, düşük gecikmeli interaktif sohbet değil, yüksek kaliteli, maliyet verimli, doğrulanabilir derin araştırmadır.

Alan dökümü, her iki temele karşı her alanda pozitif farklar göstermektedir; bu da iyileştirmenin tek bir alanın eseri olduğu iddiasına karşı çıkar. Seçilen değerler: gpt-5.5'e karşı Finans +37.13, Alışveriş +38.20, Needle-in-a-Haystack +62.56, Teknoloji +33.49; claude-opus-4-8'e karşı Alışveriş +55.96, Needle-in-a-Haystack +69.38, Teknoloji +52.43, UX Tasarımı +52.77. Finans aynı zamanda en net çözülmemiş riski taşıyan alandır: hepsi Finans olmak üzere sekiz yüksek şiddetli kanıt uyarısı, metrik terimleri, dönem terimleri ve mevcut-birincil-dönem kaynak bulma konusundaki boşluklara atıfta bulunarak finance:needs_more_sources olarak işaretlenmiştir. Bunlar çağrı hataları değildir; kaynak yeterliliği uyarılarıdır ve puan farkı büyük olsa bile Finans'a özgü kanıt yönlendirmenin henüz tam olarak çözülmediğini gösterir.

6. Hazırlık Durumu: Kanıtlanan vs. Hala Kısıtlı Olan

İki durum katmanını ayırmak önemlidir. Bu, sevk edilmiş bir sistem sonucu değil, bir tarif kanıtı sonucudur ve program genelinde kullanılan hazırlık takibi bu ayrımı açıkça yansıtır.

Geçildi: sabit ağırlıklı 100 görevlik manifesto, panel politikası, kanıt-yönlendirici sarsıntı testi, panel ablasyon kanıtı, doğrulayıcı/sentez ablasyon kanıtı, güçlü temel konfigürasyonunun kendisi, zayıf-kaynak-kapısı kanıtı, tarif yapıları ve Bölüm 5'te açıklanan güçlü temel eşleştirilmiş kanıtı.

Henüz geçilmedi: Fusion-sadece nihai tekrarı.

Nihai tekrar, güçlü temellere karşı ikinci bir karşılaştırma değildir; amacı farklı ve daha dardır: dondurulmuş kazanan tarifin, çalışmada temel maliyeti olmadan aynı 100 görevlik manifestoda tekrarlanabildiğini, çalışma zamanı konfigürasyonunun tarif tanımıyla eşleştiğini, maliyet satırlarının tam olduğunu ve Fusion-sadece yolunda temel kirlenmesi olmadığını doğrulamaktır. En son aşamalı çalışma itibarıyla, kapsam 100 görevden 20'si puanlanmış, 20'si çalışma zamanı uyumlu, $2.619654 Fusion-sadece resmi maliyet, $0 temel maliyet şeklindedir ve kalan 80 görev daha fazla ofset aşamasında yürütülecektir.

Bu ayrım, ağırlıklı-100 araştırma çalışması rakamlarının nasıl okunması gerektiği açısından önemlidir: güçlü temel farkı gerçek ve eşleştirilmiştir, ancak döngüde temel maliyeti olmadan uçtan uca bağımsız olarak henüz tekrarlanmamış bir tarifle ölçülmüştür ve ürün-maliyeti yolunun kasıtlı olarak emekli etmeye çalıştığı bir sentez/doğrulayıcı/yargıç çapası kullanmıştır.

Özellikle Gemini Pro çapası üzerinde, bu rakamları üreten dondurulmuş tarif, sentez/yargıç/doğrulayıcı çapası olarak tarihsel bir premium Gemini Pro modeli olan gemini-3.1-pro-preview'u kullanmıştır. Bu konfigürasyon, tarif yapısının ve rubrik farkındalıklı doğrulamanın neler başarabileceğinin tavanını belirler, ancak ürün-maliyeti yolunun sevk etmeyi amaçladığı konfigürasyon değildir. Premium Gemini Pro fiyatlandırması hedef maliyet profiline uymadığından, bir sonraki gerekli kanıt yapısı, premium-olmayan bir Gemini canary'sidir: maliyet verimli tarifin kanıtlanmış kalite tavanıyla eşleştiği iddiası yapılmadan önce, sentez/doğrulama için deepseek-v4-pro ve yargılama için glm-5.2 ikame edilerek, aynı görev kimliklerine karşı çalıştırılan, eşleştirilmiş, daha küçük ölçekli bir tekrar.

7. Protokol ve Uyumluluk: Neden Tek Bir Sohbet Uç Noktası Yeterli Değildir

Sadece tek bir OpenAI-uyumlu sohbet uç noktasına karşı çalışan bir tarif, gerçek kodlama-ajanı istemcileriyle temastan sağ çıkamaz. Sohbet Tamamlamaları (Chat Completions) düz konuşma kullanımı için yeterlidir ancak ajan istemcilerinin bağlı olduğu semantikleri düşürür: yazılan çıktı öğeleri, işlev-çağrısı/araç-sonucu eşleştirmesi, akış öğesi olayları, durum bilgili ve durum bilgisiz geçmiş ve sağlayıcıya özgü sıralama garantileri.

Önemli olan yüzeyler ve her birinin taşıdığı semantikler, kayıp olmaksızın tek bir şekle indirgenemeyecek kadar farklıdır:

Yüzey	Korunması gereken temel semantikler
OpenAI Yanıtları	yazılan çıktı öğeleri, geliştirici/sistem talimat hiyerarşisi, işlev çağrıları ve işlev-çağrısı çıktıları, previous_response_id, store, akış öğesi olayları, kullanım muhasebesi
OpenAI Sohbet	eski mesajlar/araçlar; bozulmuş bir cephe olarak kullanılabilir, ancak uyumluluk kayıpları günlüğe kaydedilmelidir
Anthropic Mesajları	üst düzey sistem alanı, içerik blokları, tool_use/tool_result, durum bilgisiz tam-geçmiş istekleri, stop_reason, 200 sonrası akış hataları
Codex-tarzı istemci profili	Yanıtlar-öncelikli, store, previous_response_id, akışlı araç argümanları, araç-sonucu tekrarı, katı olay sıralaması
Claude Code-tarzı istemci profili	Anthropic Mesajları, anında tool_result sıralaması, paralel araç yığınları, disable_parallel_tool_use, model-keşif izin listeleri

Mimari cevap, kanonik bir ara temsildir (IR). Harici protokoller tek bir iç istek/yanıt/akış/araç/kullanım/hata/izleme temsiline eşlenir ve tarif yürütme ve sağlayıcı adaptörleri, tek bir kablo protokolüne karşı değil, bu IR'ye karşı çalışır. IR'nin en azından şunları taşıması gerekir: konuşma ve dönüş tanımlayıcıları artı sağlayıcı durum işaretçileri (previous_response_id); istemci protokolü ve halka açık tarif tanımlayıcısı; sistem/geliştirici/ağ geçidi/tarif talimatlarının kökeni ve önceliği; mesajlar, içerik blokları, resimler ve türetilmiş metin; araçlar, araç sonuçları, araç seçimi ve paralel-araç politikası; modaliteler ve oluşturma ayarları; uyumluluk kayıplarının bir kaydı; kullanım satırları ve rol ayrımı yapılmış maliyet satırları; ve kanıt, arama, araç, maliyet ve model-rolü etkinliğini kapsayan bir izleme.

Pratik gerekçe somuttur: Anthropic'in tool_result'u, eşleşen tool_use'unu hemen takip etmelidir; OpenAI Yanıtları işlev-çağrısı çıktıları call_id ile tekrar oynatılmalıdır; bir Sohbet cephesi, geliştirici-mesajı önceliğini tam olarak koruyamaz; Claude Code her dönüşte durum bilgisiz tam geçmiş gönderir, Yanıtlar-tabanlı istemciler ise sağlayıcı-tarafı durum işaretçisine güvenir. Bir IR ve bu durumları doğrudan çalıştıran bir uyumluluk paketi olmadan, bir sistem bir benchmark'ı geçebilir ve yine de gerçek bir ajan istemcisi içinde başarısız olabilir çünkü araç döngüsü doğru şekilde tamamlanmaz.

Mevcut uygulama durumu iyimser olmaktan ziyade kesin olarak belirtilmelidir: uyumluluk katmanı protokol dokümantasyonu, adaptör IR tanımları, ağ geçidi sözleşme demirbaşları, bir dönüş planlayıcısı, bir akış yazıcısı, araç/kanıt demirbaşları ve toplu uyumluluk test paketi olarak mevcuttur. Protokol şekillerini kısıtlamak, boşlukları ortaya çıkarmak ve erken tasarım kaymasını önlemek için yeterli bir çevrimdışı uyumluluk iskeletidir, ancak henüz canlı bir üretim ağ geçidi değildir. Henüz ölçekli gerçek sağlayıcı yürütme, istemciye dönük akışlı ürün yüzeyi, canlı araç yürütme, üretim kimlik doğrulaması/kiracılık veya kalıcı bir izleme arka ucu içermez. Halka açık model keşfi, yalnızca adlandırılmış halka açık tarif tanımlayıcılarını açığa çıkaracak şekilde tasarlanmıştır; herhangi bir halka açık olmayan veya adlandırılmamış model kimliği isteği, bir istemcinin tarif, maliyet veya izleme sınırlarını aşmasına izin vermek yerine kapalı başarısız olmalıdır (örn. model_not_public).

8. Araç-Kullanım Kontrol Modeli

Çok modelli araç çağırma, bu sistemin herhangi bir kodlama-ajanı uzantısının operasyonel olarak en tehlikeli parçasıdır. Birkaç model aynı dönüşte bağımsız olarak araç çağrıları yapabiliyorsa, sonuç yinelenen dosya düzenlemeleri, yinelenen harici API çağrıları, yinelenen ücretler, eşzamanlı yazmalar, çakışan kabuk komutları veya kimlik bilgisi ifşası olabilir. Benimsenen kontrol modeli kasıtlı olarak kısıtlayıcıdır:

• Bir dönüşün varsayılan olarak tam olarak bir aktif araç sahibi vardır.
• Diğer modeller gözden geçiren veya eleştirmen olarak hareket edebilir ve değişiklikler önerebilir, ancak araçları yürütemezler.
• Bir modelin çıktısındaki araç-şekilli metin, tek başına yürütme yetkisi değildir.
• Her araç çağrısı, herhangi bir yürütme kararı verilmeden önce kanonik bir ToolCall IR'ye normalleştirilir.
• Bir zamanlayıcı, her çağrıyı executable, advice_only, blocked veya requires_approval olarak sınıflandırır.
• Salt-okunur, ağ-okuma ve sadece-hesaplama çağrıları, güvenli koşullar altında paralel bir grupta eşzamanlı olarak çalışabilir.
• Yazma, kabuk-yazma, ödeme, kimlik bilgisi ve yıkıcı-sınıf çağrıları varsayılan olarak serileştirilir ve onay-kapılıdır.
• Araç sonuçları, hedef protokolün beklenen şekline deterministik olarak tekrar oynatılır.
• Kısmi JSON asla yürütülmez; iyi biçimlendirilmiş JSON bile şema, yan-etki, onay ve sahip kontrollerinden geçmelidir.

Bu, birkaç ajanın hepsinin bir problemi eşzamanlı olarak "çözmeye" çalışabileceği tipik çok-ajanlı gösterimlerden anlamlı bir sapmadır. Üretime dönük bir kodlama tarifi, yürütme güvenliği üzerinde rol disiplini gerektirir: bir gözden geçiren, önerilen bir yamanın bir test paketini bozacağını işaretleyebilir, ancak kendisi yıkıcı bir kabuk komutu çalıştıramaz. Bir araç sahibi bir dosya düzenlemesi veya kabuk komutu başlatabilir, ancak çıktısı yürütmeden önce ağ geçidi tarafından doğrulanır.

Bu aynı zamanda model kütüphanesinin araç-yetenek etiketlerinin nasıl okunması gerektiğini de kısıtlar: bir "araç-kullanım" etiketi, bir modelin bir araç çağrısını makul bir şekilde ifade edebileceği anlamına gelir, üretim aracı sahibi olmaya yetkili olduğu anlamına gelmez. Sahip statüsüne terfi, akışlı araç argümanlarını, araç-kimliği kararlılığını, hatalı-JSON onarımını, araç-sonucu tekrarını, paralel-araç politikasını, kullanım muhasebesini ve hata şeklini kapsayan bir uyumluluk paketini geçmeyi gerektirir. İlgili bir uç durum, satır içi araç "kurtarma"sıdır: bazı sağlayıcılar araç çağrılarını asistan metni olarak yayar (XML/JSON blokları, özel işlev etiketleri, nesne veya çift-kodlanmış argümanlar). Adaptör katmanı bu lehçeleri tespit edip onarabilir, ancak onarım sadece bir aday ToolCall IR üretir; yürütme yetkisi vermez, mevcut sahibin yanıt metniyle sınırlıdır (kullanıcı metnine, araç sonuçlarına, gözden geçiren notlarına veya nihai birleştirilmiş cevaba asla uygulanmaz) ve onarılmış bir çağrı yine de sahip, şema, yan-etki, onay, paralellik ve idempotensi kapılarından geçmelidir. Tekrarlanan hatalı JSON, sessizce yürütülmek yerine o sahibin dönüş için uyumluluk kontrolünü başarısız kılmalıdır.

9. Vizyon ve Web Arama: Adalet vs. Ürün Deneyimi

Değerlendirme ve ürün yolları burada kasıtlı olarak ayrılır. Benchmark kanıtı, paylaşılan, tekrarlanabilir kanıt kullanır; üretim istekleri yerel arama veya vizyon kullanabilir, ancak yalnızca izlenebilir olduğunda.

Arama üç farklı yol ile ele alınır: shared_evidence (Fusion'a ait, tekrarlanabilir harici arama/getirme/okuma paketi, ağırlıklı-100 araştırma paketi kanıt çalışmaları, güçlü temel karşılaştırmaları, model yükseltme canary'leri ve nihai tekrarlar için zorunludur), native_search (bir modelin veya sağlayıcının kendi web/tarama/topraklama yeteneği) ve external_search (getirme, tarayıcı okuma veya belge çıkarma gibi izlenebilir harici araçlar). Yerel arama yasak değildir; ürün deneyimini iyileştirebilir, ancak adil bir benchmark iddiasını destekleyemez, çünkü bir modelin kendi arama davranışı, alınan kaynaklar ve alıntı izi opaksa, karşılaştırma aynı-görev karşılaştırması olmaktan çıkar.

Vizyon aynı mantığı izler. Yerel vizyon ve türetilmiş OCR/altyazı metni eşdeğer girdiler değildir ve bir resme farklı görünürlüğe sahip modeller arasında bir karşılaştırma, adil bir vizyon karşılaştırması değildir. İzleme, her modelin görünürlüğünü açıkça native_image, derived_text veya none olarak kaydeder. Önerilen üretim modeli hibrit bir modeldir: birincil modeller yerel vizyon kullanabilirken, daha düşük maliyetli gözden geçirenler türetilmiş metin üzerinden çalışır; güncel-gerçekler görevleri varsayılan olarak harici arama/getirme kullanır ve yerel arama yalnızca bir rota bir yetenek probunu geçtikten ve tam bir izleme ürettikten sonra izin verilir. Ancak değerlendirme, her zaman paylaşılan kanıta ve hash'lenmiş bir kanıt paketine varsayılan olarak döner.

10. Rol Farkındalıklı Seçim Şeması Olarak Model Kütüphanesi

TokenLab Fusion'ın temelini oluşturan model kataloğu, düz bir yetenek tablosundan maliyet katmanı, Fusion rolleri, yetenek etiketleri, seçim metrikleri, yönlendirme profili ve önerilen değerlendirme yolu alanlarına sahip katmanlı bir seçim şemasına geçmiştir. Bu, tek bir "bu model ne kadar güçlü" sıralamasının yakalayamadığı bir ürün gerçeğini yansıtır: bir model mükemmel bir kodlama gözden geçireni ve zayıf bir düşük-gecikmeli araştırma panelisti olabilir; bir model ucuz olabilir ancak kararsız araç-çağrı kimliklerine sahip olabilir; bir model, adalet-kapılı bir değerlendirme için yeterli izleme kanıtına sahip olmadan yerel-vizyon yetenek etiketi taşıyabilir.

Katman	Temsili rol	Ürün anlamı
Ucuz her zaman açık	düşük maliyetli panel/gözden geçiren/yargıç adayları	Varsayılan panel kompozisyonu, yalnızca eşleştirilmiş canary kanıtı ile tanıtılır
Güçlü akıl yürütme yükseltmesi	zor-görev tırmandırması	Zor görevler için sentez/doğrulayıcı/yargıç rolü
Kodlama/ajan uzmanı	araç-döngüsü, depo-ölçeği, ön-uç gözden geçirmesi	Kodlama ajanı araç sahibi ve gözden geçiren adayları
Vizyon/arama uzmanı	resim/arama-yoğun ürün iş akışları	Adalet-kapılı kullanımdan önce izleme probu gerektirir
Ultra-uzun-bağlam tutma	dev depo/kanıt-paketi tanılamaları	Varsayılan panel üyesi değildir
Kara-kutu karşılaştırıcı	sağlayıcı-tarafı çok-ajanlı sistemler	Yalnızca referans noktası; dahili Fusion atıfı ondan türetilemez

Emekli edilen premium çapa hakkındaki mevcut yargı açık bir ifadeyi hak eder: ağırlıklı-100 kanıtını çapalayan tarihsel premium Gemini Pro modeli, aktif ürün-maliyeti tarifi planlamasından emekli edilmiştir ve daha düşük fiyatlı bir Gemini flash-katmanı modeli de hedef tarif maliyet profiline uymayan çıktı fiyatlandırması nedeniyle varsayılan plandan çıkarılmıştır. Bu, ağırlıklı-100 araştırma çalışması sonucunu revize etmez, o kanıt kaydedildiği gibi durur, ancak kanıtın ve amaçlanan sevk tarifinin şu anda aynı sistem olmadığı anlamına gelir, bu da premium-olmayan Gemini canary'sinin isteğe bağlı değil, bir sonraki gerekli kanıt adımı olmasının tam nedenidir.

11. Model-Kütüphanesi Yükseltme Kapıları

Tekrarlayan bir operasyonel endişe, her model değişikliğinin tam bir 100 görevlik tekrar gerektirip gerektirmediğidir. Program tarafından benimsenen cevap, her iki uç noktadan (her değişiklikte körü körüne tam tekrarlar veya kanıt olmadan körü körüne aynı-aile ikamesi) ziyade, katmanlı, risk-orantılı kapılamadır:

1. Sözleşme duman testi: rota, fiyatlandırma, akış, bağlam penceresi, çıktı sınırları, modalite ve araç/arama/vizyon bayraklarını doğrulayın.
2. Uyumluluk paketi: OpenAI Sohbet, OpenAI Yanıtları, Anthropic Mesajları, araç çağrısı, araç-sonucu, paralel-araç, kullanım, hata ve akış işlemeyi çalıştırın.
3. Nöbetçi değerlendirme: modelin iddia edilen rolüne uygun küçük bir alan-spesifik set çalıştırın (örn. finans kaynak yeterliliği, kodlama araç döngüsü, ön-uç görsel gözden geçirme).
4. Eşleştirilmiş canary: kalite, maliyet, gecikme ve hata oranı için aynı görev kimliklerinde mevcut tarifle karşılaştırın.
5. Tam 100-görev çalışması: varsayılan tarifi veya güçlü bir temel iddiasını değiştirebilecek adaylar için ayrılmıştır.

Görünüşte küçük bir aynı-aile yükseltmesi bile bu huniden geçmeyi gerektirir: fiyatlandırma, araç-çağrı davranışı, akış ve eşleştirilmiş kalite, paylaşılan bir model aile isminden çıkarılmak yerine bağımsız doğrulama gerektirir. 100 görevlik manifestonun sürekli çalıştırılmamasının nedeni de budur; nihai doğrulama için ayrılmıştır, günlük model değişiklikleri ise yukarıdaki daha ucuz, daha hızlı kapılar tarafından yönetilir.

12. İlgili Çalışmalar ve Nelerin (ve Nelerin Değil) Yeniden Kullanıldığı

Program, hedeflerini toptan benimsemeden birkaç halka açık araştırma ve araç yönünden yararlanır. Mixture-of-Agents, daha zayıf model çıktılarının daha güçlü bir sentezleyiciyi yararlı bir şekilde koşullandırabileceği fikrini motive eder, ancak Bölüm 4'teki panel-şişkinliği bulguları, ablasyon olmadan katmanlamaya karşı uyarır. LLM-Blender, panel/yargıç/sentez aşamalarının benzediği aday-oluşturma, ikili-sıralama, üretken-füzyon yapısına katkıda bulunur, ancak hiçbir özel eğitilmiş sıralayıcı şu anda rubrik-tabanlı yargıcın yerini almaz. FrugalGPT ve RouteLLM, maliyet-farkındalıklı basamaklandırma ve yönlendirmeyi motive eder, ancak buradaki yönlendirme problemi tek bir ikili model seçimi değil, çok-rollüdür (panel, sentez, yargıç, doğrulayıcı, arama stratejisi, araç sahibi her biri bağımsız olarak yönlendirebilir). Inspect AI, OpenAI Evals, Promptfoo ve Ragas gibi değerlendirme-donanımı araçları, sistematik, CI-dostu bir değerlendirme döngüsü mühendislik modelini bilgilendirir, ancak hiçbiri burada kullanılan sabit ağırlıklı manifesto, kaynak-yeterliliği kontrolleri, rol ayrımı yapılmış maliyet satırları veya alan-ağırlıklı eşleştirilmiş kanıt yapısının yerini almaz.

13. Sınırlamalar

Sınırlama	Mevcut durum	Neden önemli
Premium çapa bağımlılığı	Ağırlıklı-100 kanıtı, sentez/yargıç/doğrulayıcı olarak tarihsel bir premium Gemini Pro modeli kullandı	Amaçlanan ürün-maliyeti tarifini değil, tarif tavanını kanıtlar
Nihai tekrar eksik	Fusion-sadece tekrarı 20/100 görevde, 20/20 çalışma zamanı uyumlu	Temel maliyeti olmadan tekrarlanabilirlik henüz tam doğrulanmadı
Kamuya açık insan denetimi veya değerlendiriciler arası uyum verisi yok	İnsan denetimi ve değerlendiriciler arası uyum sonuçları henüz yayınlanmadı	Otomatik puanların insan yargısına göre güvenilirliği ve tutarlılığı doğrulanmadı
Gecikme dezavantajı	gpt-5.5'e karşı 1.23x, claude-opus-4-8'e karşı 2.15x	Derin araştırma için kabul edilebilir olabilir, interaktif kodlama ajanları için kabul edilemez
Rubrik farkındalıklı doğrulayıcı	Doğrulayıcı, puanlama rubriğini/kontrol listesini görür	Karşılaştırmalar bunu açıklamalıdır; rubrik-kör sistemlerle doğrudan karşılaştırılamaz
Finans kaynak uyarıları	8 yüksek şiddetli finance:needs_more_sources uyarısı	Finans'ta kaynak yeterliliği, büyük puan farklarına rağmen çözülmemiştir
Yerel yetenek çıkarımı	Arama/vizyon yetenek etiketleri, üretim-sınıfı izleme desteğinin kanıtı değildir	Adalet-kapılı değerlendirme kullanımından önce rota-bazlı prob gerektirir
Uyumluluk katmanı olgunluğu	Çevrimdışı iskelet (IR, demirbaşlar, yönlendirici sözleşmesi, planlayıcı, akış yazıcısı)	Gerçek sağlayıcı yürütme, kimlik doğrulama/kiracılık veya kalıcı izleme depolaması olan canlı bir ağ geçidi değil
Fiyatlandırma/rota oynaklığı	DeepSeek V4 Pro fiyatlandırma düzeltmesi stratejik bir kararı zaten değiştirdi	Model-kütüphanesi katmanlaması, fiyatlandırma ve rota davranışı değiştikçe yeniden doğrulanmalıdır

14. SSS

100 görevlik sonuç, TokenLab Fusion'ın genel olarak GPT-5.5 ve Claude Opus 4.8'i yendiği anlamına mı geliyor?

Eşleştirilmiş sonuç, özellikle sabit ağırlıklı-100 araştırma manifestosu üzerinde, paylaşılan kanıt ve rol ayrımı yapılmış maliyet muhasebesi kullanılarak, gpt-5.5 ve claude-opus-4-8 Fusion panelinden hariç tutularak geçerlidir. Bu, görev türünden, kanıt koşullarından veya manifesto kompozisyonundan bağımsız genel bir iddia değil, bu kapsamda güçlü, alan-geniş bir kanıttır.

Puan farkı zaten büyükse Gemini Pro çapası neden önemli?

Fark, sentezleme, yargılama ve doğrulama için tarihsel bir premium Gemini Pro modeli kullanan bir tarif tarafından üretilmiştir. Bu konfigürasyon, tarif yapısının neler başarabileceğini belirler, ancak ürün yolunun sevk etmeyi amaçladığı maliyet profili değildir. Premium-olmayan bir Gemini konfigürasyonu aynı görev kimliklerine karşı eşleştirilmiş bir canary olarak çalıştırılana kadar, elde edilen kalite ve amaçlanan sevk maliyeti birlikte değil, ayrı ayrı kanıtlanmıştır.

Daha düşük çağrı-başı maliyet, kalite birimi başına daha düşük maliyetle aynı mıdır?

Hayır ve bu nedenle bu çalışma için ayrı ayrı raporlanırlar. 0.71x ve 0.69x maliyet çarpanları, iki temele karşı ham maliyeti tanımlar; 2.26x ve 3.06x dolar-başına-puan oranları, maliyet-ayarlı kaliteyi tanımlar. Her ikisi de gereklidir, çünkü bir sistem çağrı başına daha ucuz olabilir ve yine de daha kötü puan alabilir veya çağrı başına daha pahalı olabilir ve yine de kalite birimi başına daha maliyet verimli olabilir; bu değerlendirme, bunları çökertmek yerine açıkça raporlar.

Doğrulayıcı ablasyonu bu sonuç için neden önemli?

Rubrik farkındalıklı doğrulayıcı/yeniden yazma aşaması, bu programda ölçülen en büyük tek kalite değişimini (20 görevlik genişlemede eşleştirilmiş fark +51.81), hızlı-çekirdek kontrolüne karşı yaklaşık 2.14x maliyet ve 1.89x gecikme ile üretti. Tarifler arasında veya Fusion ile bir temel arasında yapılan herhangi bir karşılaştırma, doğrulayıcı aşamasının aktif olup olmadığını açıklamalıdır, çünkü hem maliyet profilini hem de adalet çerçevesini (doğrulayıcı, puanlama rubriklerini görür) değiştirir.

TokenLab Fusion bugün gerçek bir kodlama-ajanı istemcisi içinde çalışmaya hazır mı?

Hayır. Protokol ve araç-kullanım kontrol mimarisi (kanonik IR, uyumluluk paketi, araç-sahibi modeli), dokümante edilmiş protokol eşlemeleri ve demirbaşları olan bir çevrimdışı uyumluluk iskeleti olarak mevcuttur, ancak henüz canlı bir üretim ağ geçidi, ölçekli gerçek sağlayıcı yürütme, kimlik doğrulama/kiracılık veya kalıcı izleme depolaması içermez. Derin Araştırma kanıtı ve Kodlama Ajanı hattı farklı zaman çizelgelerinde değerlendirilir ve kodlama hattı henüz ilk küçük-örneklem doğrulama aşamasını tamamlamamıştır.

15. Araştırma Kapanışı

Ne kanıtlandı

Sabit, hash'lenmiş, ağırlıklı 100 görevlik çok alanlı bir manifestoda, paylaşılan kanıt ve rol ayrımı yapılmış maliyet muhasebesi kullanılarak, doğrulayıcı donanımlı çok modelli bir tarif, gpt-5.5 üzerinde +32.60 ve claude-opus-4-8 üzerinde +45.63 eşleştirilmiş ortalama-puan farkı elde etti; maliyetler sırasıyla 0.71x ve 0.69x oldu ve 799 maliyet satırı boyunca sıfır çağrı hatası gerçekleşti. Rubrik farkındalıklı doğrulama, hızlı-çekirdek kontrolüne karşı +51.81 eşleştirilmiş fark ile test edilen en büyük tek kalite kaldıracı olarak doğrulandı. Pozitif farklar, manifestodaki her alanda her iki temele karşı korunur, bu da kazanımın tek bir görev türünde yoğunlaşmadığını gösterir.

Ne kısıtlı kaldı

Dondurulmuş kazanan tarifin Fusion-sadece nihai tekrarı eksiktir (son kontrolde 100 görevden 20'si) ve kanıt uçtan uca tekrarlanabilir sayılmadan önce temiz bir hazırlık denetimiyle tam kapsama ulaşmalıdır. Kanıtı üreten tarif, ürün-maliyeti yolunun emekli etmeyi amaçladığı tarihsel bir premium Gemini Pro çapasına bağlıdır; amaçlanan premium-olmayan Gemini ikamesi için henüz eşleştirilmiş kanıt yoktur. Gecikme, özellikle herhangi bir kodlama-ajanı uygulaması için çözülmemiş bir ürün ödünleşimi olarak kalmaktadır. Finans kaynak yeterliliği, o alandaki büyük puan avantajına rağmen sekiz çözülmemiş yüksek-şiddetli uyarı taşır. Protokol-uyumluluk katmanı mimari olarak tanımlanmıştır ancak henüz çalışan bir üretim ağ geçidi değildir.

Sırada hangi kanıtlar toplanmalı

Kalan 80 görev üzerinde Fusion-sadece nihai tekrarını tamamlayın ve kanıtın döngüde temel maliyeti olmadan tekrarlanabilirliğini doğrulamak için hazırlık denetimini yeniden çalıştırın. Premium Gemini Pro çapası yerine sentez/doğrulama için deepseek-v4-pro ve yargılama için glm-5.2 ikame eden, eşleştirilmiş, aynı-görev-kimlikli bir canary çalıştırın, tam-manifesto iddiasından önce küçük ölçekte başlayın. Finans alanı sonucunu tam olarak çözülmüş kabul etmeden önce, sekiz öne çıkan Finans kanıt-yeterliliği uyarısını alana özgü kaynak-kapısı çalışmasıyla kapatın. Uyumluluk paketini çevrimdışı iskeletten canlı sağlayıcı yürütmeye doğru genişletin ve kodlama-ajanı altyapısına daha fazla yatırım yapmadan önce araç-sahibi/gözden geçiren mimarisinin ölçülebilir bir panel-tek-model-üzeri avantajı üretip üretmediğini test etmek için küçük-örneklemli bir kodlama-ajanı doğrulama aşaması (beş görev ölçeğinde) çalıştırın. Bunların her biri genel bir yol haritası öğesi değil, spesifik, yanlışlanabilir bir sonraki deneydir.