الإعدادات

اللغة

TokenLab Fusion: أدلة من مجموعة بيانات الأبحاث DRACO Weighted-100

CryptoCrypto
·٨ يوليو ٢٠٢٦·3 دقائق قراءة·آخر تحديث ١١ يوليو ٢٠٢٦·116 مشاهدة
#TokenLab Fusion#أبحاث#بنية تحتية للنماذج#توجيه النماذج#تقييمات LLM#تنسيق النماذج المتعددة
TokenLab Fusion: أدلة من مجموعة بيانات الأبحاث DRACO Weighted-100

ملاحظة حول حالة البحث: TokenLab Fusion: هذه النتيجة هي إثبات للمنهجية (proof-of-recipe) ونتيجة بحثية تعتمد على خط أساس قوي وتاريخي، وليست ادعاءً بجاهزية الإنتاج. تم إنتاج النتائج باستخدام نموذج Gemini المتميز (premium) كمرتكز؛ ولا يزال هناك تشغيل تجريبي (canary run) بدون استخدام نموذج متميز، وإعادة تشغيل نهائية تعتمد على Fusion فقط، بانتظار تأكيد إمكانية التكرار دون الاعتماد على موارد متميزة. إن DRACO weighted-100 هو تقييم داخلي خاص بـ TokenLab وليس معياراً خارجياً أو موحداً. يرجى تفسير النتائج وفقاً لذلك.

الملخص

يوثق هذا التقرير الحالة الإثباتية الحالية لـ TokenLab Fusion، وهو نظام تنسيق استنتاجي متعدد النماذج (multi-model inference-time orchestration) تم تقييمه مقابل مجموعة بحثية ثابتة وموزونة من 100 مهمة متعددة المجالات (سجل أبحاث DRACO weighted-100، الذي يغطي التمويل، التسوق/مقارنة المنتجات، الأكاديميا، التكنولوجيا، المعرفة العامة، تصميم تجربة المستخدم UX، القانون، الطب، مهام "إبرة في كومة قش"، ومهام المساعد الشخصي). السؤال البحثي المركزي ليس ما إذا كان تجميع النماذج يمكن أن يحقق درجة إجمالية أعلى من نموذج واحد في شريحة معيارية، بل ما إذا كان يمكن تنظيم منهجية منضبطة (تكوين اللوحة، التوليف، التحقق الواعي بالمعايير، مصادر الأدلة، ومحاسبة التكاليف) في نظام قابل للتكرار والتدقيق والترقية يتفوق على خطوط الأساس للنماذج الفردية القوية عبر مختلف المجالات، وليس فقط في مجموعة فرعية مواتية.

تأتي أقوى الأدلة حتى الآن من تشغيل البحث weighted-100، وهو تقييم مقترن يعتمد على خط أساس مقابل gpt-5.5 و claude-opus-4-8 على مجموعة بيانات DRACO الثابتة المكونة من 100 مهمة. سجل TokenLab Fusion متوسطاً قدره 86.04، مع فرق متوسط مقترن قدره +32.60 مقارنة بـ gpt-5.5 (فوز/خسارة/تعادل 95/4/1، التكلفة 0.71x، النتيجة مقابل الدولار 2.26x) و +45.63 مقارنة بـ claude-opus-4-8 (فوز/خسارة/تعادل 97/2/1، التكلفة 0.69x، النتيجة مقابل الدولار 3.06x). هذه الأرقام قوية ومقترنة وقابلة للتكرار مقابل سجل ثابت، لكنها تحمل مؤهلين مهمين يعاملهما هذا التقرير كنتائج من الدرجة الأولى وليس كملاحظات هامشية: المنهجية الفائزة استخدمت نموذج Gemini Pro متميزاً تاريخياً (gemini-3.1-pro-preview) كمرتكز للتوليف/التحكيم/التحقق، ولا تزال حالة جاهزية النظام للإطلاق تتطلب إعادة تشغيل نهائية تعتمد على Fusion فقط قبل اعتبار النتيجة مكتملة. يفصل بقية هذا التقرير ما تم إثباته في تشغيل البحث ذي خط الأساس القوي عما يظل مقيداً قبل أي ادعاء بالإنتاج، ويحدد الأدلة المحددة التي لا تزال مطلوبة، وبشكل عاجل تشغيل تجريبي (canary) بدون Gemini متميز، لسد هذه الفجوة.

TokenLab Fusion score lift against strong single-model baselines
ارتفاع درجة TokenLab Fusion مقابل خطوط أساس النماذج الفردية القوية.

1. نطاق البحث وهدفه

يُعرف TokenLab Fusion هنا بأنه تنسيق في وقت الاستنتاج عبر نماذج متعددة من المنبع، وليس نموذجاً مدرباً بدمج الأوزان. يتم توجيه الطلب الواحد عبر عدة أدوار للنماذج (عضو لوحة، مُولِّف، مُتحقِّق، حكَم، مراجع، مالك أداة)، وتتحكم المنهجية في كيفية إنشاء المخرجات ومقارنتها وإعادة كتابتها وإرجاعها. هذا أقرب إلى تكوين إنتاجي متعدد النماذج قابل للتحقق منه بدلاً من كونه تصويتاً جماعياً عديم الحالة؛ وهو يشترك في أصول هيكلية مع Mixture-of-Agents و LLM-Blender، على الرغم من أن جهاز اختيار المنهجية ومحاسبة التكاليف الموصوف أدناه يتجاوز كلاً منهما.

هدف التقييم هو مجموعة أبحاث weighted-100: مجموعة ثابتة من مهام البحث متعددة المجالات، الكثيفة بالأدلة، والمصنفة بدقة وفق معايير محددة. يرفض البرنامج البحثي صراحةً مقارنات خط الأساس الضعيفة. خطوط الأساس المقبولة الوحيدة هي gpt-5.5 و claude-opus-4-8، وكلاهما مستبعد تماماً من أدوار Fusion في اللوحة، التوليف، التحكيم، التحقق، ومالك الأداة؛ لأن تلوث اللوحة بنموذج خط الأساس من شأنه أن يبطل أي ادعاء بأن "منهجية متعددة النماذج أرخص تتفوق على نموذج فردي قوي".

معرفات النماذج المشار إليها في هذه الورقة--gpt-5.5، claude-opus-4-8، gemini-3.1-pro-preview، deepseek-v4-pro، و glm-5.2--هي معرفات نماذج منطقية لمنصة TokenLab Fusion ومعرفات خط أساس بحثي تم التقاطها من لقطة المصدر الوحيد للحقيقة (SSOT) لنماذج TokenLab المرصودة في 2026-07-07. تشير هذه المعرفات إلى تسميات التوجيه والتقييم الداخلية بدلاً من لوحة صدارة مستقلة ومدققة علنياً، ولا يوجد ادعاء بأن هذه الأسماء تتوافق واحداً لواحد مع تسميات الإصدار العام لأي بائع خارجي. المعرفات مثل gpt-5.5 و claude-opus-4-8 هي تسميات داخلية لخط الأساس والتوجيه مستمدة من SSOT الخاص بـ TokenLab ولا ينبغي تفسيرها على أنها تعيينات لإصدارات نماذج البائعين العامة. ونتيجة لذلك، لا ينبغي قراءة مقارنات خط الأساس القوية في هذه الورقة كادعاء كامل بجاهزية الإنتاج: لم يكتمل بعد تقييم canary بدون Gemini متميز وإعادة التشغيل المتبقية لـ Fusion فقط، ولا تزال مقيدة بانتظار مزيد من التحقق. تمثل النتائج المقدمة هنا مقارنة بحثية في لحظة زمنية معينة، وليست نتيجة معيارية نهائية أو تم التحقق منها بالكامل للإنتاج.

يشترك خطان إنتاجيان في هذه البنية التحتية البحثية ولكنهما يختلفان في المنهجية: خط البحث العميق (Deep Research) (مستند إلى الأدلة، مفحوص كفاية المصدر، مكثف التحقق) وخط وكيل البرمجة (Coding Agent) (مكثف تنفيذ الأدوات، حساس لزمن الاستجابة، لا يزال في مرحلة ما قبل المرحلة 0). هذا التقرير يدور بشكل أساسي حول خط البحث العميق، حيث توجد حالياً أدلة مقترنة مقابل خطوط الأساس القوية.

2. لماذا سجل ثابت من 100 مهمة

لا يمكن لتشغيل معيار لشريحة واحدة أن يدعم قرارات المنهجية. يوجد سجل الـ 100 مهمة لخدمة ست وظائف هندسية متميزة في وقت واحد: اختيار المنهجية عبر المجالات (تجنب الإفراط في التخصيص لشريحة محظوظة واحدة)، بيانات تدريب سياسة الموجه، أدلة تعيين دور النموذج، بناء منحنى التكلفة/الجودة/زمن الاستجابة، مكتبة فشل لاختبار الانحدار وcanaries ترقية النموذج المستقبلية، ومجموعة انحدار طبقي قابلة لإعادة الاستخدام لا تحتاج إلى إعادة تشغيل كاملة في كل مرة يتغير فيها نموذج المنبع.

السجل المستخدم عبر التجارب المبلغ عنها هو weighted-100-v1، وهو شريحة موزونة حتمية مع هاش ثابت لمجموعة المهام (b08a09aacbc76c5e5aafd5ca0a6fa614a5061bc478f905007ae5aee4a93fc43a). وزن المجال الخاص به ليس موحداً: التمويل (20)، التسوق/مقارنة المنتجات (16)، الأكاديميا (12)، التكنولوجيا (10)، المعرفة العامة (9)، تصميم تجربة المستخدم (9)، القانون (6)، الطب (6)، إبرة في كومة قش (6)، المساعد الشخصي (6). هذا التوزيع مهم لأن مكاسب Fusion تعتمد على المجال، والتمويل على وجه الخصوص يحمل المخاطر المفتوحة الأكثر استمراراً (القسم 6).

DRACO weighted-100 هي مجموعة بيانات بحثية داخلية لـ TokenLab تُستخدم حصرياً ضمن خط تقييم TokenLab Fusion في هذه الورقة. إنها ليست معياراً خارجياً يتم صيانته علناً، وليست تابعة لأي مجموعة معايير طرف ثالث أو معتمدة منها أو مستمدة منها. يخضع سجل weighted-100، بما في ذلك أخذ عينات العناصر، ومخطط وزن الفئة، وبيانات المصدر الوصفية، لخريطة مصدر خاصة بـ TokenLab لا يتم نشرها جنباً إلى جنب مع هذه الورقة. لذلك يجب تفسير الدرجات المبلغ عنها كإشارات مقارنة داخلية خاصة بمنهجية تقييم TokenLab بدلاً من كونها درجات قابلة للمقارنة بلوحات الصدارة العامة أو معايير المجتمع. لا ينبغي للقراء افتراض أن نتائج DRACO weighted-100 تعمم على، أو يمكن الإشارة إليها مقابل، أي مجموعة بيانات أخرى تحمل اسماً أو هيكلاً مشابهاً.

Weighted 100-task manifest distribution
توزيع سجل الـ 100 مهمة الموزونة.

3. المنهجية

حلقة البحث تعتمد على الأدلة أولاً: يجب أن يكون كل ادعاء قوي قابلاً للتتبع إلى سجل ثابت، ومعرفات المهام، وأوزان المجال، وإعدادات وقت التشغيل، وملفات النتائج الخام، وصفوف التكلفة، وصفوف خط الأساس. لا يتم التعامل مع أرقام الملخص الإجمالية بدون تلك القطع الأثرية كأدلة.

هناك أربعة التزامات منهجية هي الأكثر أهمية.

الأدلة المشتركة بدلاً من البحث الأصلي الغامض

تنتج أدوات البحث والجلب والقراءة حزمة أدلة خارجية للنماذج قيد الاختبار، ويتم توفير نفس الحزمة لكل من اللوحة ونماذج خط الأساس حيثما أمكن ذلك. هذا يعزل "هل يمكن للنموذج الاستنتاج والتوليف بشكل جيد" عن "هل صادف أن النموذج بحث بشكل جيد"، وهو مطلب صارم لتشغيلات إثبات مجموعة أبحاث weighted-100، ومقارنات خط الأساس القوية، وcanaries ترقية النموذج، وإعادة التشغيل النهائية.

محاسبة التكاليف المفصولة حسب الدور

في تشغيل ممكن بخط الأساس، يخلط عمود التكلفة الإجمالي بين استدعاءات Fusion واستدعاءات خط الأساس؛ واستخدامه مباشرة سيؤدي إلى المبالغة أو التقليل من ادعاء تكلفة Fusion فقط. يستبعد تحليل تشغيل بحث weighted-100 صراحةً صفوف خط الأساس ودرجات خط الأساس للوصول إلى إجمالي رسمي لـ Fusion فقط قدره $12.837461 عبر 799 صف تكلفة. هذا التمييز، أي صفوف التكلفة المفصولة حسب الدور بدلاً من الإجماليات الممزوجة، هو الأساس لكل ادعاء جودة معدل حسب التكلفة في هذا التقرير.

المقارنة المقترنة بدلاً من المتوسطات غير المقترنة

تتم مقارنة مخرجات Fusion وخط الأساس على معرفات مهام متطابقة، ويتم الإبلاغ عن النتائج كفرق متوسط، وفترة ثقة bootstrap، وقيمة p لاختبار الإشارة، وعدد الفوز/الخسارة/التعادل، ومضاعف التكلفة، ومضاعف زمن الاستجابة، وفرق معدل الفشل. لا يتم قبول المتوسطات غير المقترنة ذات تغطية المهام المختلفة كإثبات.

التنفيذ القابل للاستئناف والمجزأ

تم تنفيذ تشغيل بحث weighted-100 كعشرة أجزاء من عشر مهام لكل منها، ثم تم تجميعها في قطعة إثبات واحدة. تستخدم إعادة التشغيل النهائية لـ Fusion فقط (القسم 6) نفس النمط المرحلي والقابل للاستئناف.

بعد المنهجيات النهج المستخدم الأساس المنطقي
اختيار المهمة سجل ثابت موزون من 100 مهمة، مشفر (hashed) يمنع الشرائح المختارة بعناية، يتيح عمليات إعادة التشغيل
مصادر الأدلة حزمة أدلة مشتركة وقابلة للتكرار يعزل جودة الاستنتاج عن حظ البحث
عزل خط الأساس gpt-5.5، claude-opus-4-8 مستبعدون من اللوحة/التوليف/التحكيم/التحقق يمنع تلوث خط الأساس لادعاء Fusion
محاسبة التكاليف صفوف مفصولة حسب الدور؛ إجماليات Fusion فقط تستبعد استدعاءات خط الأساس يتجنب تشويه التكلفة/الدولار للتكلفة الممزوجة
تصميم المقارنة مقترنة، نفس معرفات المهام، bootstrap CI، اختبار الإشارة يتحكم في تباين المجال والعينة
التنفيذ مشغلات مجزأة وقابلة للاستئناف يتيح تتبع التقدم الجزئي وعمليات إعادة التشغيل المرحلية
التسجيل تسجيل المتحقق/الحكَم القائم على المعايير مقابل معايير المجال يتيح استئصال المتحقق وتفكيك الدرجة

يقوم TokenLab Fusion بتقييم مخرجات النموذج من خلال خط أنابيب تسجيل آلي يجمع إشارات مقاييس متعددة في درجة مركبة. يتم تطبيق قواعد التسجيل برمجياً دون مراجعة يدوية في هذه المرحلة. لم يتم بعد نشر بيانات التدقيق البشري العام أو اتفاق المقيمين لهذه الطريقة؛ تعكس النتائج المبلغ عنها التقييم الآلي فقط، بانتظار التحقق المستقل.

توافر البيانات

يتم الاحتفاظ بهاش السجل، وصفوف التكلفة، وملفات النتائج الخام، ولقطة المصدر الوحيد للحقيقة للنموذج، وخريطة المصدر التي تستند إليها هذه الدراسة في أرشيف أبحاث TokenLab الداخلي. هذه المواد مقيدة الوصول ولا يتم نشرها جنباً إلى جنب مع هذه الورقة. ونتيجة لذلك، فإن إمكانية التكرار العامة محدودة حتى يتم إصدار عينة منقحة أو مجموعة فرعية عامة من البيانات الأساسية.

4. تطور المنهجية: المزيد من النماذج ليس هو الرافعة

إحدى النتائج المبكرة والمهمة هي سلبية: إضافة المزيد من النماذج إلى اللوحة لا يحسن الجودة بشكل موثوق، ولا يمكن افتراض ذلك. تطورت المنهجية من خلال سلسلة من عمليات الاستئصال الخاضعة للرقابة بدلاً من توسيع حجم اللوحة.

Recipe evolution from fast panel to production-cost path
تطور المنهجية من لوحة سريعة إلى مسار تكلفة الإنتاج.

النواة السريعة كمجموعة تحكم

تعمل لوحة منخفضة التكلفة ومتنوعة ومستقرة مكونة من ثلاثة نماذج (gemini-3.1-flash-lite، deepseek-v4-flash، grok-4-1-fast-non-reasoning) كحالة تحكم في التكلفة/زمن الاستجابة التي يتم قياس كل إضافة وكل متغير متحقق مقابلها.

مزيج النماذج منخفضة التكلفة

يُعد TokenLab Fusion طبقة تنسيق وقت الاستدلال (inference-time orchestration)، وليس نموذجاً مدمج الأوزان: فهو ينسق الاستدعاءات لعدة نماذج موجودة ويجمع مخرجاتها في وقت التشغيل. ولتوضيح ذلك بشكل ملموس، تم استبعاد النماذج الأساسية gpt-5.5 و claude-opus-4-8 من كل أدوار Fusion — وهي: لوحة التحكيم، التوليف، التقييم، التحقق، المراجعة، ومالك الأداة — وذلك لضمان عدم نسب المكاسب المُبلغ عنها إلى قيام تلك النماذج الأساسية بعمل خفي داخل خط المعالجة.

التكوين الافتراضي عبارة عن لوحة تحكم سريعة ومنخفضة التكلفة تتكون من ثلاثة نماذج تعمل بالتوازي، مع خيار إضافة عضو رابع للوحة يتم تقييمه في وضع الجودة، ومرساة تاريخية لإثبات السقف، ومرشح تجريبي (canary) لا يتطلب تكلفة إضافية لا يزال بانتظار أدلة مقترنة.

الدور النموذج (النماذج) الحالة
لوحة تحكم سريعة ومنخفضة التكلفة gemini-3.1-flash-lite, deepseek-v4-flash, grok-4-1-fast-non-reasoning اللوحة الافتراضية منخفضة التكلفة قيد الاختبار
مرشح إضافي للجودة kimi-k2.7-code تم تقييمه كعضو رابع في اللوحة؛ لم يتم اعتماده — يضيف زمن انتقال، ويتراجع في بعض المجالات مع أداة التحقق
مرساة الإثبات التاريخي gemini-3.1-pro-preview تُستخدم للتوليف/التقييم/التحقق/المراجعة في وصفة الأساس القوي؛ تثبت السقف، وليست مسار تكلفة المنتج المستهدف
مرشح تجريبي بدون تكلفة إضافية deepseek-v4-pro (التوليف/التحقق/المراجعة)، glm-5.2 (مُقيّم مستقل) مسار التكلفة المستهدف؛ بانتظار أدلة تجريبية مقترنة

يتم التنسيق كسلسلة ثابتة بدلاً من استدعاءات عشوائية للنماذج:

  1. بناء حزمة أدلة مشتركة مرة واحدة، بحيث يستنتج كل عضو في اللوحة بناءً على سياق متطابق.
  2. تشغيل أعضاء اللوحة منخفضي التكلفة بالتوازي مقابل حزمة الأدلة تلك.
  3. توحيد مخرجات اللوحة في تنسيق مشترك للمقارنة.
  4. تشغيل تحليل اللوحة لإظهار نقاط الاتفاق، والتعارض، والأدلة المفقودة.
  5. توليف إجابة واحدة، ثم تشغيل أداة تحقق واعية بالمعايير، وإجراء مراجعة واحدة إذا حددت أداة التحقق وجود مشكلات.
  6. تسجيل/تقييم الإجابة النهائية، مع وجود مالك أداة واحد مخصص — حيث لا يقوم أعضاء اللوحة بتنفيذ الأدوات مباشرة.

يتم الإبلاغ عن نتائج kimi-k2.7-code والمرشح التجريبي deepseek-v4-pro/glm-5.2 بشكل منفصل عن أرقام اللوحة الافتراضية لتجنب الخلط بين التكوين الذي تم تقييمه وتم تقييمه ولم يتم تبنيه وبين وصفة تكلفة المنتج المستهدفة.

إضافة Kimi: إشارة حقيقية ولكنها هامشية

أنتجت تجربة مكونة من 20 مهمة بإضافة نموذج برمجة/تنوع إلى النواة السريعة متوسط درجة 34.36 مقابل 31.37 للنواة السريعة (فرق مقترن +2.99، 95% CI -0.04 إلى 6.10، فوز/خسارة/تعادل 11/6/3، تكلفة ~1.01x، زمن استجابة ~1.57x). يعني CI الذي يمتد عبر الصفر وقيمة p لاختبار الإشارة 0.3323 أن هذا ليس قوياً بما يكفي لتبرير جعل الإضافة افتراضية حساسة لزمن الاستجابة؛ كما تراجعت في بعض مهام الأكاديميا والطب والتكنولوجيا. الاستنتاج المستخلص هو خاص بالدور: من الأفضل التعامل مع هذه الفئة من النماذج كمتخصص في البرمجة/الواجهة الأمامية/السياق الطويل بدلاً من كونها عضواً دائماً في اللوحة للأغراض العامة.

إضافات GLM و DeepSeek Pro تحتاج إلى أدوار، وليس شمولاً شاملاً

أنتجت إضافة GLM حوالي +1.22 فقط بتكلفة 1.49x وزمن استجابة 1.85x في شريحة صغيرة، وهي أدلة مفيدة لدور الحكَم/المُولِّف/مراجع البرمجة، وليست أدلة كافية للترقية الافتراضية للوحة. تغير تقييم DeepSeek V4 Pro مادياً بعد تصحيح التسعير (المدخلات $0.435، المخرجات $0.87 لكل مليون رمز)، مما أبطل حكماً سابقاً بكونه "باهظ الثمن للغاية" ورفعه إلى مرشح رائد لدور المُولِّف/المتحقق في منهجية منخفضة التكلفة (القسم 6). يستمد تصحيح تسعير DeepSeek V4 Pro من SSOT النموذج الداخلي المرصود في 2026-07-07 ويشكل افتراض تكلفة بحثية بدلاً من اقتباس لسعر منشور من قبل بائع خارجي.

المتحقق/إعادة الكتابة هو أكبر رافعة واحدة تم العثور عليها

في توسع مكون من 20 مهمة، أنتجت إضافة مرحلة متحقق/إعادة كتابة واعية بالمعايير إلى النواة السريعة متوسط درجة 81.70 مقابل 29.88 للنواة السريعة وحدها، بفرق مقترن قدره +51.81 (95% CI 42.64 إلى 61.23)، فوز/خسارة/تعادل 20/0/0، بتكلفة 2.14x وزمن استجابة 1.89x. هذا ليس تحسناً تدريجياً؛ إنه تحول هيكلي في قدرات المنهجية. كما أنه ليس مجانياً: تجاوز مضاعف التكلفة حد الحفظ التلقائي البالغ 2.0x في تمريرة تحليل واحدة، مما يعني أن نفس النتيجة التي تستحق بلا شك طبقة بحث عميقة هي قيد حقيقي لطبقة منتج سريعة/رخيصة. تم اختبار بدائل أرخص ورفضها كافتراضيات: خسر متغير المراجعة الخفيفة/المكدس الخفيف حوالي 28 نقطة بالنسبة للتحقق الكامل وخسر كل مقارنة مقترنة؛ وفر التحقق الانتقائي القائم على استدلالات المجال الضعيف حوالي 11% فقط من التكلفة بينما خسر -8.53 من متوسط الدرجة، وخسر متغير انتقائي عالي المخاطر فقط المزيد. لذلك يظل التحقق الانتقائي مشكلة بحث توجيه مفتوحة، وليس تقنية حل لتقليل التكلفة.

Validator ablation result
نتيجة استئصال المتحقق.

5. نتائج خط الأساس القوي: ما تم إثباته

تشغيل بحث weighted-100 ذو خط الأساس القوي هو أقوى قطعة أدلة في البرنامج. إنه يحتفظ بـ gpt-5.5 و claude-opus-4-8 كمقارنات لخط الأساس فقط، مستبعدين من كل دور من أدوار Fusion.

ملخص Fusion فقط عبر الـ 100 مهمة:

المقياس القيمة
متوسط الدرجة 86.04
التكلفة الإجمالية الرسمية $12.837461
متوسط التكلفة الرسمي $0.128375
التكلفة الإجمالية للمنصة $6.568959
الدرجة لكل دولار رسمي 670.21
الاستدعاءات الفاشلة 0
معدل الفشل 0.0%
متوسط زمن استجابة الاستدعاء 216.4s
صفوف التكلفة 799
مهام التراجع الإجمالية 0

تشير القيمة المبلغ عنها 670.21 إلى متوسط درجة Fusion الخام فقط مقسوماً على متوسط تكلفة Fusion الرسمي فقط، بينما تمثل أرقام 2.26x و 3.06x مضاعفات النتيجة مقابل الدولار المقترنة بالنسبة لخط الأساس والمحسوبة مقابل تكوينات مقارنة مطابقة.

مقارنة مقترنة مقابل خطي الأساس القويين:

خط الأساس متوسط درجة خط الأساس فرق Fusion 95% CI فوز/خسارة/تعادل مضاعف تكلفة Fusion نسبة النتيجة/$ مضاعف زمن الاستجابة
gpt-5.5 53.43 +32.60 28.13 – 37.28 95/4/1 0.71x 2.26x 1.23x
claude-opus-4-8 40.41 +45.63 40.85 – 50.21 97/2/1 0.69x 3.06x 2.15x

الجودة والجودة المعدلة حسب التكلفة هي انتصارات واضحة لـ Fusion في هذا السجل. فرق معدل الفشل البالغ 0.0 نقطة مئوية يجعل الاستقرار تعادلاً بدلاً من كونه عاملاً مميزاً. زمن الاستجابة هو خسارة واضحة لـ Fusion: أبطأ بـ 1.23x من gpt-5.5 وأبطأ بـ 2.15x من claude-opus-4-8. التأطير الصادق للمنتج من هذه البيانات هو بحث عميق عالي الجودة وفعال من حيث التكلفة وقابل للتحقق، وليس محادثة تفاعلية منخفضة زمن الاستجابة.

Task-level win/loss/tie distribution
توزيع الفوز/الخسارة/التعادل على مستوى المهمة.
Cost and score-per-dollar efficiency
كفاءة التكلفة والنتيجة مقابل الدولار.

يظهر تفصيل المجال فروقاً إيجابية عبر كل مجال مقابل كلا خطي الأساس، مما يجادل ضد كون التحسن أثراً لمجال واحد. قيم مختارة: مقابل gpt-5.5، التمويل +37.13، التسوق +38.20، إبرة في كومة قش +62.56، التكنولوجيا +33.49؛ مقابل claude-opus-4-8، التسوق +55.96، إبرة في كومة قش +69.38، التكنولوجيا +52.43، تصميم تجربة المستخدم +52.77. التمويل هو أيضاً المجال الذي يحمل أوضح مخاطر لم يتم حلها: ثمانية تحذيرات أدلة عالية الخطورة، كلها في التمويل، تحمل علامة finance:needs_more_sources، مشيرة إلى فجوات في شروط المقاييس، شروط الفترة، ومصادر الفترة الأولية الحالية. هذه ليست استدعاءات فاشلة؛ إنها تحذيرات كفاية المصدر، مما يشير إلى أن توجيه الأدلة الخاص بالتمويل لم يتم حله بالكامل بعد حتى حيث يكون فرق الدرجة كبيراً.

Domain-level deltas and evidence warning context
فروق مستوى المجال وسياق تحذير الأدلة.
Cost, latency, and quality tradeoff
مقايضة التكلفة وزمن الاستجابة والجودة.

6. حالة الجاهزية: مُثبت مقابل لا يزال مقيداً

من المهم فصل طبقتين من الحالة. هذه نتيجة إثبات للمنهجية، وليست نتيجة نظام مشحون، ويعكس تتبع الجاهزية المستخدم عبر البرنامج هذا التمييز بوضوح.

تم اجتياز: سجل ثابت موزون من 100 مهمة، سياسة اللوحة، هز موجه الأدلة، إثبات استئصال اللوحة، إثبات استئصال المتحقق/المُولِّف، تكوين خط الأساس القوي نفسه، إثبات بوابة المصدر الضعيف، قطع المنهجية، وإثبات المقارنة القوي المقترن الموصوف في القسم 5.

لم يتم اجتياز بعد: إعادة التشغيل النهائية لـ Fusion فقط.

إعادة التشغيل النهائية ليست مقارنة ثانية مقابل خطوط الأساس القوية؛ غرضها مختلف وأضيق: تأكيد أن المنهجية الفائزة المجمدة تتكرر على نفس سجل الـ 100 مهمة دون تكلفة خط الأساس في التشغيل، وأن تكوين وقت التشغيل يطابق تعريف المنهجية، وأن صفوف التكلفة كاملة، وأنه لا يوجد تلوث لخط الأساس في مسار Fusion فقط. اعتباراً من أحدث تشغيل مرحلي، تبلغ التغطية 20 من 100 مهمة مسجلة، 20 من 20 متوافقة مع وقت التشغيل، تكلفة رسمية لـ Fusion فقط قدرها $2.619654، تكلفة خط الأساس $0، مع تنفيذ المهام الـ 80 المتبقية في مراحل إزاحة إضافية.

Readiness state and remaining gates
حالة الجاهزية والبوابات المتبقية.

هذا التمييز مهم لكيفية قراءة أرقام تشغيل بحث weighted-100: فرق خط الأساس القوي حقيقي ومقترن، ولكن تم قياسه بمنهجية لم يتم تكرارها بشكل مستقل من البداية إلى النهاية دون تكلفة خط الأساس في الحلقة، واستخدمت مرتكز توليف/تحقق/تحكيم يحاول مسار تكلفة المنتج تقاعده عمداً.

بشأن مرتكز Gemini Pro تحديداً، استخدمت المنهجية المجمدة التي أنتجت هذه الأرقام gemini-3.1-pro-preview، وهو نموذج Gemini Pro متميز تاريخياً، كمرتكز للتوليف/التحكيم/التحقق. يؤسس هذا التكوين السقف لما يمكن أن تحققه بنية المنهجية والتحقق الواعي بالمعايير، ولكنه ليس التكوين الذي ينوي مسار تكلفة المنتج شحنه. نظراً لأن تسعير Gemini Pro المتميز لا يتناسب مع ملف تكلفة الهدف، فإن قطعة الأدلة المطلوبة التالية هي canary بدون Gemini متميز: إعادة تشغيل مقترنة أصغر نطاقاً تستبدل deepseek-v4-pro للتوليف/التحقق و glm-5.2 للتحكيم، يتم تشغيلها مقابل نفس معرفات المهام قبل تقديم أي ادعاء بأن المنهجية الفعالة من حيث التكلفة تطابق سقف الجودة المثبت.

7. البروتوكول والتوافق: لماذا لا تكفي نقطة نهاية محادثة واحدة

المنهجية التي تعمل فقط مقابل نقطة نهاية محادثة واحدة متوافقة مع OpenAI لن تنجو من الاتصال بعملاء وكلاء البرمجة الحقيقيين. تكملة المحادثة (Chat Completions) كافية للاستخدام التحادثي العادي ولكنها تسقط الدلالات التي يعتمد عليها عملاء الوكيل: عناصر المخرجات المكتوبة، اقتران استدعاء الوظيفة/نتيجة الأداة، أحداث العناصر المتدفقة، التاريخ ذو الحالة مقابل عديم الحالة، وضمانات الترتيب الخاصة بالمزود.

الأسطح التي تهم، والدلالات التي يحملها كل منها، تختلف بما يكفي بحيث لا يمكن طيها في شكل واحد دون خسارة:

السطح الدلالات الرئيسية التي يجب الحفاظ عليها
استجابات OpenAI عناصر المخرجات المكتوبة، تسلسل تعليمات المطور/النظام، استدعاءات الوظائف ومخرجات استدعاء الوظيفة، previous_response_id، store، أحداث العناصر المتدفقة، محاسبة الاستخدام
محادثة OpenAI الرسائل/الأدوات القديمة؛ قابلة للاستخدام كواجهة متدهورة، ولكن يجب تسجيل خسائر التوافق
رسائل Anthropic حقل النظام عالي المستوى، كتل المحتوى، tool_use/tool_result، طلبات التاريخ الكامل عديمة الحالة، stop_reason، أخطاء التدفق بعد 200
ملف تعريف عميل نمط Codex الاستجابات أولاً، store، previous_response_id، وسيطات الأداة المتدفقة، إعادة تشغيل نتيجة الأداة، ترتيب الأحداث الصارم
ملف تعريف عميل نمط Claude Code رسائل Anthropic، ترتيب tool_result الفوري، دفعات الأدوات المتوازية، disable_parallel_tool_use، قوائم السماح لاكتشاف النموذج

الإجابة الهيكلية هي تمثيل وسيط قانوني (IR). يتم تعيين البروتوكولات الخارجية إلى تمثيل داخلي واحد للطلب/الاستجابة/التدفق/الأداة/الاستخدام/الخطأ/التتبع، وتعمل تنفيذ المنهجية ومحولات المزود مقابل ذلك الـ IR بدلاً من أي بروتوكول سلكي واحد. يُطلب من الـ IR حمل، كحد أدنى: معرفات المحادثة والدور بالإضافة إلى مؤشرات حالة المزود (previous_response_id)؛ بروتوكول العميل ومعرف المنهجية العامة؛ مصدر وأسبقية تعليمات النظام/المطور/البوابة/المنهجية؛ الرسائل، كتل المحتوى، الصور، والنص المشتق؛ الأدوات، نتائج الأداة، اختيار الأداة، وسياسة الأداة المتوازية؛ الوسائط وإعدادات التوليد؛ سجل لخسائر التوافق؛ صفوف الاستخدام وصفوف التكلفة المفصولة حسب الدور؛ وتتبع يغطي الأدلة، البحث، الأداة، التكلفة، ونشاط دور النموذج.

Canonical IR architecture boundary
حدود بنية الـ IR القانوني.

المبرر العملي ملموس: يجب أن تتبع tool_result الخاصة بـ Anthropic فوراً tool_use المطابقة لها؛ يجب إعادة تشغيل مخرجات استدعاء الوظيفة لاستجابات OpenAI بواسطة call_id؛ لا يمكن لواجهة المحادثة الحفاظ بالكامل على أولوية رسالة المطور؛ يرسل Claude Code تاريخاً كاملاً عديم الحالة في كل دور، بينما يعتمد العملاء القائمون على الاستجابات على مؤشر حالة جانب المزود. بدون IR ومجموعة توافق تمارس هذه الحالات مباشرة، يمكن للنظام اجتياز معيار ومع ذلك يفشل داخل عميل وكيل حقيقي لأن حلقة الأداة لا تكتمل بشكل صحيح أبداً.

يجب ذكر حالة التنفيذ الحالية بدقة بدلاً من التفاؤل: توجد طبقة التوافق كوثائق بروتوكول، وتعريفات IR للمحول، وتركيبات عقد البوابة، ومخطط الدور، وكاتب التدفق، وتركيبات الأداة/الأدلة، ومجموعة اختبار توافق إجمالية. إنه هيكل توافق غير متصل بالإنترنت، كافٍ لتقييد أشكال البروتوكول، وفجوات السطح، ومنع انحراف التصميم المبكر، ولكنه ليس بعد بوابة إنتاج حية. لا يتضمن بعد تنفيذ مزود حقيقي على نطاق واسع، أو سطح منتج متدفق يواجه العميل، أو تنفيذ أداة حية، أو مصادقة/استئجار الإنتاج، أو خلفية تتبع مستمرة. تم تصميم اكتشاف النموذج العام لكشف معرفات المنهجية العامة ذات الأسماء فقط؛ يجب أن يفشل أي طلب معرف نموذج غير عام أو غير مسمى (على سبيل المثال، model_not_public) بدلاً من السماح للعميل بتجاوز حدود المنهجية أو التكلفة أو التتبع.

8. نموذج التحكم في استخدام الأداة

استدعاء الأداة متعدد النماذج هو الجزء الأكثر خطورة من الناحية التشغيلية لأي امتداد وكيل برمجة لهذا النظام. إذا تمكنت عدة نماذج من إصدار استدعاءات أدوات بشكل مستقل في نفس الدور، فقد تكون النتيجة تعديلات ملف مكررة، استدعاءات API خارجية مكررة، رسوم مكررة، كتابات متزامنة، أوامر shell متضاربة، أو كشف بيانات الاعتماد. نموذج التحكم المعتمد مقيد عمداً:

  • الدور له، افتراضياً، مالك أداة نشط واحد بالضبط.
  • قد تعمل النماذج الأخرى كمراجع أو ناقد وقد تقترح تغييرات، ولكن لا يجوز لها تنفيذ الأدوات.
  • النص المشكل كأداة في مخرجات النموذج ليس، بحد ذاته، سلطة تنفيذ.
  • يتم تطبيع كل استدعاء أداة إلى ToolCall IR قانوني قبل اتخاذ أي قرار تنفيذ.
  • يصنف المجدول كل استدعاء كـ executable، advice_only، blocked، أو requires_approval.
  • قد تعمل استدعاءات القراءة فقط، وقراءة الشبكة، والحوسبة فقط بشكل متزامن في مجموعة متوازية تحت ظروف آمنة.
  • يتم تسلسل استدعاءات الكتابة، وكتابة shell، والدفع، وبيانات الاعتماد، والفئات المدمرة وبوابتها للموافقة افتراضياً.
  • تتم إعادة تشغيل نتائج الأداة حتمياً مرة أخرى إلى الشكل المتوقع لبروتوكول الهدف.
  • لا يتم تنفيذ JSON الجزئي أبداً؛ حتى JSON المشكل جيداً يجب أن يجتاز فحوصات المخطط، والآثار الجانبية، والموافقة، والمالك.
Tool-use control model
نموذج التحكم في استخدام الأداة.

هذا خروج ذو مغزى عن عروض الوكلاء المتعددين النموذجية، حيث قد يحاول العديد من الوكلاء جميعاً "حل" مشكلة بشكل متزامن. تتطلب منهجية البرمجة التي تواجه الإنتاج انضباط الدور على سلامة التنفيذ: يمكن للمراجع الإشارة إلى أن تصحيحاً مقترحاً سيكسر مجموعة اختبار، ولكنه لا يستطيع تشغيل أمر shell مدمر. يمكن لمالك الأداة بدء تعديل ملف أو أمر shell، ولكن لا يزال يتم التحقق من مخرجاته بواسطة البوابة قبل التنفيذ.

هذا يقيد أيضاً كيفية قراءة علامات قدرة الأداة في مكتبة النموذج: تعني علامة "استخدام الأداة" أن النموذج يمكنه التعبير بشكل معقول عن استدعاء أداة، وليس أنه مخول ليكون مالك أداة إنتاج. تتطلب الترقية إلى حالة المالك اجتياز مجموعة توافق تغطي وسيطات الأداة المتدفقة، واستقرار معرف الأداة، وإصلاح JSON المشكل، وإعادة تشغيل نتيجة الأداة، وسياسة الأداة المتوازية، ومحاسبة الاستخدام، وشكل الخطأ. حالة حافة ذات صلة هي "إنقاذ" الأداة المضمنة: يصدر بعض المزودين استدعاءات أدوات كنص مساعد (كتل XML/JSON، علامات وظيفة خاصة، كائنات أو وسيطات مشفرة مزدوجة). قد تكتشف طبقة المحول هذه اللهجات وتصلحها، ولكن الإصلاح ينتج فقط ToolCall IR مرشح؛ لا يمنح سلطة تنفيذ، وهو مقصور على نص استجابة المالك الحالي فقط (وليس أبداً لنص المستخدم، نتائج الأداة، ملاحظات المراجع، أو الإجابة المدمجة النهائية)، ولا يزال يجب أن يجتاز الاستدعاء المصلح بوابات المالك، المخطط، الآثار الجانبية، الموافقة، التوازي، والقدرة على التكرار. يجب أن يفشل JSON المشكل المتكرر في فحص توافق ذلك المالك للدور بدلاً من تنفيذه بصمت.

9. الرؤية والبحث على الويب: الإنصاف مقابل تجربة المنتج

تتباعد مسارات التقييم والمنتج عمداً هنا. يستخدم إثبات المعيار أدلة مشتركة وقابلة للتكرار؛ قد تستخدم طلبات الإنتاج بحثاً أصلياً أو رؤية، ولكن فقط عندما تكون قابلة للتتبع.

يتم التعامل مع البحث من خلال ثلاثة مسارات متميزة: shared_evidence (حزمة بحث/جلب/قراءة خارجية مملوكة لـ Fusion وقابلة للتكرار، إلزامية لتشغيلات إثبات مجموعة أبحاث weighted-100، ومقارنات خط الأساس القوية، وcanaries ترقية النموذج، وإعادة التشغيل النهائية)، native_search (قدرة النموذج أو المزود الخاصة على الويب/التصفح/التأسيس)، و external_search (أدوات خارجية قابلة للتتبع مثل الجلب، قراءة المتصفح، أو استخراج المستندات). البحث الأصلي غير محظور؛ قد يحسن تجربة المنتج، ولكنه لا يستطيع دعم ادعاء معيار عادل، لأنه إذا كان سلوك بحث النموذج، والمصادر المسترجعة، ومسار الاقتباس غامضة، تتوقف المقارنة عن كونها مقارنة لنفس المهمة.

تتبع الرؤية نفس المنطق. الرؤية الأصلية والنص المشتق من OCR/التسمية التوضيحية ليست مدخلات متكافئة، والمقارنة عبر النماذج ذات الرؤية المختلفة للصورة ليست مقارنة رؤية عادلة. يسجل التتبع رؤية كل نموذج صراحةً كـ native_image، derived_text، أو none. نمط الإنتاج الموصى به هو هجين: قد تستخدم النماذج الأولية الرؤية الأصلية بينما يعمل المراجعون منخفضو التكلفة من النص المشتق؛ تعتمد مهام الحقائق الحالية افتراضياً على البحث/الجلب الخارجي، ولا يُسمح بالبحث الأصلي إلا بعد اجتياز المسار لمسبار القدرة وإنتاج تتبع كامل. ومع ذلك، يعتمد التقييم دائماً افتراضياً على الأدلة المشتركة وحزمة الأدلة المشفرة.

10. مكتبة النموذج كمخطط اختيار واعٍ بالدور

انتقل كتالوج النماذج الذي يستند إليه TokenLab Fusion من جدول قدرة مسطح إلى مخطط اختيار طبقي مع حقول لطبقة التكلفة، وأدوار Fusion، وعلامات القدرة، ومقاييس الاختيار، وملف تعريف التوجيه، ومسار التقييم الموصى به. يعكس هذا واقع المنتج بأن تصنيف "ما مدى قوة هذا النموذج" الفردي لا يلتقط: يمكن أن يكون النموذج مراجع برمجة ممتازاً ومحاور بحث منخفض زمن الاستجابة فقيراً؛ يمكن أن يكون النموذج غير مكلف ولكنه يحتوي على معرفات استدعاء أداة غير مستقرة؛ يمكن أن يحمل النموذج علامة قدرة رؤية أصلية دون أن يكون لديه بعد أدلة تتبع كافية لتقييم مقيد بالإنصاف.

الطبقة الدور التمثيلي معنى المنتج
رخيص دائماً مرشحو اللوحة/المراجع/الحكَم منخفضو التكلفة تكوين اللوحة الافتراضي، يتم ترقيته فقط عبر أدلة canary مقترنة
ترقية استنتاج قوية تصعيد المهام الصعبة دور المُولِّف/المتحقق/الحكَم للمهام الصعبة
متخصص البرمجة/الوكيل حلقة الأداة، مقياس المستودع، مراجعة الواجهة الأمامية مرشحو مالك أداة وكيل البرمجة والمراجع
متخصص الرؤية/البحث سير عمل المنتج المكثف بالصورة/البحث يتطلب مسبار تتبع قبل الاستخدام المقيد بالإنصاف
احتجاز السياق الطويل جداً تشخيصات المستودع/حزمة الأدلة الضخمة ليس عضواً افتراضياً في اللوحة
مقارن الصندوق الأسود أنظمة الوكلاء المتعددين جانب المزود نقطة مرجعية فقط؛ لا يمكن اشتقاق إسناد Fusion الداخلي منها

يستحق الحكم الحالي على المرتكز المتميز المتقاعد بياناً صريحاً: تم تقاعد نموذج Gemini Pro المتميز التاريخي الذي ارتكز عليه إثبات weighted-100 من تخطيط منهجية تكلفة المنتج النشط، كما تمت إزالة نموذج فئة Gemini flash بسعر أقل من الخطة الافتراضية بسبب تسعير المخرجات الذي لا يتناسب مع ملف تكلفة المنهجية المستهدف. هذا لا يراجع نتيجة تشغيل بحث weighted-100، ذلك الإثبات يقف كما تم تسجيله، ولكنه يعني أن الإثبات ومنهجية الشحن المقصودة ليسا حالياً نفس النظام، وهو بالضبط سبب كون canary بدون Gemini متميز هو خطوة الأدلة المطلوبة التالية، وليس خطوة اختيارية.

11. بوابات ترقية مكتبة النموذج

مصدر قلق تشغيلي متكرر هو ما إذا كان كل تغيير في النموذج يتطلب إعادة تشغيل كاملة لـ 100 مهمة. الإجابة التي اعتمدها البرنامج هي بوابات طبقية متناسبة مع المخاطر بدلاً من أي من الطرفين (إعادة تشغيل كاملة عمياء عند كل تغيير، أو استبدال عائلي أعمى دون أدلة):

  1. دخان العقد: تأكيد التوجيه، التسعير، التدفق، نافذة السياق، حدود المخرجات، الوسائط، وعلامات الأداة/البحث/الرؤية.
  2. مجموعة التوافق: ممارسة محادثة OpenAI، استجابات OpenAI، رسائل Anthropic، استدعاء الأداة، نتيجة الأداة، الأداة المتوازية، الاستخدام، الخطأ، ومعالجة التدفق.
  3. تقييم الحارس (Sentinel): تشغيل مجموعة صغيرة خاصة بالمجال مطابقة للدور الذي يدعيه النموذج (على سبيل المثال، كفاية مصدر التمويل، حلقة أداة البرمجة، مراجعة مرئية للواجهة الأمامية).
  4. canary مقترن: مقارنة مقابل المنهجية الحالية على معرفات مهام متطابقة للجودة، التكلفة، زمن الاستجابة، ومعدل الفشل.
  5. تشغيل 100 مهمة كامل: محجوز للمرشحين الذين يمكنهم تغيير المنهجية الافتراضية أو ادعاء خط الأساس القوي.
Upgrade gate funnel
قمع بوابة الترقية.

حتى الترقية العائلية التي تبدو طفيفة تتطلب المرور عبر هذا القمع: التسعير، سلوك استدعاء الأداة، التدفق، والجودة المقترنة كلها تحتاج إلى تأكيد مستقل بدلاً من استنتاجها من اسم عائلة نموذج مشترك. هذا هو أيضاً سبب عدم تشغيل سجل الـ 100 مهمة بشكل مستمر؛ إنه محجوز للتأكيد النهائي، بينما تخضع تغييرات النموذج اليومية للبوابات الأرخص والأسرع أعلاه.

12. العمل ذو الصلة وما تم (وما لم يتم) إعادة استخدامه

يعتمد البرنامج على العديد من اتجاهات البحث والأدوات العامة دون تبني أهدافها بالجملة. يحفز Mixture-of-Agents فكرة أن مخرجات النموذج الأضعف يمكن أن تكيف بشكل مفيد مُولِّفاً أقوى، ولكن نتائج تضخم اللوحة في القسم 4 تحذر من الطبقات دون استئصال. يساهم LLM-Blender في بنية توليد المرشحين، والترتيب الزوجي، والدمج التوليدي الذي تشبهه مراحل اللوحة/الحكَم/التوليف، على الرغم من عدم وجود مرتب مدرب مخصص يحل حالياً محل الحكَم القائم على المعايير. يحفز FrugalGPT و RouteLLM التتالي والتوجيه الواعي بالتكلفة، ولكن مشكلة التوجيه هنا متعددة الأدوار (اللوحة، التوليف، الحكَم، المتحقق، استراتيجية البحث، مالك الأداة يمكن لكل منهم التوجيه بشكل مستقل)، وليس اختيار نموذج ثنائي فردي. تُعلم أدوات تسخير التقييم مثل Inspect AI، OpenAI Evals، Promptfoo، و Ragas النمط الهندسي لحلقة تقييم منهجية وصديقة لـ CI، ولكن لا شيء منها يحل محل السجل الموزون الثابت، فحوصات كفاية المصدر، صفوف التكلفة المفصولة حسب الدور، أو هيكل الإثبات المقترن الموزون بالمجال المستخدم هنا.

13. القيود

القيد الحالة الحالية لماذا يهم
الاعتماد على المرتكز المتميز استخدم إثبات weighted-100 نموذج Gemini Pro متميز تاريخياً كمُولِّف/حكَم/متحقق يثبت سقف المنهجية، وليس منهجية تكلفة المنتج المقصودة
إعادة التشغيل النهائية غير مكتملة إعادة تشغيل Fusion فقط عند 20/100 مهمة، 20/20 متوافقة مع وقت التشغيل إمكانية التكرار دون تكلفة خط الأساس لم يتم تأكيدها بالكامل بعد
لا توجد بيانات تدقيق بشري عام أو اتفاق مقيمين لم يتم بعد نشر نتائج التدقيق البشري واتفاق المقيمين أو إتاحتها علناً لخط التقييم هذا موثوقية واتساق الدرجات الآلية بالنسبة للحكم البشري لا تزال غير محققة، مما يحد من الثقة في تفسير الدرجة المطلقة
عيب زمن الاستجابة 1.23x مقابل gpt-5.5، 2.15x مقابل claude-opus-4-8 قد يكون مقبولاً للبحث العميق، ومن المحتمل أن يكون غير مقبول لوكلاء البرمجة التفاعليين
المتحقق الواعي بالمعايير يرى المتحقق معيار/قائمة التحقق للتسجيل يجب أن تفصح المقارنات عن هذا؛ غير قابلة للمقارنة مباشرة بالأنظمة العمياء عن المعايير
تحذيرات مصدر التمويل 8 تحذيرات عالية الخطورة finance:needs_more_sources كفاية المصدر في التمويل لم يتم حلها على الرغم من فروق الدرجات الكبيرة
استدلال القدرة الأصلية علامات قدرة البحث/الرؤية ليست إثباتاً لدعم تتبع درجة الإنتاج يتطلب مسباراً لكل مسار قبل أي استخدام للتقييم المقيد بالإنصاف
نضج طبقة التوافق هيكل غير متصل بالإنترنت (IR، تركيبات، عقد الموجه، مخطط، كاتب تدفق) ليست بعد بوابة إنتاج حية مع تنفيذ مزود حقيقي، أو مصادقة/استئجار، أو تخزين تتبع مستمر
تقلب التسعير/المسار تصحيح تسعير DeepSeek V4 Pro غير بالفعل قراراً استراتيجياً يجب إعادة التحقق من تصنيف مكتبة النموذج مع تغير التسعير وسلوك المسار

14. الأسئلة الشائعة

هل تعني نتيجة الـ 100 مهمة أن TokenLab Fusion يتفوق على GPT-5.5 و Claude Opus 4.8 بشكل عام؟

النتيجة المقترنة قائمة تحديداً على سجل أبحاث weighted-100 الثابت، باستخدام أدلة مشتركة ومحاسبة تكاليف مفصولة حسب الدور، مع استبعاد gpt-5.5 و claude-opus-4-8 من لوحة Fusion. إنه دليل قوي وواسع المجال ضمن هذا النطاق، وليس ادعاءً عاماً مستقلاً عن نوع المهمة، أو ظروف الأدلة، أو تكوين السجل.

لماذا يهم مرتكز Gemini Pro إذا كان فرق الدرجة كبيراً بالفعل؟

تم إنتاج الفرق بواسطة منهجية تستخدم نموذج Gemini Pro متميز تاريخياً للتوليف والتحكيم والتحقق. يؤسس هذا التكوين ما يمكن أن تحققه بنية المنهجية، ولكنه ليس ملف التكلفة الذي ينوي مسار المنتج شحنه. حتى يتم تشغيل تكوين بدون Gemini متميز كـ canary مقترن مقابل نفس معرفات المهام، يتم إثبات الجودة المحققة وتكلفة الشحن المقصودة بشكل منفصل، وليس معاً.

هل التكلفة الأقل لكل استدعاء هي نفس التكلفة الأقل لكل وحدة جودة؟

لا، ويتم الإبلاغ عن الاثنين بشكل منفصل لهذا السبب. تصف مضاعفات التكلفة 0.71x و 0.69x التكلفة الخام مقابل خطي الأساس؛ تصف نسب النتيجة مقابل الدولار 2.26x و 3.06x الجودة المعدلة حسب التكلفة. كلاهما مطلوب، لأن النظام يمكن أن يكون أرخص لكل استدعاء ومع ذلك يسجل أسوأ، أو أغلى لكل استدعاء ومع ذلك يكون أكثر كفاءة من حيث التكلفة لكل وحدة جودة؛ يبلغ هذا التقييم عن كليهما صراحةً بدلاً من طيهما.

لماذا يهم استئصال المتحقق لهذه النتيجة؟

أنتجت مرحلة المتحقق/إعادة الكتابة الواعية بالمعايير أكبر تغيير في الجودة تم قياسه في هذا البرنامج (فرق مقترن +51.81 في توسع من 20 مهمة)، بتكلفة تقريبية 2.14x وزمن استجابة 1.89x مقابل تحكم النواة السريعة. تحتاج أي مقارنة بين المنهجيات، أو بين Fusion وخط الأساس، إلى الإفصاح عما إذا كانت مرحلة المتحقق نشطة، لأنها تغير كلاً من ملف التكلفة وتأطير الإنصاف (المتحقق لديه رؤية لمعايير التسجيل).

هل TokenLab Fusion جاهز للتشغيل داخل عميل وكيل برمجة حقيقي اليوم؟

لا. توجد بنية بروتوكول والتحكم في استخدام الأداة (IR قانوني، مجموعة توافق، نموذج مالك الأداة) كهيكل توافق غير متصل بالإنترنت مع تعيينات بروتوكول موثقة وتركيبات، ولكنه لا يتضمن بعد بوابة إنتاج حية، أو تنفيذ مزود حقيقي على نطاق واسع، أو مصادقة/استئجار، أو تخزين تتبع مستمر. يتم تقييم إثبات البحث العميق وخط وكيل البرمجة على جداول زمنية مختلفة، ولم يكمل خط البرمجة بعد مرحلة التحقق من العينة الصغيرة الأولى.

15. إغلاق البحث

ما تم إثباته

على سجل ثابت ومشفر وموزون من 100 مهمة متعددة المجالات، باستخدام أدلة مشتركة ومحاسبة تكاليف مفصولة حسب الدور، حققت منهجية متعددة النماذج مجهزة بمتحقق فرق متوسط درجة مقترن قدره +32.60 مقابل gpt-5.5 و +45.63 مقابل claude-opus-4-8، بتكلفة 0.71x و 0.69x على التوالي، مع صفر استدعاءات فاشلة عبر 799 صف تكلفة. تم تأكيد التحقق الواعي بالمعايير كأكبر رافعة جودة واحدة تم اختبارها، بفرق مقترن قدره +51.81 مقابل تحكم النواة السريعة. الفروق الإيجابية قائمة عبر كل مجال في السجل مقابل كلا خطي الأساس، مما يشير إلى أن المكسب غير مركز في نوع مهمة واحد.

ما يظل مقيداً

إعادة التشغيل النهائية لـ Fusion فقط للمنهجية الفائزة المجمدة غير مكتملة (20 من 100 مهمة في آخر فحص) ويجب أن تصل إلى تغطية كاملة مع تدقيق جاهزية نظيف قبل أن يمكن تسمية الإثبات قابلاً للتكرار من البداية إلى النهاية. تعتمد المنهجية التي أنتجت الإثبات على مرتكز Gemini Pro متميز تاريخياً ينوي مسار تكلفة المنتج تقاعده؛ لا توجد أدلة مقترنة بعد للاستبدال المقصود بدون Gemini متميز. يظل زمن الاستجابة مقايضة منتج لم يتم حلها، خاصة لأي تطبيق وكيل برمجة. تحمل كفاية مصدر التمويل ثمانية تحذيرات عالية الخطورة لم يتم حلها على الرغم من ميزة الدرجة الكبيرة في ذلك المجال. طبقة توافق البروتوكول محددة هيكلياً ولكنها ليست بعد بوابة إنتاج جارية.

ما الأدلة التي يجب جمعها تالياً

أكمل إعادة التشغيل النهائية لـ Fusion فقط على الـ 80 مهمة المتبقية وأعد تشغيل تدقيق الجاهزية لتأكيد إمكانية التكرار دون تكلفة خط الأساس في الحلقة. قم بتشغيل canary مقترن بنفس معرف المهمة يستبدل deepseek-v4-pro للتوليف/التحقق و glm-5.2 للتحكيم بدلاً من مرتكز Gemini Pro المتميز، بدءاً من نطاق صغير قبل أي ادعاء بالسجل الكامل. أغلق تحذيرات كفاية أدلة التمويل الثمانية المعلقة بعمل بوابة المصدر الخاص بالمجال قبل التعامل مع نتيجة مجال التمويل على أنها محلولة بالكامل. قم بتوسيع مجموعة التوافق من هيكل غير متصل بالإنترنت نحو تنفيذ مزود حي، وقم بتشغيل مرحلة تحقق من وكيل البرمجة بعينة صغيرة (في حدود خمس مهام) لاختبار ما إذا كانت بنية مالك الأداة/المراجع تنتج ميزة لوحة مقابل نموذج فردي قبل الاستثمار أكثر في بنية وكيل البرمجة. كل واحدة من هذه هي تجربة تالية محددة وقابلة للتكذيب، وليست بنداً عاماً في خارطة الطريق.

المصادر

مشاركة:

نماذج ذات صلة

أحدث النماذج العامة