تقرير تحليلي

اختبار يرجع بطء Gemini 4 Carbon في البرمجة إلى خطوات زائدة وإعادة عمل

كشف تحليل لمهام إصلاح الأخطاء البرمجية أن النموذج أنفق نحو نصف خطواته على أعمال لم تطلبها التذاكر، فضلاً عن بطء الاستدلال لديه.

INSIGHTEX Editorial Desk

مدة القراءة: 2 د

اختبار يرجع بطء Gemini 4 Carbon في البرمجة إلى خطوات زائدة وإعادة عملتقرير تحليلي

ما الذي حدث

احتاج Gemini 4 Carbon إلى ما يقارب ساعة كاملة لإنجاز مهام إصلاح أخطاء برمجية من تقييم خاص، بينما كان Opus وAstra ينهيانها عادةً في بضع دقائق، بحسب ما أوردته Kernel. في كل مهمة يتلقى الوكيل مستودع شيفرة برمجية مأخوذاً قبيل إصلاح الخطأ مباشرةً، إلى جانب تقرير يصف الأعراض فقط، وعليه تشخيص المشكلة وإصلاحها دون إجراء تعديلات غير ذات صلة.

فسّر بطء الاستدلال ما بين 16 و30 في المائة من الوقت الإضافي لدى Carbon مقارنةً بـ Astra، وما بين 45 و49 في المائة مقارنةً بـ Opus. أما الباقي فنجم عن طول مدة التشغيل. وبالمقارنة مع Astra، شملت عمليات تشغيل Carbon نحو سبعة أضعاف عدد الخطوات وأحد عشر ضعف عدد الإجراءات، وما يقارب سبعة أضعاف المخرجات المكتوبة، وأكثر من ستة عشر ضعف المدخلات المعالجة. ولم يُحدث تشغيله في opencode وmini-SWE-agent فرقاً يُذكر، وعند ضبطه على مستوى جهد منخفض كان في أحيان كثيرة لا ينتج أي إصلاح.

وأظهر وسم كل خطوة بتصنيف أن نحو نصف خطوات Carbon ذهب إلى أعمال خارج نطاق التذكرة، مثل تدقيق شيفرة لا علاقة لها بالمشكلة والتحوّط من حالات سبق استبعادها. وعندما كانت بيئة تشغيل معدّلة تطلب منه كل خمس جولات أن يفكر فيما إذا كان بإمكانه إجراء الإصلاح فعلاً، انخفضت مدة إحدى التجارب من 37 دقيقة إلى 28 دقيقة. كما بلغ متوسط استدعاءات الأدوات لدى Carbon استدعاءً واحداً تقريباً في كل خطوة مقابل أكثر من استدعاءين لدى Astra، وكانت 39 في المائة من الأسطر التي قرأها مكررة، مقابل 7 في المائة لدى Astra.

السياق

جاء التحليل في أعقاب شكاوى علنية من مستخدمين قالوا إن Carbon بطيء للغاية للاستخدام اليومي، في حين رأى آخرون أنه لا ينال التقدير الذي يستحقه. وتزداد المقارنات تعقيداً لأن إعدادات جهد الاستدلال غير موحّدة بين المزوّدين. كما تعتمد مهام الاختبار بدرجة كبيرة على الحكم الهندسي، مثل تتبّع الأعراض وصولاً إلى مسار الشيفرة الصحيح، واستبعاد التفسيرات المنافسة، ومعرفة متى يجب التوقف.

المصدرKernel

الموجز

أسبوع التقنية في رسالة واحدة.

التقارير التي تستحق وقتك، كل أسبوع. يمكنك إلغاء الاشتراك في أي وقت.