इंटेलिजेंस रिपोर्ट

बेंचमार्क: Gemini 4 Carbon की धीमी कोडिंग के पीछे अतिरिक्त चरण और दोबारा काम

बग-फिक्सिंग कार्यों के विश्लेषण में पाया गया कि मॉडल ने अपने करीब आधे चरण उस काम पर लगाए जो टिकट में मांगा ही नहीं गया था, और इसके ऊपर इन्फ़रेंस भी धीमा रहा।

INSIGHTEX Editorial Desk

पढ़ने में 2 मिनट

बेंचमार्क: Gemini 4 Carbon की धीमी कोडिंग के पीछे अतिरिक्त चरण और दोबारा कामइंटेलिजेंस रिपोर्ट

क्या हुआ

Kernel की रिपोर्ट के अनुसार, एक निजी मूल्यांकन के बग-फिक्सिंग कार्यों में Gemini 4 Carbon को लगभग एक घंटा लगा, जबकि Opus और Astra आम तौर पर इन्हें कुछ ही मिनटों में पूरा कर लेते थे। हर कार्य में एजेंट को बग ठीक होने से ठीक पहले की स्थिति में कैप्चर किया गया एक कोड रिपॉजिटरी मिलता है, साथ में एक रिपोर्ट जो केवल लक्षणों का वर्णन करती है, और उसे असंबंधित बदलाव किए बिना समस्या का निदान कर उसे ठीक करना होता है।

Carbon के अतिरिक्त समय का Astra की तुलना में 16 से 30 प्रतिशत और Opus की तुलना में 45 से 49 प्रतिशत हिस्सा धीमे इन्फ़रेंस से समझाया गया। बाकी समय लंबे रन की वजह से लगा। Astra के मुकाबले Carbon के रन में लगभग सात गुना चरण और ग्यारह गुना क्रियाएं थीं, लिखित आउटपुट लगभग सात गुना था, और प्रोसेस किया गया इनपुट सोलह गुना से भी अधिक था। इसे opencode और mini-SWE-agent में चलाने से कोई उल्लेखनीय फ़र्क नहीं पड़ा, और कम एफ़र्ट सेटिंग पर यह अक्सर कोई फिक्स दे ही नहीं पाया।

हर चरण को लेबल करने पर पता चला कि Carbon के करीब आधे चरण टिकट से बाहर के काम में गए, जैसे असंबंधित कोड का ऑडिट करना और ऐसे मामलों से बचाव करना जिन्हें पहले ही बाहर रखा जा चुका था। जब एक संशोधित हार्नेस ने उसे हर पांच टर्न पर यह सोचने के लिए कहा कि क्या वह अभी फिक्स कर सकता है, तो एक ट्रायल 37 मिनट से घटकर 28 मिनट पर आ गया। Carbon ने औसतन प्रति चरण लगभग एक टूल कॉल की, जबकि Astra ने दो से अधिक कीं, और उसके द्वारा पढ़ी गई 39 प्रतिशत पंक्तियां दोहराई हुई थीं, जबकि Astra के लिए यह आंकड़ा 7 प्रतिशत था।

संदर्भ

यह विश्लेषण उन सार्वजनिक शिकायतों के बाद आया जिनमें उपयोगकर्ताओं ने कहा कि Carbon रोज़मर्रा के उपयोग के लिए बहुत धीमा है, हालांकि कुछ ने यह भी तर्क दिया कि इसे कम आंका गया है। तुलना जटिल इसलिए है कि रीज़निंग एफ़र्ट सेटिंग्स अलग-अलग प्रदाताओं में मानकीकृत नहीं हैं। बेंचमार्क के कार्य इंजीनियरिंग विवेक पर भी काफ़ी निर्भर करते हैं, जैसे लक्षणों को सही कोड पथ तक ढूंढ निकालना, प्रतिद्वंद्वी व्याख्याओं को खारिज करना और यह जानना कि कब रुकना है।

स्रोतKernel

ब्रीफ़िंग

टेक का पूरा सप्ताह, एक ईमेल में।

हर सप्ताह वे रिपोर्ट्स जो आपके समय के लायक हैं। कभी भी अनसब्सक्राइब करें।