Ce qui s'est passé
Gemini 4 Carbon a eu besoin de près d'une heure pour des tâches de correction de bugs issues d'une évaluation privée, que Opus et Astra terminaient généralement en quelques minutes, a rapporté Kernel. Dans chaque tâche, un agent reçoit un dépôt de code capturé juste avant la correction d'un bug, ainsi qu'un rapport décrivant uniquement les symptômes, et doit diagnostiquer et réparer le problème sans effectuer de modifications sans rapport.
L'inférence plus lente explique 16 à 30 % du temps supplémentaire de Carbon par rapport à Astra et 45 à 49 % par rapport à Opus. Le reste provient d'exécutions plus longues. Par rapport à Astra, les exécutions de Carbon comptaient environ sept fois plus d'étapes et onze fois plus d'actions, environ sept fois plus de texte produit, et plus de seize fois plus de données d'entrée traitées. L'exécuter dans opencode et mini-SWE-agent n'a produit aucune différence notable, et avec un réglage d'effort faible, il ne produisait souvent aucun correctif.
L'étiquetage de chaque étape a montré qu'environ la moitié de celles de Carbon portaient sur des travaux extérieurs au ticket, comme l'audit de code sans rapport et la protection contre des cas déjà exclus. Lorsqu'un harnais modifié l'invitait tous les cinq tours à se demander s'il pouvait déjà effectuer la correction, un essai est passé de 37 à 28 minutes. Carbon effectuait aussi en moyenne environ un appel d'outil par étape contre plus de deux pour Astra, et 39 % des lignes qu'il lisait étaient des répétitions, contre 7 % pour Astra.
Contexte
Cette analyse fait suite à des plaintes publiques d'utilisateurs qui jugeaient Carbon trop lent pour un usage quotidien, alors même que certains le disaient sous-estimé. Les comparaisons sont compliquées par le fait que les réglages d'effort de raisonnement ne sont pas standardisés d'un fournisseur à l'autre. Les tâches du benchmark font en outre largement appel au jugement d'ingénieur, notamment pour remonter des symptômes jusqu'au bon chemin de code, écarter les explications concurrentes et savoir quand s'arrêter.
Le briefing
La semaine tech, en un seul e-mail.
Les dépêches qui méritent votre temps, chaque semaine. Désinscription à tout moment.
