Rapport de veille

Gemini 4 Carbon : pourquoi il est si lent pour coder, selon un benchmark

Une analyse de tâches de correction de bugs montre que le modèle a consacré environ la moitié de ses étapes à des travaux que les tickets ne demandaient pas, en plus d'une inférence plus lente.

INSIGHTEX Editorial Desk

2 min de lecture

Gemini 4 Carbon : pourquoi il est si lent pour coder, selon un benchmarkRapport de veille

Ce qui s'est passé

Gemini 4 Carbon a eu besoin de près d'une heure pour des tâches de correction de bugs issues d'une évaluation privée, que Opus et Astra terminaient généralement en quelques minutes, a rapporté Kernel. Dans chaque tâche, un agent reçoit un dépôt de code capturé juste avant la correction d'un bug, ainsi qu'un rapport décrivant uniquement les symptômes, et doit diagnostiquer et réparer le problème sans effectuer de modifications sans rapport.

L'inférence plus lente explique 16 à 30 % du temps supplémentaire de Carbon par rapport à Astra et 45 à 49 % par rapport à Opus. Le reste provient d'exécutions plus longues. Par rapport à Astra, les exécutions de Carbon comptaient environ sept fois plus d'étapes et onze fois plus d'actions, environ sept fois plus de texte produit, et plus de seize fois plus de données d'entrée traitées. L'exécuter dans opencode et mini-SWE-agent n'a produit aucune différence notable, et avec un réglage d'effort faible, il ne produisait souvent aucun correctif.

L'étiquetage de chaque étape a montré qu'environ la moitié de celles de Carbon portaient sur des travaux extérieurs au ticket, comme l'audit de code sans rapport et la protection contre des cas déjà exclus. Lorsqu'un harnais modifié l'invitait tous les cinq tours à se demander s'il pouvait déjà effectuer la correction, un essai est passé de 37 à 28 minutes. Carbon effectuait aussi en moyenne environ un appel d'outil par étape contre plus de deux pour Astra, et 39 % des lignes qu'il lisait étaient des répétitions, contre 7 % pour Astra.

Contexte

Cette analyse fait suite à des plaintes publiques d'utilisateurs qui jugeaient Carbon trop lent pour un usage quotidien, alors même que certains le disaient sous-estimé. Les comparaisons sont compliquées par le fait que les réglages d'effort de raisonnement ne sont pas standardisés d'un fournisseur à l'autre. Les tâches du benchmark font en outre largement appel au jugement d'ingénieur, notamment pour remonter des symptômes jusqu'au bon chemin de code, écarter les explications concurrentes et savoir quand s'arrêter.

SourceKernel

Le briefing

La semaine tech, en un seul e-mail.

Les dépêches qui méritent votre temps, chaque semaine. Désinscription à tout moment.