Что произошло
Как сообщила компания Kernel, на задачах по исправлению багов из закрытого набора оценки Gemini 4 Carbon требовалось почти по часу, тогда как Opus и Astra обычно справлялись за несколько минут. В каждой задаче агент получает репозиторий с кодом в состоянии непосредственно перед исправлением бага и отчет, описывающий только симптомы, и должен диагностировать и устранить проблему, не внося посторонних правок.
Более медленный инференс объяснил от 16 до 30 процентов лишнего времени Carbon в сравнении с Astra и от 45 до 49 процентов в сравнении с Opus. Остальное пришлось на более длинные прогоны. По сравнению с Astra в прогонах Carbon было примерно в семь раз больше шагов и в одиннадцать раз больше действий, примерно в семь раз больше написанного текста и более чем в шестнадцать раз больше обработанных входных данных. Запуск в opencode и mini-SWE-agent не дал заметной разницы, а при низком уровне усилий модель часто вообще не выдавала исправления.
Разметка каждого шага показала, что около половины шагов Carbon уходило на работу за пределами тикета, например на аудит не относящегося к делу кода и защиту от случаев, которые уже были исключены. Когда модифицированная обвязка каждые пять ходов предлагала модели подумать, не может ли она уже внести исправление, время одного из прогонов сократилось с 37 до 28 минут. Кроме того, Carbon в среднем делал около одного вызова инструмента за шаг против более чем двух у Astra, а 39 процентов прочитанных им строк были повторными, тогда как у Astra этот показатель составил 7 процентов.
Контекст
Анализ последовал за публичными жалобами пользователей, которые говорили, что Carbon слишком медленный для повседневного использования, хотя некоторые утверждали, что модель недооценена. Сравнения осложняются тем, что настройки уровня рассуждений не стандартизированы у разных провайдеров. Кроме того, задачи бенчмарка в значительной степени опираются на инженерное суждение: нужно сопоставить симптомы с нужным участком кода, исключить альтернативные объяснения и понять, когда пора остановиться.
Обзор
Неделя в технологиях в одном письме.
Материалы, которые стоят вашего времени, каждую неделю. Отписаться можно в любой момент.
