Relatório de inteligência

Benchmark liga lentidão do Gemini 4 Carbon em código a etapas extras

Análise de tarefas de correção de bugs mostra que o modelo gastou cerca de metade das etapas em trabalho que os tickets não pediam, além de inferência mais lenta.

INSIGHTEX Editorial Desk

2 min de leitura

Benchmark liga lentidão do Gemini 4 Carbon em código a etapas extrasRelatório de inteligência

O que aconteceu

O Gemini 4 Carbon precisou de quase uma hora em tarefas de correção de bugs de uma avaliação privada que o Opus e o Astra normalmente concluíam em poucos minutos, segundo a Kernel. Em cada tarefa, um agente recebe um repositório de código capturado imediatamente antes da correção de um bug, além de um relatório que descreve apenas os sintomas, e precisa diagnosticar e reparar o problema sem fazer edições não relacionadas.

A inferência mais lenta explicou de 16 a 30 por cento do tempo extra do Carbon em relação ao Astra e de 45 a 49 por cento em relação ao Opus. O restante veio de execuções mais longas. Na comparação com o Astra, as execuções do Carbon envolveram cerca de sete vezes mais etapas e onze vezes mais ações, aproximadamente sete vezes mais texto escrito e mais de dezesseis vezes mais entrada processada. Executá-lo no opencode e no mini-SWE-agent não fez diferença significativa, e, em uma configuração de esforço baixo, ele muitas vezes não produziu correção.

A classificação de cada etapa mostrou que cerca de metade das etapas do Carbon foi dedicada a trabalho fora do ticket, como auditar código não relacionado e se proteger contra casos já excluídos. Quando um harness modificado o instruía a cada cinco turnos a avaliar se já poderia fazer a correção, um teste caiu de 37 para 28 minutos. O Carbon também fez, em média, cerca de uma chamada de ferramenta por etapa, contra mais de duas do Astra, e 39 por cento das linhas que leu eram repetidas, contra 7 por cento do Astra.

Contexto

A análise surgiu após reclamações públicas de usuários que diziam que o Carbon era lento demais para o uso cotidiano, embora alguns o considerassem subestimado. As comparações são complicadas porque as configurações de esforço de raciocínio não são padronizadas entre os provedores. As tarefas do benchmark também dependem fortemente de julgamento de engenharia, como rastrear sintomas até o caminho de código correto, descartar explicações concorrentes e saber a hora de parar.

FonteKernel

O briefing

A semana em tecnologia, em um só e-mail.

As reportagens que valem o seu tempo, toda semana. Cancele quando quiser.