Informe de inteligencia

Gemini 4 Carbon, lento al programar por pasos extra y repeticiones

Un análisis de tareas de corrección de errores halló que el modelo dedicó la mitad de sus pasos a trabajo que los tickets no pedían, además de una inferencia más lenta.

INSIGHTEX Editorial Desk

2 min de lectura

Gemini 4 Carbon, lento al programar por pasos extra y repeticionesInforme de inteligencia

Qué ha ocurrido

Gemini 4 Carbon necesitó cerca de una hora en tareas de corrección de errores de una evaluación privada que Opus y Astra solían terminar en unos pocos minutos, según informó Kernel. En cada tarea, un agente recibe un repositorio de código capturado justo antes de la corrección de un error, junto con un informe que describe únicamente los síntomas, y debe diagnosticar y reparar el problema sin realizar ediciones no relacionadas.

La inferencia más lenta explicó entre el 16 y el 30 por ciento del tiempo adicional de Carbon frente a Astra, y entre el 45 y el 49 por ciento frente a Opus. El resto procedía de ejecuciones más largas. Comparadas con Astra, las ejecuciones de Carbon implicaron aproximadamente siete veces más pasos y once veces más acciones, cerca de siete veces más texto escrito y más de dieciséis veces más entrada procesada. Ejecutarlo en opencode y mini-SWE-agent no supuso una diferencia significativa y, con un nivel de esfuerzo bajo, a menudo no llegaba a producir ninguna corrección.

Al etiquetar cada paso, se vio que aproximadamente la mitad de los de Carbon se dedicaron a trabajo ajeno al ticket, como auditar código no relacionado o protegerse frente a casos ya excluidos. Cuando un arnés modificado le pedía cada cinco turnos que valorara si ya podía hacer la corrección, una de las pruebas pasó de 37 a 28 minutos. Carbon también promedió aproximadamente una llamada a herramientas por paso, frente a más de dos en Astra, y el 39 por ciento de las líneas que leyó eran repetidas, frente al 7 por ciento en Astra.

Contexto

El análisis siguió a las quejas públicas de usuarios que decían que Carbon era demasiado lento para el uso cotidiano, aunque algunos sostenían que está infravalorado. Las comparaciones se complican porque los ajustes del esfuerzo de razonamiento no están estandarizados entre proveedores. Además, las tareas del benchmark dependen en gran medida del criterio de ingeniería, como rastrear los síntomas hasta la ruta de código correcta, descartar explicaciones alternativas y saber cuándo parar.

FuenteKernel

El boletín

La semana tecnológica, en un solo correo.

Las crónicas que merecen su tiempo, cada semana. Cancele la suscripción cuando quiera.