Intelligence-Bericht

Gemini 4 Carbon: Benchmark erklärt langsame Coding-Läufe

Eine Analyse von Bugfix-Aufgaben ergab: Das Modell verbrachte etwa die Hälfte seiner Schritte mit Arbeit, die in den Tickets nie verlangt wurde – zusätzlich zur langsameren Inferenz.

INSIGHTEX Editorial Desk

2 Min. Lesezeit

Gemini 4 Carbon: Benchmark erklärt langsame Coding-LäufeIntelligence-Bericht

Was passiert ist

Gemini 4 Carbon benötigte bei Bugfix-Aufgaben aus einer privaten Evaluierung fast eine Stunde, während Opus und Astra sie typischerweise in wenigen Minuten erledigten, berichtete Kernel. In jeder Aufgabe erhält ein Agent ein Code-Repository, das unmittelbar vor einem Bugfix festgehalten wurde, sowie einen Bericht, der nur die Symptome beschreibt. Er muss das Problem diagnostizieren und beheben, ohne unzusammenhängende Änderungen vorzunehmen.

Die langsamere Inferenz erklärte 16 bis 30 Prozent der zusätzlichen Zeit von Carbon gegenüber Astra und 45 bis 49 Prozent gegenüber Opus. Der Rest ging auf längere Läufe zurück. Im Vergleich zu Astra umfassten Carbons Läufe etwa siebenmal so viele Schritte und elfmal so viele Aktionen, rund siebenmal so viel geschriebene Ausgabe und mehr als sechzehnmal so viel verarbeitete Eingabe. Der Einsatz in opencode und mini-SWE-agent machte keinen nennenswerten Unterschied, und bei niedriger Effort-Einstellung lieferte es oft gar keine Lösung.

Die Kennzeichnung der einzelnen Schritte zeigte, dass etwa die Hälfte von Carbons Schritten auf Arbeit außerhalb des Tickets entfiel, etwa die Prüfung nicht zugehörigen Codes und die Absicherung gegen Fälle, die bereits ausgeschlossen waren. Als eine modifizierte Harness es alle fünf Runden aufforderte zu überlegen, ob es den Fix bereits umsetzen könne, sank die Laufzeit in einem Versuch von 37 auf 28 Minuten. Zudem setzte Carbon im Schnitt etwa einen Tool-Aufruf pro Schritt ab, gegenüber mehr als zwei bei Astra, und 39 Prozent der gelesenen Zeilen waren Wiederholungen, gegenüber 7 Prozent bei Astra.

Hintergrund

Die Analyse folgte auf öffentliche Beschwerden von Nutzern, die Carbon für den Alltag als zu langsam bezeichneten, obwohl manche argumentierten, es werde unterschätzt. Vergleiche werden dadurch erschwert, dass die Einstellungen für den Reasoning-Aufwand bei den Anbietern nicht standardisiert sind. Zudem verlangen die Benchmark-Aufgaben stark ingenieurmäßiges Urteilsvermögen, etwa Symptome dem richtigen Codepfad zuzuordnen, konkurrierende Erklärungen auszuschließen und zu wissen, wann man aufhören muss.

QuelleKernel

Das Briefing

Die Tech-Woche in einer E-Mail.

Die lesenswerten Beiträge der Woche. Jederzeit abbestellbar.