インテリジェンスレポート

Gemini 4 Carbonのコーディングが遅い理由、ベンチマークで判明

バグ修正タスクの分析で、同モデルは推論の遅さに加え、チケットに求められていない作業に全ステップの約半分を費やしていたことが分かった。

INSIGHTEX Editorial Desk

2 分で読めます

Gemini 4 Carbonのコーディングが遅い理由、ベンチマークで判明インテリジェンスレポート

何が起きたのか

Kernelの報告によると、非公開の評価に含まれるバグ修正タスクで、OpusとAstraなら通常数分で終わる作業に、Gemini 4 Carbonは1時間近くを要した。各タスクでは、エージェントはバグ修正の直前に取得されたコードリポジトリと、症状だけを記したレポートを受け取り、無関係な編集をせずに問題を診断して修復しなければならない。

Carbonの余分な時間のうち、推論の遅さで説明できるのはAstra比で16〜30パーセント、Opus比で45〜49パーセントだった。残りは実行の長さによるものだ。Astraと比べると、Carbonの実行ではステップ数が約7倍、アクション数が11倍、書き出した出力量が約7倍、処理した入力量が16倍超に達した。opencodeやmini-SWE-agentで実行しても大差はなく、低い推論労力の設定では修正に至らないことが多かった。

各ステップにラベルを付けて調べたところ、Carbonのステップの約半分は、無関係なコードの監査や、すでに除外されているケースへの備えなど、チケットの範囲外の作業に費やされていた。修正済みのハーネスで5ターンごとに「すでに修正できるのではないか」と考えさせたところ、ある試行では37分から28分に短縮された。また、Carbonは1ステップあたり平均約1回のツール呼び出しにとどまり、Astraの2回超を下回った。読み込んだ行のうち39パーセントは重複で、Astraの7パーセントと比べて高かった。

背景

今回の分析は、Carbonは日常的に使うには遅すぎるというユーザーからの公の不満を受けたものだ。一方で、過小評価されているとの意見もあった。推論労力の設定はプロバイダーごとに標準化されていないため、比較は複雑になる。また、このベンチマークのタスクは、症状から正しいコードパスをたどる、競合する仮説を除外する、手を止めるべき時を見極めるといった、エンジニアリング上の判断力に大きく依存している。

出典Kernel

ブリーフィング

1週間のテックニュースを1通のメールで。

読む価値のある記事を毎週お届けします。配信停止はいつでも可能です。