情报报告

基准测试:Gemini 4 Carbon编程运行缓慢,源于多余步骤与返工

一项针对缺陷修复任务的分析发现,该模型约一半的步骤用于工单从未要求的工作,同时推理速度也更慢。

INSIGHTEX Editorial Desk

阅读约 2 分钟

基准测试:Gemini 4 Carbon编程运行缓慢,源于多余步骤与返工情报报告

事件经过

据Kernel报告,在一项私有评测的缺陷修复任务中,Gemini 4 Carbon需要将近一个小时,而Opus和Astra通常只需几分钟即可完成。在每项任务中,智能体会拿到一个截取于缺陷修复前一刻的代码仓库,以及一份仅描述症状的报告,并且必须在不做无关修改的前提下诊断并修复问题。

推理速度较慢只解释了Carbon相对于Astra额外耗时的16%至30%,以及相对于Opus的45%至49%。其余部分则来自更长的运行过程。与Astra相比,Carbon的运行步骤约为其7倍,动作约为其11倍,书面输出量约为其7倍,处理的输入量则超过16倍。在opencode和mini-SWE-agent中运行它并没有带来明显差异,而在低强度(low effort)设置下,它往往无法给出修复。

对每个步骤进行标注后发现,Carbon约一半的步骤用于工单范围之外的工作,例如审查无关代码,以及防范早已被排除的情形。当一个经过修改的框架每五轮就提示它思考是否已经可以进行修复时,其中一次试验的耗时从37分钟降至28分钟。Carbon平均每一步约调用一次工具,而Astra超过两次;它所读取的代码行中有39%是重复内容,Astra则为7%。

背景

这项分析是在用户公开抱怨之后进行的,他们表示Carbon太慢,难以用于日常工作,尽管也有人认为它被低估了。由于各家服务商的推理强度(reasoning effort)设置并未统一,比较变得更加复杂。此外,这些基准测试任务在很大程度上依赖工程判断,例如将症状追溯到正确的代码路径、排除相互竞争的解释,以及知道何时该停手。

来源Kernel

简报

一封邮件,尽览一周科技要闻。

每周精选值得一读的报道。可随时退订。