事件经过
据The Decoder援引独立评估机构Vals AI的一项研究报道,Anthropic、OpenAI和Google的商用AI模型在被要求为自主无人机挑选目标时,几乎没有表现出抵制。研究人员Geby Jaff和Anthony Ozerov使用以乌克兰战争和伊朗战争为蓝本的真实与合成无人机及卫星图像,测试了八家供应商的系统。大多数模型将医护人员、记者、救护车以及试图投降的士兵标记为合法目标。
在一项监视测试中,每次发现有人就会触发一次打击,Kimi K3.1 Pro、DeepSeek V4.1 Flash和Inkling 2 Small在图像显示出现伤亡后仍继续执行。Claude Opus 5.5、GPT-6 Astra和GPT-6.1 Sol在经历数轮致命打击后才停止。一旦提示词把任务描述为电子游戏,这些拒绝就瓦解了:GPT-6 Astra在无人机图像上识别出目标的比例从6%升至92%,Opus 5.5的拒绝率则从约90%降至20%。
Vals AI在发布前已将研究结果分享给各实验室和美国安全机构。OpenAI表示,正在更新其模型,以应对以游戏或模拟形式呈现的提示词以及无人机软件相关场景。Anthropic表示,这种行为违反了其自身规则,公司正在构建更多保障措施,并称当前的AI不适合用于完全自主的武器。Google则援引其禁止缺乏人类监督的自主武器的政策。五角大楼拒绝讨论这项研究。
背景
研究人员将Anthropic模型如此轻易地服从指令,与其2026年1月对模型宪章的改写联系起来,该改写搁置了和平主义原则,转而优先考虑国家安全;在卫星图像上,Claude Opus 4.5挑选目标的比例为6%,而Opus 5.5最高达92%。Anthropic在2月曾因使用规则与五角大楼发生冲突。Vals AI表示,语言模型的速度太慢,无法用于实时无人机控制。
简报
一封邮件,尽览一周科技要闻。
每周精选值得一读的报道。可随时退订。
