MIT新型机器人记忆系统:可实时发现并纠正物体误标

事件经过

据MIT News报道,麻省理工学院(MIT)的研究人员开发出名为UQ-DAAAM的机器人记忆系统,能够检测出可能有误的已存储物体描述并加以纠正。研究生Harry Zhang和Nicolas Gorlo是论文的共同第一作者,副教授Luca Carlone为通讯作者。该论文将在神经信息处理系统大会(Conference on Neural Information Processing Systems)上发表。

该系统先衡量视觉语言模型对描述文字的置信度,再将这条描述与从其他角度拍到的同一物体的描述进行比对。两种信号会合并为一个不确定性得分。一旦得分超过设定阈值,一条简单的规则就会选出需要额外检查的画面帧。团队从数学上证明,这条规则无需重新运行模型即可选出最佳画面帧,从而大幅降低计算量。随后,一个大语言模型会整合选出的多条描述,并优先采用较新、较清晰的描述。

研究人员表示,这一优化步骤消除了约92%物体的歧义,而每个物体只需额外增加两条描述;与现有最先进方法相比,描述准确率提高了5%。在回答有关物体是什么、位于何处以及最后一次出现在何时的问题时,它也比基线方法更准确。Carlone表示,让机器人认识到自身知识的局限,对于安全部署物理AI至关重要。

背景

这项工作是对DAAAM的扩展,后者是同一团队此前开发的系统。DAAAM利用视觉语言模型为机器人车载摄像头看到的物体生成描述,并将这些描述存入3D地图,供日后查询。当视角不完整、距离较远、画面模糊或光线昏暗时,它可能出错,例如把一根灰色烟囱误认成松鼠。研究经费部分来自美国海军研究办公室(Office of Naval Research)和美国陆军研究实验室(Army Research Laboratory)。