MIT、ロボットが物体の誤ラベルを検知・修正する記憶システム

何が起きたか

MIT News によると、MITの研究者らは、保存された物体の説明のうち誤っている可能性が高いものを検出して修正する、ロボット向けの記憶システム「UQ-DAAAM」を開発した。大学院生のHarry ZhangとNicolas Gorloが論文の共同筆頭著者、准教授のLuca Carloneが責任著者を務める。論文はConference on Neural Information Processing Systemsで発表される予定だ。

このシステムは、視覚言語モデルがキャプションの言葉にどの程度自信を持っているかを測定し、そのキャプションを、別の角度から捉えた同じ物体の説明と照合する。この2つのシグナルを統合して、単一の不確実性スコアを算出する。スコアが設定されたしきい値を超えると、単純なルールによって、追加で調べるフレームが選ばれる。研究チームは、このルールがモデルを再実行することなく最適なフレームを選べることを数学的に証明しており、計算量を大幅に削減している。その後、大規模言語モデルが、選ばれたキャプションを新しいものや明瞭なものを優先して統合する。

研究者によれば、この修正ステップは約92パーセントの物体で曖昧さを解消し、物体あたりの追加キャプションは2件で済んだ。また、説明の精度は最先端の手法より5パーセント向上した。物体について、その場所や最後に見かけた時刻を尋ねる質問への回答も、ベースライン手法より正確だった。Carloneは、ロボットが自らの知識の限界を認識できるようにすることは、フィジカルAIを安全に展開するうえで不可欠になると述べた。

背景

この研究は、同じグループが以前に開発したシステムDAAAMを拡張したものだ。DAAAMは、視覚言語モデルを使って、ロボットに搭載されたカメラが捉えた物体にキャプションを付け、それらを3Dマップに保存して後の問い合わせに備えていた。一部しか見えない、遠い、ぼやけている、暗いといった視点では判断を誤ることがあり、たとえば灰色の煙突をリスと取り違えた例がある。研究は、米国海軍研究局(Office of Naval Research)と米陸軍研究所(Army Research Laboratory)の支援も一部受けている。