Система памяти MIT помогает роботам находить и исправлять неверные метки объектов

Что произошло

Исследователи из MIT разработали UQ-DAAAM — систему памяти для роботов, которая обнаруживает сохранённые описания объектов, скорее всего ошибочные, и исправляет их, сообщает MIT News. Аспиранты Harry Zhang и Nicolas Gorlo — ведущие соавторы статьи, а старший автор — адъюнкт-профессор Luca Carlone. Статья будет представлена на Conference on Neural Information Processing Systems.

Система измеряет, насколько уверенно визуально-языковая модель выбирает слова в описании, а затем сверяет это описание с описаниями того же объекта, полученными с других ракурсов. Оба сигнала объединяются в единую оценку неопределённости. Если она превышает заданный порог, простое правило выбирает дополнительные кадры для анализа. Команда математически доказала, что это правило позволяет выбрать лучшие кадры без повторного запуска модели, что резко сокращает объём вычислений. Затем большая языковая модель объединяет отобранные описания, отдавая предпочтение более свежим и чётким.

По словам исследователей, этап уточнения разрешил неоднозначности примерно для 92 процентов объектов, потребовав всего два дополнительных описания на объект, и повысил точность описаний на 5 процентов по сравнению с современным уровнем. Система также точнее базовых методов отвечала на вопросы об объектах, их расположении и о том, когда их видели в последний раз. Carlone отметил, что способность робота осознавать границы собственных знаний будет необходима для безопасного внедрения физического ИИ.

Контекст

Эта работа развивает DAAAM — более раннюю систему той же группы. DAAAM использовала визуально-языковую модель, чтобы описывать объекты, которые видят бортовые камеры робота, и хранила эти описания в 3D-карте для последующих запросов. Частичные, удалённые, размытые или тёмные изображения могли вводить её в заблуждение, например, она принимала серую дымовую трубу за белку. Работа частично поддержана Управлением военно-морских исследований США (Office of Naval Research) и Исследовательской лабораторией армии США (U.S. Army Research Laboratory).