MIT-Gedächtnissystem: Roboter korrigieren falsche Objektlabels

Was passiert ist

Forscher am MIT haben UQ-DAAAM entwickelt, ein Gedächtnissystem für Roboter, das gespeicherte Objektbeschreibungen erkennt, die wahrscheinlich falsch sind, und sie korrigiert, wie MIT News berichtet. Die Doktoranden Harry Zhang und Nicolas Gorlo sind Co-Erstautoren der Studie, Associate Professor Luca Carlone ist Seniorautor. Die Arbeit wird auf der Conference on Neural Information Processing Systems vorgestellt.

Das System misst, wie sicher sich ein Vision-Language-Modell bei den Worten einer Beschreibung ist, und gleicht diese dann mit Beschreibungen desselben Objekts aus anderen Blickwinkeln ab. Beide Signale werden zu einem einzigen Unsicherheitswert zusammengeführt. Liegt dieser über einem festgelegten Schwellenwert, wählt eine einfache Regel weitere Bilder zur Prüfung aus. Das Team bewies mathematisch, dass diese Regel die besten Bilder auswählen kann, ohne das Modell erneut ausführen zu müssen, was den Rechenaufwand drastisch senkt. Ein großes Sprachmodell kombiniert anschließend die ausgewählten Beschreibungen und gewichtet neuere und klarere stärker.

Laut den Forschern löste der Verfeinerungsschritt bei rund 92 Prozent der Objekte Mehrdeutigkeiten auf und benötigte dafür nur zwei zusätzliche Beschreibungen pro Objekt. Die Genauigkeit der Beschreibungen stieg um 5 Prozent gegenüber dem Stand der Technik. Auch Fragen zu Objekten, ihrem Standort und dem Zeitpunkt der letzten Sichtung beantwortete das System genauer als Vergleichsmethoden. Carlone sagte, dass es für den sicheren Einsatz physischer KI entscheidend sein werde, dass ein Roboter die Grenzen seines eigenen Wissens erkennt.

Kontext

Die Arbeit baut auf DAAAM auf, einem früheren System derselben Gruppe. DAAAM nutzte ein Vision-Language-Modell, um Objekte zu beschreiben, die von den Bordkameras eines Roboters erfasst wurden, und speicherte diese Beschreibungen in einer 3D-Karte für spätere Abfragen. Teilweise verdeckte, entfernte, unscharfe oder dunkle Ansichten konnten das System in die Irre führen, etwa wenn es einen grauen Schornstein für ein Eichhörnchen hielt. Unterstützt wurde die Arbeit unter anderem vom US-amerikanischen Office of Naval Research und dem U.S. Army Research Laboratory.