MIT : une mémoire qui permet aux robots de corriger leurs erreurs

Ce qui s'est passé

Des chercheurs du MIT ont mis au point UQ-DAAAM, un système de mémoire pour robots qui détecte les descriptions d'objets enregistrées susceptibles d'être erronées et les corrige, a rapporté MIT News. Les doctorants Harry Zhang et Nicolas Gorlo sont les co-auteurs principaux de l'article, dont Luca Carlone, professeur associé, est l'auteur senior. L'article sera présenté à la Conference on Neural Information Processing Systems.

Le système mesure le degré de confiance d'un modèle vision-langage dans les mots d'une description, puis confronte cette description à celles du même objet captées sous d'autres angles. Les deux signaux sont fusionnés en un seul score d'incertitude. Au-delà d'un seuil fixé, une règle simple choisit des images supplémentaires à examiner. L'équipe a démontré mathématiquement que cette règle permet de sélectionner les meilleures images sans relancer le modèle, ce qui réduit fortement le calcul. Un grand modèle de langage combine ensuite les descriptions retenues, en privilégiant les plus récentes et les plus claires.

Selon les chercheurs, l'étape de raffinement a levé les ambiguïtés pour environ 92 % des objets en ne nécessitant que deux descriptions supplémentaires par objet, et elle a amélioré de 5 % la précision des descriptions par rapport à l'état de l'art. Le système a aussi répondu plus précisément que les méthodes de référence aux questions portant sur les objets, leur emplacement et le moment où ils ont été vus pour la dernière fois. Luca Carlone a déclaré que permettre à un robot de reconnaître les limites de ses propres connaissances sera essentiel pour déployer l'IA physique en toute sécurité.

Contexte

Ces travaux prolongent DAAAM, un système antérieur du même groupe. DAAAM utilisait un modèle vision-langage pour décrire les objets vus par les caméras embarquées d'un robot et stockait ces descriptions dans une carte 3D pour des requêtes ultérieures. Des vues partielles, lointaines, floues ou sombres pouvaient l'induire en erreur, par exemple en prenant une cheminée grise pour un écureuil. Le projet a notamment bénéficié du soutien de l'Office of Naval Research et de l'Army Research Laboratory des États-Unis.