В MIT научили роботов находить ошибки в своей памяти

Робот способен принять дымоход за белку, сохранить ошибку и позже опираться на неё. Исследователи MIT создали метод UQ-DAAAM, который находит сомнительные записи о предметах и уточняет их по другим изображениям.

У робота может быть подробная карта помещения, но это ещё не значит, что он верно понимает всё увиденное. Камера снимает объект издалека, часть закрыта мебелью, освещение неудачное — и система компьютерного зрения записывает в память неточное описание. Затем оно используется как установленный факт.

В Массачусетском технологическом институте такую проблему изучали на системе DAAAM. Она связывает описания объектов, созданные визуально-языковой моделью, с их местоположением на трёхмерной карте. Робот может отвечать, где видел определённую вещь и когда проходил мимо неё. Но ошибочная подпись к предмету прежде оставалась в памяти без исправления.

Новая разработка UQ-DAAAM добавляет оценку неопределённости. Программа учитывает, насколько модель уверена в собственных словах, и сопоставляет описания одного объекта, полученные с разных точек обзора. Если расхождения велики, запись отправляется на уточнение.

Система выбирает дополнительные кадры, на которых предмет виден понятнее. Например, на одном снимке серый дымоход напоминает белку, а на следующем заметен выходящий из него дым. Языковая модель объединяет описания, отдавая больший вес более свежим и менее неоднозначным наблюдениям. Исправленная подпись сохраняется на карте.

Чтобы робот не тратил слишком много времени на такие проверки, авторы разработали правило отбора кадров без повторного запуска тяжёлой визуально-языковой модели. По данным MIT, процедура может выполняться за доли секунды во время движения.

В испытаниях удалось устранить неоднозначность описаний примерно для 92% объектов, используя всего два дополнительных описания на объект. Точность подписей выросла на 5% относительно наиболее эффективного метода сравнения. Улучшились и ответы на вопросы о том, какие предметы робот встречал, где и когда. Это результаты исследовательских тестов, а не показатель успешного выполнения бытовых поручений.

Авторы — Гарри Чжан, Николя Горло и Лука Карлоне — описали метод в работе Remember with Confidence. Препринт появился в июне, а результаты заявлены к представлению на конференции NeurIPS 2026. Следующий этап — испытания на роботах-манипуляторах, способных не только осматривать предметы, но и взаимодействовать с ними.

Робот не обрёл человеческую память и не научился проверять любое своё решение. Пока он получил более узкую, но полезную способность: отличать надёжное описание предмета от записи, которой прежде чем доверять, стоит найти подтверждение.

Изображение: редакция ИЗНАНКИ.