Роботы учатся понимать невысказанный смысл просьб

Роботу достаточно сказать «не пролей кофе на ноутбук», чтобы он попытался уберечь и лежащий рядом телефон. Так работает система FLEX, разработанная исследователями MIT и Нью-Йоркского университета. Но до домашнего помощника ей ещё далеко.

Кофе несут через стол, заставленный вещами. Человек просит не задеть ноутбук. Для обычного алгоритма это запрет приблизиться к конкретному предмету; FLEX делает дополнительный вывод: жидкость опасна для электроники вообще. Поэтому корректирует путь и в стороне от смартфона, хотя его никто не упоминал. Пример не снят на кухне — это компьютерная симуляция движения роботизированной руки.

Разработчики предлагают учить машину не списку отдельных запретов, а признакам, которые важны для безопасного действия. Сначала программа добавляет названный предмет в модель окружающей обстановки. Потом языковая модель GPT-4o ищет более общее правило. В конце компьютерное зрение убирает из расчёта объекты, которых рядом уже нет. По данным MIT, на такую переработку указаний уходит около пяти секунд.

Подход проверяли ещё на двух задачах: переносе горящей свечи и тяжёлого шара для боулинга. Из просьбы держаться подальше от бумаги программа выводила необходимость избегать легковоспламеняющихся вещей. А предупреждение не уронить шар на кружку превращалось в правило беречь хрупкие предметы.

«У каждого дома свои особенности, и каждому человеку важно что-то своё», — объясняет руководитель исследования Андреа Бобу. Смысл FLEX как раз в том, чтобы владелец не перечислял все возможные опасности и не объяснял роботу математически, как строить траекторию.

Работа не означает, что готовый гуманоид уже научился понимать хозяина. Испытания повседневных заданий проводились с виртуальным манипулятором: добровольцы вводили поправки текстом. Авторы также собирали замечания людей и демонстрации движений физического робота, но это не равно проверке автономного помощника в настоящей квартире.

Исследование опубликовано в октябре как научный препринт, а его результаты должны представить на конференции CoRL в ноябре. Следующая проверка для такого подхода — не только правильно обобщить предупреждение, но и вовремя понять, когда общее правило применять нельзя.

Хороший помощник должен угадывать, чего человек хотел избежать, не превращая каждую просьбу в длинную инструкцию. Самая сложная часть начинается там, где догадка робота оказывается неверной: человеку понадобится способ быстро её исправить.

Изображение: редакция ИЗНАНКИ.