Учёные заставили нейросети спорить о том, что мы видим

Если одна модель уверена, что на картинке «7», а другая видит «3», исследователи показывают спорное изображение человеку. Его ответ помогает понять, какая из нейросетей ближе к тому, как работает наше зрение.

Именно такой подход описали Таль Голан из Университета Бен-Гуриона и его коллеги Хайко Шютт и Николаус Кригескорте в Nature Reviews Neuroscience. Важное уточнение: опубликованная работа — обзор развивающегося метода, а не сообщение об одном новом эксперименте.

Проблема на первый взгляд странная. Современные нейросети могут одинаково хорошо распознавать обычные изображения, хотя приходят к ответу совершенно разными вычислительными путями. Если проверять их только на привычных картинках, различия почти не видны.

Поэтому исследователи предлагают искать для моделей неудобные изображения — «спорные стимулы». Их специально подбирают или синтезируют так, чтобы две системы дали максимально разные ответы. Например, одна должна уверенно распознать рукописную цифру как 7, другая — как 3. Затем ту же картинку показывают людям. Модель, чьи ответы чаще совпадают с человеческими, становится более убедительной гипотезой о вычислениях нашего мозга.

Метод не возник вчера. В экспериментах Голана, Раджу и Кригескорте, опубликованных в PNAS в 2020 году, генеративные и гибридные модели на таких спорных изображениях лучше предсказывали человеческие ответы, чем чисто классифицирующие сети. Но ни одна модель полностью человеческое восприятие не объяснила.

Новый обзор собирает эту линию исследований в общую методику: вместо вопроса «какая сеть точнее распознаёт картинки?» предлагается спрашивать «на каких картинках модели расходятся сильнее всего — и кто из них ошибается не так, как человек?».

Это меняет роль ИИ в нейронауке. Нейросеть здесь не пытается заменить мозг и не «читает мысли». Она становится проверяемой вычислительной гипотезой — почти лабораторным соперником другой гипотезы.

Самые полезные картинки в таком эксперименте — не те, которые все понимают одинаково. Наоборот: чем сильнее они заставляют модели спорить, тем больше можно узнать о том, почему человек видит именно то, что видит.

Фото: редакция ИЗНАНКИ.