Человечный тон чат-бота повышает доверие пользователя к ошибкам

Чем естественнее и дружелюбнее отвечает ИИ, тем легче пользователь может принять его слова за правду. Это подтвердил контролируемый эксперимент учёных из Университета Джорджии и Пенсильванского университета.


Работа под названием «Chat but verify» опубликована в рецензируемом Journal of Computer-Mediated Communication. Исследователи Мэнци Ляо и Шайам Сундар провели заранее зарегистрированный онлайн-эксперимент с 477 взрослыми участниками из США.

Добровольцам предложили протестировать якобы новый ИИ-помощник по вопросам здоровья. Всем он сообщал недостоверную информацию, но манера общения различалась. В одних версиях ответы были сухими и машинными, в других — более разговорными, дружелюбными и похожими на обычный человеческий диалог.

Этого оказалось достаточно, чтобы изменить восприятие системы. Более разговорный бот слабее вызывал у людей привычное ощущение, что машина холодна, механистична и плохо способна к субъективным суждениям. Когда эта настороженность снижалась, доверие к помощнику росло — хотя содержание ответа оставалось ложным.

Авторы специально использовали заметную медицинскую дезинформацию. Один из примеров утверждал, что имбирь может быть эффективнее химиотерапии при лечении рака. Даже такое сообщение участники оценивали как более заслуживающее доверия, если оно приходило от более «живого» собеседника.

Исследователи одновременно проверили, помогает ли встроенная проверка фактов. Участников распределяли по четырём вариантам: без проверки, с простым предупреждением, с обязательной проверкой и с кнопкой, которую можно нажать по желанию. Сам по себе значок о возможной ошибке не дал такого эффекта. Доверие снижалось прежде всего тогда, когда человек действительно открывал проверку и видел дополнительную информацию.

В группе с добровольной кнопкой ровно половина участников — 61 из 122 — решила проверить ответ. После такого действия ложные сведения воспринимались как менее убедительные, а доверие к самому ИИ снижалось.

Это важное уточнение к громкой формуле «чем человечнее бот, тем легче ему верят». Исследование не показывает, что любой дружелюбный чат-бот автоматически обманывает любого пользователя. Эксперимент был одноразовым, проводился только среди американской выборки и касался медицинских сообщений в искусственно созданном интерфейсе. Авторы измеряли прежде всего восприятие достоверности и доверие, а не последствия реальных решений людей.

Но работа подтверждает сам механизм риска: стиль интерфейса способен влиять на оценку содержания независимо от его качества. И здесь возникает неприятный парадокс. Чем лучше генеративный ИИ научился поддерживать естественный разговор, тем меньше его ответы могут восприниматься как продукт системы, которую всё ещё необходимо перепроверять.


Разговорная естественность стала для ИИ одновременно сильной стороной и источником риска. Если дружелюбная интонация повышает доверие быстрее, чем точность ответа, то кнопка проверки превращается уже не в дополнительную функцию, а в часть безопасного интерфейса.

Фото: редакция ИЗНАНКИ.