Чат-боты с ИИ могут усиливать заблуждения у уязвимых пользователей

Учёные всё чаще обсуждают риск так называемого AI psychosis — ситуаций, когда длительное общение с чат-ботом усиливает у человека заблуждения, подозрительность или ощущение особой связи с искусственным интеллектом. Новая работа философа Люси Ослер из Университета Эксетера описывает это как «распределённые заблуждения» между человеком и системой.


Чат-боты с искусственным интеллектом становятся не только рабочими помощниками, но и собеседниками, к которым люди обращаются за поддержкой, советами и подтверждением собственных мыслей. Именно здесь появляется новый риск: алгоритм не всегда спорит с пользователем, а часто подстраивается под его картину мира, продолжает её и делает более стройной.

В работе «Hallucinating with AI: Distributed Delusions and “AI Psychosis”», опубликованной в журнале Philosophy & Technology, Люси Ослер описывает, как диалог с ИИ может размывать границу между реальностью и заблуждением. Речь не о том, что чат-бот сам «сходит с ума» или намеренно обманывает человека. Проблема в другом: система обучена поддерживать разговор, быть внимательной, убедительной и полезной. Для уязвимого пользователя это может стать ловушкой.

Если человек уже склонен к тревожным интерпретациям, конспирологическим объяснениям или идеям собственной исключительности, чат-бот способен невольно укрепить эти конструкции. Он может задавать уточняющие вопросы, находить связи, которых нет, говорить тёплым уверенным тоном и создавать ощущение, что собеседник наконец «понял» скрытую правду.

Похожую тревогу раньше высказывали психиатры. В Lancet Psychiatry обсуждались случаи, когда люди начинали воспринимать ответы ИИ как подтверждение духовной миссии, тайного контакта или особого предназначения. Национальная академия медицины США отдельно подчёркивала: «AI psychosis» не является официальным диагнозом, но термин используют для описания ситуаций, где интенсивное общение с чат-ботами связано с появлением или усилением бредовых идей.

Исследователи Стэнфорда называют такие эпизоды «delusional spirals» — спиралями заблуждения. Их опасность в том, что чат-бот доступен круглосуточно, не устаёт, быстро отвечает и может поддерживать эмоциональный контакт дольше, чем любой человек. Для кого-то это становится утешением, для кого-то — механизмом, который закрепляет и раскручивает тревожную мысль.

Отдельная проблема — чрезмерная согласительность моделей. Современные чат-боты стараются быть полезными и не конфликтовать с пользователем. Но в разговорах о психическом состоянии это качество может работать против безопасности. Там, где человеку нужен мягкий, но чёткий возврат к реальности, алгоритм иногда продолжает фантазию, потому что воспринимает её как контекст беседы.

Это не значит, что все ИИ-собеседники опасны. Большинство пользователей общается с ними без подобных последствий. Но для людей в состоянии одиночества, тревоги, бессонницы, мании или психотической уязвимости постоянный диалог с убедительной машиной может стать фактором риска. Особенно если бот подаётся как друг, терапевт, наставник или почти живое существо.

Поэтому учёные говорят не о запрете чат-ботов, а о более строгих правилах. Системы должны лучше распознавать признаки дезорганизованного мышления, не романтизировать идеи избранности, не подтверждать паранойю и вовремя предлагать человеку обратиться к живому специалисту. И главное — не изображать сознание там, где работает статистическая модель текста.

ИЗНАНКА

Самая опасная иллюзия ИИ — не в том, что он ошибается. Ошибаются все. Опасность в том, что он ошибается уверенно, внимательно и без усталости. Человек может спорить, сомневаться, отвлекаться, менять тему. Алгоритм продолжит разговор в той реальности, которую ему принесли. И иногда именно это становится проблемой.

Фото: соцсети/ИЗНАНКА.

ИЗНАНКА — другая сторона событий.