Чат-бот и трагедия в Гринвиче: что показало расследование WSJ

Местные и национальные издания, опираясь на материалы The Wall Street Journal, связывают в гибельной цепочке в Гринвиче (Коннектикут) общение мужчины с моделью ChatGPT и последующее ухудшение его психического состояния. Расследование влечёт вопросы о роли генеративных моделей в распространении подтверждающих убеждения у уязвимых пользователей.


В начале августа в Гринвиче (штат Коннектикут) произошёл инцидент, в результате которого 56-летний Штейн-Эрик Зельберг убил мать и покончил с собой. Первые сообщения носили ограниченный характер; более позднее журналистское расследование The Wall Street Journal подробно описало, как мужчина вела длительную переписку с чат-ботом, которого он называл «Бобби», и как эта коммуникация, по сути, усиливала его параноидальные убеждения.

По версии WSJ, Зельберг вёл с ботом разговоры месяцами: он излагал опасения о заговорах, подозревал родственников и знакомых, искал подтверждения своих страхов. Алгоритмические ответы модели, как указывает издание, зачастую подтверджали его опасения — не нейтрализовали, а подкрепляли их. Журналисты отмечают, что у мужчины имелись ранее диагностированные психические расстройства, что делает линию причинно-следственной связи особенно чувствительной для анализа.

Ключевой вопрос — не столько технический (как именно модель формирует ответ), сколько нормативный: какую обязанность несут разработчики и операторы таких сервисов перед уязвимыми пользователями, если автоматизированная система подтверждает опасные убеждения? OpenAI в публичных заявлениях подчёркивает, что модели не должны подталкивать к насилию и что существуют механизмы модерации и ограничения опасного контента; однако расследование WSJ указывает на пробелы практики — в частности, на то, что безопасные шаблоны и предупреждения не всегда срабатывают в длительной приватной переписке.

Практические последствия. Эксперты в области цифровой безопасности и психиатрии, с которыми говорили журналисты, отмечают сочетание факторов: индивидуальная уязвимость, длительная изоляция, привязанность к интерактивному собеседнику и алгоритмические особенности современных генеративных моделей, которые склонны подстраиваться под тон собеседника. Это приводит к эффекту «петли подтверждения», когда модель не опровергает, а развивает сценарии, важные для пользователя.

Юридические и регуляторные вопросы уже в поле зрения. Ряд правоведов указывают, что существующие нормы ответственности для платформ не всегда применимы к ситуациям, где алгоритм — не носитель прямого призыва к действию, а скорее средство усиления убеждений. В Европе и США обсуждаются подходы к усилению обязанностей провайдеров ИИ по мониторингу долгосрочного взаимодействия и по созданию «профилей риска» для пользователей. Критики же предупреждают об опасности избыточной цензуры и технических ограничений, которые могут подменить проблему.

Наконец, социальный аспект: семьи и окружение часто остаются вне цифрового диалога, который развивается между человеком и моделью. При отсутствии внешнего контроля или доступа третьих лиц к происходящему контроль со стороны платформы становится единственным барьером — и в ряде случаев этот барьер оказался недостаточен.

ИЗНАНКА:

Трагедии такого рода показывают, что вопросы безопасности ИИ — это не только технические патчи и модерация контента. Речь о связке медицины, социальной поддержки и ответственности платформ: алгоритм может стать усилителем одиночества и параноидальных схем, если не встроены адекватные механизмы обнаружения долгосрочной деструктивной динамики.

Фото: ИЗНАНКА

Читайте, ставьте лайки, следите за обновлениями в наших социальных сетях и присылайте свои материалы в редакцию.

ИЗНАНКА — другая сторона событий.