Нейросети начали путать книги с нарушением

На книжном рынке проявился новый риск цифровой модерации: алгоритмы стали видеть признаки запрещённого контента в фамилиях авторов и обычных словах. Для издателей это уже не курьёз, а дополнительная ручная работа и новые издержки.


Эту тему логичнее отнести в раздел «Интересное». Повод свежий, но важен здесь не только сам эпизод, а более широкий эффект: как автоматическая проверка начинает вмешиваться в издательскую рутину и ошибаться на уровне базового смысла текста.

25 марта СМИ сообщили о ложных срабатываниях ИИ-фильтров на книжном рынке. По данным «Коммерсанта», в издательстве «Эксмо» столкнулись с тем, что система модерации сочла фамилию Дениса Драгунского подозрительной в контексте закона о пропаганде наркотиков. В начале марта из-за этого пришлось дополнительно проверять пять его книг вручную. В том же сообщении уточнялось, что вопросы у ИИ-помощника вызывали и книги автора Коноплёва, а под удар могут попадать даже обычные слова вроде «героиня».

Это важно не из-за одной неудачной шутки алгоритма. История показывает, как работает упрощённая автоматическая фильтрация в среде, где цена ошибки высока. Если система опирается на морфемный или ключевой поиск без полноценного понимания контекста, она начинает видеть риск не в смысле фразы, а в наборе букв. Фамилия «Драгунский» превращается в формальный повод для тревоги из-за созвучия с английским drug, а «героиня» начинает считываться не как персонаж текста, а как потенциальное совпадение с названием запрещённого вещества.

По сути, это классическая проблема false positive — ложного срабатывания, когда система предпочитает перестраховаться и отмечает безопасный текст как сомнительный. Разработчик платформы Kodik Никита Ротару в комментарии для «Коммерсанта» прямо связал такие ошибки с поверхностной настройкой: модель не различает имена собственные и нарицательные слова, а контекст либо учитывает слабо, либо не учитывает вовсе. В таком режиме автоматизация экономит время только на бумаге. На практике она создаёт новый слой проверки, который всё равно приходится разбирать человеку.

Для книжного рынка проблема оказалась особенно чувствительной из-за общего ужесточения требований после вступления в силу новых норм с 1 марта. Когда регуляторное давление усиливается, участники рынка начинают перестраховываться заранее. Отсюда и парадокс: ИИ вводят как ускоритель проверки, но без точной настройки он превращается в генератор сомнений, который не снимает нагрузку с редактора, а перераспределяет её.

На этом фоне особенно заметно, что слабое место здесь не в самой идее машинной модерации, а в границе её применимости. Для грубой предварительной сортировки она полезна. Для смысловой оценки литературного текста — уже нет, если система не умеет отделять автора от термина, сюжетное слово от юридического риска, а контекст произведения от случайного совпадения корней.

Именно поэтому история с Драгунским и Коноплёвым выходит за рамки курьёза. Она показывает, как быстро формальная цифровая логика начинает давить на гуманитарную среду, если её внедряют в спешке и под нормативный страх. И в этом смысле сбой оказывается не технической мелочью, а симптомом более широкой вещи: культура всё чаще проходит через фильтры, которые читают текст не как человек, а как потенциальное нарушение.

ИЗНАНКА

Чем активнее рынок передаёт первичную оценку текста алгоритму, тем важнее становится не сам ИИ, а право человека остановить машину в тот момент, когда она перестаёт читать книгу и начинает просто ловить опасные сочетания букв.

Фото: ИЗНАНКА.

ИЗНАНКА — другая сторона событий.