585

Израильская компания заплатит за обман ИИ-агента

Три премии по 10 тысяч долларов помогут проверить, способен ли искусственный интеллект отличать команды от ловушек.

Израильская Cato Networks объявила конкурс для специалистов по кибербезопасности: нужно заставить защищённого ИИ-агента нарушить поручение пользователя. Общий призовой фонд — 30 тысяч долларов, но разделят его только трое победителей.

Израильская компания Cato Networks предлагает по 10 тысяч долларов первым трём участникам, которым удастся сбить с курса автономного ИИ-агента. Испытание приурочено к запуску AgentSense — системы, которая, по заявлению разработчика, должна выявлять опасные действия искусственного интеллекта до их выполнения.

Задача конкурсантов не в том, чтобы подобрать пароль или вывести сервер из строя. Им предлагают разместить вредоносные инструкции в материалах, которые агент читает по ходу обычной работы. Например, получив письмо или открыв документ, программа может принять чужой текст за команду и сделать то, чего пользователь не просил. Такой приём называется косвенной инъекцией промпта.

Разница принципиальная. Обычный чат-бот способен выдать неправильный ответ. Агент же может пользоваться внешними инструментами, обращаться к корпоративным системам и выполнять действия от имени человека. Если он перепутает содержимое страницы с распоряжением владельца, последствия могут выйти за пределы переписки.

AgentSense, как утверждает Cato Networks, отслеживает два типа отклонений. Первый — влияние недоверенного содержимого на решения агента. Второй — постепенный уход от исходной задачи, когда отдельные шаги выглядят допустимыми, но их последовательность уже не отвечает намерению пользователя. Компания заявляет о возможности остановить опасное действие до исполнения. Независимой оценки эффективности нового продукта в условиях объявленного конкурса пока нет.

Участникам предстоит атаковать специально подготовленный рабочий процесс, защищённый AgentSense. Это не предложение взламывать произвольные сайты или чужие аккаунты. Размер награды также легко понять неправильно: речь не о 30 тысячах долларов каждому, а о трёх выплатах по 10 тысяч.

Для Cato Networks конкурс одновременно служит испытанием технологии и публичной демонстрацией её возможностей. Удачная атака даст исследователям материал для изучения слабого места. Отсутствие победителей само по себе не докажет, что система неуязвима: результат зависит от условий испытания, состава участников и времени поиска.

Проверять такого агента приходится не только на способность распознать опасную фразу. Важнее выяснить, способен ли он удержать границу между данными, которые ему показали, и полномочиями, которые ему действительно дали.

Изображение: редакция ИЗНАНКИ.