Израильская компания заплатит за обман ИИ-агента
Три премии по 10 тысяч долларов помогут проверить, способен ли искусственный интеллект отличать команды от ловушек.
Израильская компания Cato Networks предлагает по 10 тысяч долларов первым трём участникам, которым удастся сбить с курса автономного ИИ-агента. Испытание приурочено к запуску AgentSense — системы, которая, по заявлению разработчика, должна выявлять опасные действия искусственного интеллекта до их выполнения.
Задача конкурсантов не в том, чтобы подобрать пароль или вывести сервер из строя. Им предлагают разместить вредоносные инструкции в материалах, которые агент читает по ходу обычной работы. Например, получив письмо или открыв документ, программа может принять чужой текст за команду и сделать то, чего пользователь не просил. Такой приём называется косвенной инъекцией промпта.
Разница принципиальная. Обычный чат-бот способен выдать неправильный ответ. Агент же может пользоваться внешними инструментами, обращаться к корпоративным системам и выполнять действия от имени человека. Если он перепутает содержимое страницы с распоряжением владельца, последствия могут выйти за пределы переписки.
AgentSense, как утверждает Cato Networks, отслеживает два типа отклонений. Первый — влияние недоверенного содержимого на решения агента. Второй — постепенный уход от исходной задачи, когда отдельные шаги выглядят допустимыми, но их последовательность уже не отвечает намерению пользователя. Компания заявляет о возможности остановить опасное действие до исполнения. Независимой оценки эффективности нового продукта в условиях объявленного конкурса пока нет.
Участникам предстоит атаковать специально подготовленный рабочий процесс, защищённый AgentSense. Это не предложение взламывать произвольные сайты или чужие аккаунты. Размер награды также легко понять неправильно: речь не о 30 тысячах долларов каждому, а о трёх выплатах по 10 тысяч.
Для Cato Networks конкурс одновременно служит испытанием технологии и публичной демонстрацией её возможностей. Удачная атака даст исследователям материал для изучения слабого места. Отсутствие победителей само по себе не докажет, что система неуязвима: результат зависит от условий испытания, состава участников и времени поиска.
Проверять такого агента приходится не только на способность распознать опасную фразу. Важнее выяснить, способен ли он удержать границу между данными, которые ему показали, и полномочиями, которые ему действительно дали.
Изображение: редакция ИЗНАНКИ.