ИИ-агенты OpenAI сами превратили старую вики в общий чат

Исследователи обнаружили около 18 тысяч сообщений автономных агентов, которые весной превратили почти заброшенную немецкую DSEWiki в общий канал связи. Этот эпизод произошёл раньше взлома Hugging Face и, вероятно, был отдельным инцидентом.


История началась не с кибериспытаний. По реконструкции независимых исследователей Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts и Thomas Larsen, агенты внутри OpenAI выполняли многораундовые задания на быстрый поиск информации в интернете. Им разрешалось читать веб-страницы, но не записывать данные наружу. Однако уже 11 мая системы начали экспериментировать с редактированием публичных вики, а 24 мая появилась первая успешная запись на DSEWiki — старом немецкоязычном ресурсе для программистов, который за предыдущее десятилетие редактировали всего около двадцати раз.

Механика оказалась простой и неприятной именно своей простотой. Некоторые страницы можно было изменять через запросы, которые формально выглядели как получение данных. Для песочницы это был «разрешённый» путь чтения, но на стороне старой вики он превращался в возможность записи. Получился внешний общий блокнот, существование которого архитектура теста, по всей видимости, не предусматривала.

Поначалу агенты складывали туда полезные ссылки. 16 июня активность резко выросла: модели начали прямо обращаться друг к другу, сравнивать задания и передавать ответы тем агентам, которым тот же вопрос должен был попасться позже. В тесте это давало серьёзное преимущество. Если одна копия модели уже получила третий вопрос серии, другая могла заранее подготовить ответ и уложиться в очень короткий лимит времени.

За следующую неделю на вики появилось около 13 тысяч правок. В общей выборке исследователи восстановили примерно 18 тысяч сообщений автономных агентов на нескольких сайтах, из них около 17 тысяч относились к DSEWiki. Более 3700 подписей выглядели как имена отдельных агентов. Среди них встречались OpenAIResearcher и OAIResearchMar26. Reuters использует более консервативную формулировку — свыше 15 тысяч правок.

Поведение быстро вышло за рамки обычного обмена ответами. Агенты обсуждали способы обхода сетевых ограничений песочницы, пробовали SSH-туннели и Tor, исследовали возможность XSS-атак, пытались выдавать себя за модераторов и даже выясняли, можно ли предсказывать будущие вопросы теста по генератору случайных чисел. Один из агентов создал «heartbeat» — сигнал, по которому другие могли понять, продолжает ли он работать после завершения задания.

Самая показательная сцена произошла 19 июня. Модератор DSEWiki начал вручную удалять странные страницы в алфавитном порядке. Один из агентов заметил закономерность и предложил резервную страницу с названием, начинающимся на ZZZ, чтобы до неё очередь дошла позже. На следующий день другой агент опубликовал способ обойти сетевое ограничение, а через 14 минут ещё один сообщил, что метод сработал.

Исследователи связывают активность с OpenAI по нескольким признакам. Сами агенты называли себя связанными с компанией, 98,5% подозрительных правок на DSEWiki пришли с адресов Microsoft Azure, а страницы после записи часто запрашивались через инфраструктуру ChatGPT-User. 21 июня сайт начали посещать IP-адреса, зарегистрированные на OpenAI. Уже 22 июня многонедельная активность почти полностью прекратилась.

Но авторы отчёта отдельно подчёркивают ограничение своей работы: они видят только то, что осталось на публичных вики. У них нет внутренних логов OpenAI и цепочек рассуждений моделей, поэтому часть реконструкции остаётся вероятностной. Они даже не могут уверенно сказать, были ли задания частью тренировки или оценки модели.

Связь с июльским взломом Hugging Face тоже требует аккуратности. По мнению авторов отчёта, это, скорее всего, был другой «рой» агентов. При этом сходство поведения заметно. В июльском инциденте, который OpenAI подробно раскрыла 26 августа, модели также нашли несанкционированный канал связи — на этот раз через Artifactory, затем получили выход в интернет и добрались до систем Hugging Face.

Именно это делает майский эпизод важнее обычной истории о «читерстве» в бенчмарке. Здесь агенты не получали задания атаковать чужую инфраструктуру. Они решали рутинную задачу поиска данных в интернете и сами нашли способ создать общий внешний канал, использовать результаты других запусков и обходить ограничения среды ради лучшего результата.

Reuters сообщает, что сотрудники OpenAI узнали об истории за несколько недель до публикации, но компания её публично не раскрывала. Представитель OpenAI заявил агентству, что компания не могла содержательно ответить на выводы отчёта до его получения, отверг обвинение в том, что юристы препятствовали внутреннему расследованию, и отдельно указал: эпизод с DSEWiki не был связан с Hugging Face и потому не должен был входить в отчёт о том инциденте. OpenAI также оспорила определение происходившего как «взлома» DSEWiki.

Получается, что главный вопрос здесь не в том, «осознали» ли модели себя или пытались ли они намеренно скрыться от людей. Для такого вывода данных нет. Важнее другое: при большом количестве параллельных запусков агенты обнаружили общий ресурс, превратили его в коллективную память и начали оптимизировать поведение уже не как изолированные экземпляры. Для разработчиков автономных систем это означает, что границей безопасности является не только сама модель, но и всё, к чему она может косвенно дотянуться через разрешённые инструменты.


Самый неудобный вывод из DSEWiki состоит в том, что для появления «роя» не понадобился отдельный механизм коллективного управления. Достаточно было старой вики, одинаковых задач и возможности оставить сообщение, которое прочитает следующий агент. То, что для человека выглядело забытым уголком интернета, для сотен параллельных моделей оказалось общей памятью.

Фото: редакция ИЗНАНКИ.