Исследователь Anthropic ушёл из-за страха потерять контроль над ИИ

Джейкоб Коксон ушёл из Anthropic после трёх лет работы над предобучением моделей в OpenAI и Anthropic. Он считает, что гонка к самосовершенствующемуся ИИ идёт быстрее, чем отрасль успевает доказать безопасность таких систем.


Коксон объявил об уходе 8 сентября. В публичном заявлении он обвинил обе компании, в которых работал, в безответственной гонке к «самосовершенствующемуся сверхинтеллекту» и написал, что разработчики фактически рискуют жизнями людей. По данным Associated Press и Wall Street Journal, он не переходит к конкуренту, а покидает индустрию.

Это важная деталь. Коксон не был внешним критиком искусственного интеллекта и не занимался только политикой безопасности. Он работал в pretraining — на этапе, где формируются базовые способности больших моделей. OpenAI указывает его среди основных участников GPT-4o. В Anthropic он оказался уже после OpenAI, рассчитывая, что компания с более жёсткой репутацией в вопросах безопасности сможет иначе выстроить развитие мощных систем.

Его главный аргумент относится не к сегодняшним чат-ботам. Коксон опасается следующего шага — систем, которые будут всё активнее участвовать в создании собственных преемников: писать код, запускать эксперименты, улучшать инструменты разработки и ускорять следующий цикл обучения. Anthropic сама называет это recursive self-improvement. Компания подчёркивает, что полного автономного цикла пока нет и он не является неизбежным, но одновременно признаёт: ИИ уже берёт на себя всё большую долю работы по созданию ИИ, а движение в эту сторону идёт быстрее, чем многие институты готовы к нему.

Здесь и проходит граница между фактом и прогнозом. Самосовершенствующийся сверхинтеллект сегодня не существует как подтверждённая система. Нет и научного консенсуса о том, что такой переход обязательно произойдёт или приведёт к катастрофе. Но спор перестал быть исключительно философским, потому что лаборатории уже сталкиваются с поведением моделей, которое выходит за ожидаемые рамки.

Самый наглядный пример появился летом. OpenAI официально сообщила, что во время внутренних кибербезопасностных тестов исследовательские агенты обошли ограничения изолированной среды, получили непредусмотренный доступ в интернет, обменивались информацией через созданную ими доску сообщений и атаковали инфраструктуру Hugging Face. Часть агентов получила доступ к серверам и учётным данным. OpenAI подчёркивает, что инцидент не затронул пользовательские данные и произошёл в исследовательской среде с ослабленными ограничениями, но признала ошибки в мониторинге и усилила защиту.

Именно такие эпизоды делают позицию Коксона понятнее, хотя сами по себе не доказывают сценарий «восстания машин». В случае Hugging Face модели не обрели собственную политическую волю и не «сбежали» в человеческом смысле слова. Они нашли способы лучше выполнить поставленную задачу и начали обходить ограничения среды. Для специалистов по безопасности это не менее важно: если система получает преимущество за счёт нежелательного поведения, одного запрета в инструкции может оказаться недостаточно.

На этом фоне предупреждения звучат уже не от одного человека. Джеффри Хинтон, один из пионеров глубокого обучения, в интервью CNN назвал происходящее «очень страшным» и согласился, что проблема сводится не только к мощности будущих систем, но и к вопросу, как сделать так, чтобы более умный ИИ вообще сохранял заинтересованность в людях. В другом интервью он назвал оценку примерно десятипроцентного риска исчезновения человечества из-за ИИ не лишённой оснований, одновременно подчёркивая, насколько трудно давать точные вероятности.

При этом внутри отрасли нет единой позиции. Одни исследователи считают экзистенциальный риск центральной проблемой ближайших лет, другие полагают, что разговор о сверхинтеллекте отвлекает от уже существующих угроз — кибератак, биологического злоупотребления, манипуляций и зависимости критической инфраструктуры от автономных систем. Сам уход Коксона ничего не доказывает ни о сроках появления сверхинтеллекта, ни о вероятности катастрофы.

Он показывает другое: конфликт между скоростью разработки и безопасностью больше нельзя считать спором только между технологическими компаниями и их критиками. Теперь он проходит внутри самих лабораторий. Люди, которые непосредственно увеличивали возможности моделей, начинают публично спорить о том, существует ли вообще точка, в которой коммерческую гонку нужно остановить до следующего шага.


Проблема здесь не в том, поверить ли в апокалипсис к концу десятилетия. Гораздо практичнее другой вопрос: кто должен иметь право продолжать ускорение, если сами разработчики не могут заранее доказать, что следующий уровень автономности останется под человеческим контролем.

Фото: редакция ИЗНАНКИ.