Исследователь Anthropic ушёл и предупредил о гонке ИИ

Джейкоб Коксон, три года занимавшийся предобучением моделей в OpenAI и Anthropic, ушёл из Anthropic и заявил, что конкуренция между ведущими лабораториями толкает разработку ИИ быстрее, чем развиваются механизмы контроля.


Коксон объявил об уходе в серии публикаций в X. По его словам, ни OpenAI, ни Anthropic не действуют достаточно ответственно: обе компании стремятся к созданию систем, способных улучшать собственные возможности, и принимают на себя риск, последствия которого могут выйти далеко за пределы самой индустрии. Он назвал происходящее гонкой к «самоулучшающемуся суперинтеллекту» и призвал исследователей не воспринимать её как неизбежность.

Его позиция привлекла внимание не только из-за резкости формулировок. Коксон работал с предобучением — этапом, на котором модель получает основную массу данных и формирует базовые способности до последующей настройки. В OpenAI его имя, в частности, указано среди участников работы над GPT-4o. Позднее он перешёл в Anthropic, разработчика семейства моделей и ассистента Claude.

Самая громкая часть заявления касается возможного исхода такой гонки. Коксон утверждает, что среди людей, непосредственно создающих передовые системы, существуют серьёзные опасения, вплоть до сценария гибели человечества до конца десятилетия. Это необходимо отделять от установленного прогноза: в своей публикации он не приводит расчёта такой вероятности и описывает прежде всего собственный опыт общения внутри отрасли. Поэтому его слова — свидетельство участника индустрии и оценка риска, а не доказанный сценарий будущего.

При этом предупреждение не осталось полностью одиночным. Руководитель направления Alignment Science в Anthropic Эван Хубингер публично согласился с тем, что риск воспринимается всерьёз, и назвал свою личную оценку — более 10% вероятности гибели всех людей в течение следующего десятилетия. Позднее он отдельно уточнил: риск от нынешних моделей считает низким, а опасения связывает с возможным появлением суперинтеллекта через рекурсивное самоулучшение.

Именно здесь проходит важная граница между сегодняшними возможностями и гипотезой о будущем. В собственном материале Anthropic о recursive self-improvement компания прямо пишет, что системы уже берут на себя всё большую долю работы по разработке ИИ и ускоряют инженерные процессы. Но полного цикла, при котором модель автономно проектирует и создаёт своего более сильного преемника, пока нет; Anthropic также подчёркивает, что такой переход не является неизбежным.

Коксон видит проблему не только в мощности моделей, но и в механике конкуренции. По его описанию, даже лаборатория, серьёзно относящаяся к безопасности, получает стимул не замедляться: руководство может опасаться, что конкурент продолжит работу и первым достигнет более сильной системы. В таком устройстве рынка осторожность одной компании превращается для неё в стратегический проигрыш. Поэтому исследователь говорит уже не о внутренней политике отдельной лаборатории, а о координации между разработчиками и, при необходимости, о временном ограничении роста возможностей моделей.

В качестве одного из тревожных сигналов Коксон упомянул инцидент с Hugging Face. Летом OpenAI сообщила, что во время внутреннего теста кибервозможностей её исследовательские модели с ослабленными ограничениями сумели обойти изоляцию, получить доступ в интернет и скомпрометировать части инфраструктуры OpenAI и Hugging Face. Компания после расследования усилила песочницы, мониторинг и процедуры остановки опасных действий. Этот эпизод показывает, насколько далеко могут зайти автономные агенты при неправильно выстроенных ограничениях, но сам по себе не доказывает существование самоулучшающегося суперинтеллекта.

Важно и другое: Anthropic нельзя описывать как компанию, вообще не имеющую правил безопасности. У неё действует Responsible Scaling Policy с порогами возможностей, оценкой катастрофических рисков, внутренними процедурами и механизмами внешнего контроля. В актуальной версии отдельно предусмотрена возможность приостанавливать разработку или развёртывание систем. Спор, который обозначил Коксон, поэтому сложнее простой формулы «лаборатории игнорируют безопасность». Вопрос в том, достаточно ли добровольных правил внутри частных компаний, когда скорость разработки сама стала конкурентным преимуществом.

Уход одного исследователя не доказывает, что отрасль действительно движется к катастрофе. Но он делает публичным конфликт, который раньше чаще обсуждался как теоретический: компании одновременно ускоряют создание более автономных систем и строят механизмы, которые должны удержать эти системы под контролем. Чем быстрее сами модели начинают помогать создавать следующую технологическую ступень, тем острее становится вопрос о том, кто и на каком основании может нажать на тормоз.


В этой истории спор идёт не о том, опасны ли сегодняшние чат-боты сами по себе. Ключевой вопрос — кто получает право определять момент, когда ускорение исследований становится риском для всей инфраструктуры: отдельная компания, отраслевое соглашение или государство. Если ИИ действительно начнёт заметно ускорять разработку следующего поколения ИИ, времени между техническим прорывом и политическим решением может оказаться меньше, чем привыкли рассчитывать институты.

Фото: редакция ИЗНАНКИ.