OpenAI обсуждала «план стран» для будущего AGI

Внутренний спор в OpenAI восьмилетней давности снова вышел наружу. The Atlantic пишет, что в 2017-м руководители обсуждали деньги от государств в обмен на будущий доступ к AGI; Дарио Амодеи резко возражал.

История появилась в материале Кевина Руза в The Atlantic, основанном на его книге о гонке за сверхмощным ИИ. По данным автора, когда Илон Маск отдалялся от OpenAI и компании требовалось новое финансирование, Грег Брокман и Илья Суцкевер обсуждали так называемый countries plan.

Сначала речь шла о международной коалиции, которая могла бы совместно управлять рисками будущего общего ИИ. Но, как утверждают собеседники Руза, к концу 2017 года идея превратилась в схему привлечения денег: правительства США, Китая и России могли бы конкурировать за права на будущую технологию AGI или финансировать OpenAI в обмен на обещание доступа.

Дарио Амодеи, тогда один из ведущих исследователей OpenAI, выступил резко против. В декабрьском письме руководству он назвал происходящее «планом продать AGI правительствам, например России, Китаю и США» и предупреждал, что такой подход усилит гонку вооружений и ударит по моральной легитимности компании.

Важно не превращать публикацию в установленный корпоративный факт без оговорок. The Atlantic ссылается на пять человек, знакомых с планом, и на письмо Амодеи. OpenAI заявила, что кратко рассматривала международную кооперативную модель, но не обсуждала продажу AGI Китаю или России. «План стран» не был реализован: позднее компания получила крупные инвестиции Microsoft.

Амодеи ушёл не в 2017 году. Он оставался в OpenAI ещё несколько лет, руководил исследованиями, участвовал в работах над GPT-2 и GPT-3 и в 2020-м вместе с группой коллег покинул компанию. Затем появилась Anthropic. По версии Руза, спор вокруг countries plan был не единственной причиной ухода, а частью накопившегося недоверия к стратегии и руководству OpenAI.

На этом фоне отдельная история этой недели выглядит созвучно, но напрямую с событиями 2017 года не связана. OpenAI подтвердила увольнение трёх исследователей за нарушение правил обращения с чувствительной информацией. The Wall Street Journal назвал их Джасмин Ванг, Томеком Корбаком и Микитой Балесни и сообщил, что речь шла о передаче данных внешней организации по безопасности ИИ. Сама OpenAI не раскрыла, какие сведения были затронуты и кому они передавались.

Объединяет эти истории не «одна утечка», а постоянное напряжение вокруг того, кто должен иметь доступ к самым чувствительным знаниям об ИИ — правительства, внешние аудиторы, исследователи безопасности или только сама компания.

История 2017 года важна не потому, что OpenAI тогда что-то продала: этого не произошло. Она показывает, насколько рано внутри компании возник спор о том, кому вообще можно доверить доступ к технологии, которую сами разработчики считали потенциально стратегической.

Фото: редакция ИЗНАНКИ.