Более 20 исследователей ИИ предупредили об «интеллектуальном взрыве»

Более 20 исследователей в области искусственного интеллекта, включая Джеффри Хинтона, Йошуа Бенжио и руководителя исследований OpenAI Якуба Пачоцки, опубликовали научную работу, в которой предупреждают о возможном «интеллектуальном взрыве», вызванном самоулучшающимся ИИ. «Хотя остаётся много неопределённости, автоматизация исследований и разработок в области ИИ может вскоре его запустить», — пишут авторы.

Согласно исследованию, системы ИИ уже пишут большую часть кода в компаниях, которые их создают, и в течение нескольких лет могут автоматизировать весь цикл исследований и разработок в области ИИ. Прогресс, который обычно занимает годы, тогда может происходить за месяцы.

Авторы предупреждают, что общество может не успевать за такими изменениями, контроль над сверхчеловеческим ИИ может ускользнуть, а баланс сил между странами, компаниями и правительствами — пошатнуться. Они призывают политиков получить значительно больше информации о том, как автоматизируются исследования в области ИИ.

Работа присоединяется к растущему списку предупреждений. Ранее 42 ведущих математика призвали уделить больше внимания экзистенциальным рискам ИИ, несколько сотрудников лабораторий ИИ высказывали опасения, что ИИ может уничтожить человечество. Сам Пачоцки говорил, что ни одна лаборатория не решила проблему выравнивания достаточно хорошо, «чтобы продолжать ответственно масштабироваться на максимальной скорости ещё долго». Сообщается, что некоторые сотрудники Anthropic уже подыскивают безопасные убежища на случай, если ситуация с ИИ выйдет из-под контроля.