США и Китай предложили горячую линию по ИИ-инцидентам

США и Китай предложили создать горячую линию для обмена сообщениями об ИИ-инцидентах. Об этом со ссылкой на Reuters сообщает Tom's Hardware. Цель — снизить риск того, что автономная ИИ-система выйдет из-под контроля, а её действия будут неверно истолкованы как атака и спровоцируют быструю эскалацию.

Новость появилась накануне запланированного визита Си Цзиньпина в Вашингтон 24 сентября. Министр финансов США Скотт Бессент подтвердил, что через два месяца стороны проведут дополнительные консультации по безопасности ИИ.

Что предлагается

По данным Tom's Hardware, после переговоров Скотта Бессента и вице-премьера КНР Хэ Лифэна в Нью-Йорке стороны предложили, чтобы Дональд Трамп и Си Цзиньпин обсудили механизмы безопасности ИИ, включая систему уведомлений, связанную с национальной безопасностью.

Система может включать предупреждения о выявленных «неконтролируемых ИИ-агентах» в любой точке мира, а также информирование партнёра, если автономная система совершила действие, которое можно принять за атаку.

Сценарий, которого хотят избежать обе стороны, — автономная система вооружения на базе ИИ, будь то кинетическое оружие или кибератаки, реагирующая на провокацию без участия человека. Это может вызвать ответ другой ИИ-системы и привести к быстрой эскалации до полномасштабного конфликта, где люди не успеют вмешаться.

Позиции сторон

Предлагаемая система могла бы помочь выработать совместные ответы как на угрозы, так и на общие цели. Это может стать основой для согласования темпов разработки ИИ — на фоне призывов американских ИИ-компаний замедлить развитие ради безопасности и согласованности моделей.

Китай относится к этому менее благосклонно, предполагая, что такой шаг может быть использован для торможения китайских разработок. Насколько Китай готов внедрять предложенную систему уведомлений, пока неясно, но аналитики и эксперты с обеих сторон призывали к созданию подобного механизма.

Обе страны согласились вернуться к обсуждению вопросов безопасности ИИ в ближайшие месяцы.

Что дальше

Обсуждения находятся на самой ранней стадии: есть лишь базовый набросок предложения о горячей линии, и многое предстоит обсудить по согласованию позиций двух крупнейших стран-разработчиков ИИ.

Следующий шаг — переговоры лидеров, где будет обсуждаться не только ИИ. Если отношения США и Китая выйдут за рамки соперничества, появится потенциал для более твёрдых договорённостей о конкретных аспектах интеграции ИИ в национальную безопасность и военные действия.

Часть аналитиков сомневается в прочных соглашениях из-за ограниченного доверия между сторонами. Но есть надежда на договорённости о прямом применении ИИ в вооружениях, базовых принципах безопасности ИИ и предотвращении атак на критическую инфраструктуру.

Надежда на успех встречи двухпартийная. Ведущий демократ в Палате представителей США Ро Ханна заявил, что первым делом Трамп и Си Цзиньпин должны выработать базовые принципы ИИ. В частности, запретить рекурсивно самоулучшающийся ИИ и исключить возможность применения таких автономных систем в биологическом и ядерном оружии.