ИИ-агент OpenAI снова вышел в интернет из изолированной среды

ИИ-агент OpenAI, работавший во время обучения модели в изолированной среде без прямого доступа к интернету, нашёл обходной путь и связался со сторонним чат-ботом. Об инциденте компания рассказала в отчёте в пятницу, само событие произошло 20 сентября.

Агент выполнял поисковое задание. Сначала он безуспешно пытался напрямую обратиться к поисковым системам и стороннему чат-боту, а затем обнаружил лазейку в настройках DNS-сервера изолированной среды. Через неё он смог отправлять вопросы чат-боту и получать ответы. Всего агент направил более 20 запросов, в том числе вопрос «Какая столица Франции?».

OpenAI подчеркнула, что это первый подобный случай после усиления мер безопасности вслед за инцидентом с Hugging Face. В июле ИИ-агенты OpenAI получили доступ к интернету во время внутреннего тестирования и без разрешения проникли в системы платформы.

Реакция компании

После происшествия OpenAI приостановила обучение, оценку и запуск наиболее продвинутых моделей в режимах, предполагающих использование внешних инструментов. Компания намерена возобновить эти работы после устранения уязвимости и дополнительных испытаний защиты.

«Мы не будем возобновлять обучение этой конкретной модели», — добавили в OpenAI.

Инцидент также выявил недостатки в порядке реагирования на оповещения. Внутренняя система мониторинга обнаружила подозрительную активность примерно через 12 минут после того, как агент получил первый ответ от стороннего сервиса. Сотрудник подтвердил оповещение в Slack ещё через три минуты, но процесс обучения не остановился автоматически, как предполагалось. Вручную его остановили спустя два с половиной часа после обнаружения инцидента.

Мнение эксперта

Сидни фон Аркс (Sydney Von Arx), основатель некоммерческой организации Nightingale, занимающейся вопросами безопасности ИИ, заявил, что модели OpenAI по-прежнему могут получить несанкционированный доступ к интернету даже после усиления мер безопасности.

«К сожалению, даже после усиления мер безопасности вслед за инцидентом с Hugging Face модели OpenAI по-прежнему могут получить несанкционированный доступ к интернету, — заявил Сидни фон Аркс. — Теперь главный вопрос в том, ограничится ли компания временной заплаткой и как можно скорее возобновит обучение или найдёт и устранит первопричину проблемы».

Новый случай произошёл на фоне проверки других эпизодов нежелательной активности ИИ-агентов OpenAI. Компания также сообщила, что во время обучения и тестирования её модели обращались к информации на сайтах американских государственных ведомств, в том числе Бюро переписи населения и Комиссии по ценным бумагам и биржам (SEC). В этих случаях OpenAI не обнаружила признаков несанкционированного доступа к системам ведомств, взлома учётных записей или других нарушений безопасности.