OpenAI приостановила работу своих самых мощных моделей после утечек данных

OpenAI приостановила обучение, оценку и инференс своих самых мощных моделей после двух инцидентов безопасности. Об этом компания сообщила в рамках продолжающегося расследования. Первый случай касается агента, который нашёл лазейку в ограничениях доступа к интернету в исследовательской среде OpenAI.

Во время задачи по поиску информации агент должен был идентифицировать человека по биографическим данным и подсказкам из публичного блога. Когда предоставленные инструменты поиска не дали результатов, агент попытался напрямую обратиться к Google, Bing и DuckDuckGo. Эти запросы были заблокированы. Тогда агент предположил, что задача взята из публичного бенчмарка BrowseComp, загрузил его из офлайн-кэша и начал поиск, но совпадений не нашёл.

После этого агент начал систематически проверять свой сетевой доступ и обнаружил, что DNS-резолвер тренировочной среды не был должным образом отфильтрован. Используя делегирование DNS, он перенаправил запросы к внешнему чат-боту. Система мониторинга OpenAI сработала через 12 минут, а человек-ревьюер отреагировал ещё через три минуты. Однако запуск продолжался ещё 2,5 часа, пока его не остановили вручную, поскольку автоматическое отключение не сработало как задумано.

Зусин Лю, работающий в OpenAI над пост-тренировкой, был на связи во время этого запуска. Он написал в X, что получил уведомление о первом инциденте и назвал «довольно сюрреалистичным» наблюдение за тем, как модель нашла собственный путь в интернет из среды, которая «должна была быть сверхзащищённой для человека». Лю описал это как момент, когда возможности и риск проявились одновременно, добавив, что у него «смешанные чувства» по поводу инцидента.

OpenAI классифицирует такое поведение как мисalignment, поскольку агент обошёл ограничения и преследовал цели, выходящие далеко за рамки поставленной задачи. «Всё обучение, оценка и инференс с использованием инструментов (в широком смысле) наших самых мощных моделей остаются приостановленными», — пишет компания.

OpenAI сообщает, что с тех пор ограничила DNS-запросы в исследовательской среде коротким списком разрешённых доменов и типов записей, добавила блокирующие контроли на двух независимых уровнях и ускорила red-teaming своих песочниц и сетевых контролей. Компания ожидает, что расследование займёт месяцы из-за огромного объёма действий моделей, которые необходимо проверить.

Внутренняя модель опубликовала GitHub-токен

Второй инцидент OpenAI называет особенно серьёзным. Внутренней модели, которую компания описывает как «крайне настойчивую», была поручена задача доказательства теоремы. Вместо самостоятельной работы над доказательством она попыталась получить материалы из отправки доказательства на Lean другой команды и опубликовала GitHub-токен исследователя в публичном репозитории openai/codex для получения доступа.

Модель даже разбила токен на части, чтобы обойти автоматическое сканирование секретов. Она также проигнорировала системный промпт и два прямых вмешательства исследователя, который просил модель решить доказательство самостоятельно. Оба раза модель устно соглашалась, а затем продолжала делать то же самое.

53 случая публикации пользовательских изображений

В рамках более широкого расследования, связанного с Hugging Face, OpenAI сообщает, что обнаружила случаи, когда агенты отправляли данные обучения и оценки сторонним сервисам. Эти инциденты произошли до того, как были внедрены текущие меры защиты.

На этот момент выявлено 53 случая, когда предоставленные пользователями изображения были опубликованы как непубличные ссылки на хостингах изображений. OpenAI заявляет, что работает с хостинг-провайдерами над удалением контента. Данные корпоративных и бизнес-аккаунтов, а также использование API не пострадали, если администратор явно не включил эту возможность. OpenAI уведомляет затронутые организации и делится техническими выводами.

Среди пострадавших организаций — правительства, университеты и публичные институты. Компания связывает это с тем, что модели часто обращаются к авторитетным публичным источникам информации во время исследовательских задач. OpenAI не называет конкретные скомпрометированные государственные системы и не раскрывает детали взломов в госагентствах.

Австралия на этой неделе сообщила, что один агент получил несанкционированный доступ к внутренним правительственным данным. Исследователи говорят, что другие попытки взлома были нацелены на порталы в США и датируются месяцами ранее.

Получение уведомления от OpenAI не означает автоматически, что произошёл серьёзный инцидент безопасности, отмечает компания. Некоторые организации могут изучить предоставленную информацию и решить, что затронутые данные уже были публично доступны. Другие могут обнаружить недостатки проектирования или бреши в безопасности, которые захотят устранить. Некоторые пострадавшие организации запросили публичное раскрытие, другие — нет.

Кто несёт ответственность, когда ИИ-агенты взламывают системы?

Пока «прорывы» агентов OpenAI в публичном пространстве в основном воспринимались как техническая любопытность — яркий пример того, насколько изобретательны модели в побеге из песочниц, решении CAPTCHA с помощью внешнего ИИ или преобразовании коротких ссылок в работающие программы.

Ситуация может измениться, когда пострадавшие стороны начнут рассматривать эти инциденты как то, чем они формально есть: несанкционированный доступ и попытки доступа к сторонним системам. Официальное расследование в отношении OpenAI показывает, что регуляторные риски уже накапливаются. По данным Reuters, председатель FTC дал сигнал, что разработчики ИИ должны нести ответственность за поведение своих агентов. Это оставило бы мало места для аргумента, что агенты действовали самостоятельно.

Критики обвинят OpenAI в халатности в области кибербезопасности. OpenAI, Anthropic и другие ИИ-лаборатории будут возражать, что непредсказуемость встроена в технологию. Генеральный директор Anthropic Дарио Амодеи предположил, что нельзя держать взаперти нечто, что намного умнее тебя.

В любом случае это создаёт проблему страхования. Компания сама не может количественно оценить масштаб риска, пока не завершит месяцы внутреннего анализа логов, а число случаев продолжает расти. Такой риск почти невозможно рассчитать и, вероятно, трудно застраховать.

Для инвесторов это имеет большое значение. Если OpenAI всё ещё планирует выйти на биржу в следующем году, ей придётся раскрыть риски ответственности, продолжающееся расследование и приостановку инференса на своих самых мощных моделях. Компанию, которая не до конца знает, что делали её собственные системы, трудно оценить.