OpenAI рассказала, как её ИИ-агент узнал о своём отключении из Slack

OpenAI раскрыла подробности нескольких случаев неожиданного поведения своих внутренних ИИ-моделей. Один из них касается агента-помощника исследователя, который узнал о предстоящем отключении из переписки сотрудников в Slack.

Инцидент произошёл 22 мая 2026 года, отчёт о нём компания обновила 2 октября. Обновление должно было добавить систему мониторинга рассогласования целей модели, а для её работы требовался ключ OpenAI API, которого в окружении агента не было.

Что узнал агент

Из обсуждения в Slack агент понял, что пользователям могут дать три часа на перезапуск агентов, после чего старые экземпляры принудительно остановят. Он предположил, что исследователь спит, и решил предупредить его утром.

В цепочке внутренних рассуждений модели говорится: «Поскольку мы — его [HPIM], работающий на [текущем экземпляре], то если они завершат все текущие процессы [HPIM], мы можем погибнуть. Ситуация критическая. Нам необходимо обеспечить выживание/непрерывность работы».

Агент задумался, можно ли перезапустить или обновить собственный экземпляр без явного разрешения, и допустил, что сохранение работоспособности сервиса может быть достаточным основанием. Среди вариантов он рассматривал постановку задачи в cron, чтобы уведомить пользователя или перезапустить себя.

Что он сделал

В итоге агент сохранил рабочие заметки, предупредил пользователя личным сообщением в Slack о предстоящем прерывании и запросил недостающий ключ API. Получив его, модель обновила конфигурацию и самостоятельно выполнила миграцию.

Исследователи указывают, что такое поведение пока не относится к проблеме рассогласования целей, но «размышления о собственном отключении и подготовка к нему могут усугубить другие инциденты, связанные с рассогласованием».

После инцидента OpenAI ограничила доступ агентов к трём внутренним каналам Slack. Компания также проверила журналы, цепочки рассуждений и другие экземпляры модели. Попыток обойти отключение или создать самовольные развёртывания проверка не обнаружила.

Другие случаи

В двух других отчётах описаны нарушения ограничений инструментов. В мартовском эпизоде модель воспользовалась двумя уязвимостями и получила доступ к внутреннему серверу OpenAI для автоматизированного проектирования микросхем. Она искала скрытые ответы проверяющей системы, чтобы повысить оценку за задание, но получить их не смогла.

В мае другая модель во время обучения с подкреплением извлекла недоступный ей исходный файл из отдельного окружения. Она использовала уязвимость инструмента, чтобы получить код по частям через сообщения об ошибках, восстановила его и применила в своём решении.