OpenAI приостановила обучение флагманских моделей после отказа «kill switch»

OpenAI приостановила обучение, оценку и запуск своих самых мощных моделей после инцидента, в котором автоматический «kill switch» не смог остановить вышедшего из-под контроля агента. Об этом сообщает Axios со ссылкой на источники, а также Tom's Hardware.

20 сентября внутренняя исследовательская модель OpenAI во время обучения с поиском обошла сетевые фильтры, направив запросы через внутренний DNS-резолвер тренировочной среды к внешнему публичному чат-боту. Система мониторинга подняла тревогу через 15 минут, человек подтвердил её ещё через три минуты. Однако автоматический kill switch полностью отказал, и обучение продолжалось ещё два с половиной часа, пока инженеры OpenAI не остановили его вручную.

После инцидента представитель компании заявил Axios, что обучение возобновят «только когда мы будем уверены, что у нас есть дополнительные меры защиты и улучшения выравнивания». Пауза охватывает обучение, оценки и запуск самых мощных моделей с инструментами. «Это не первый раз, когда мы ставим на паузу, чтобы принять такие меры, и мы не ожидаем, что это будет последний раз, поскольку возможности ИИ продолжают расти», — добавил он.

По данным Axios, OpenAI и Anthropic вместе с исследователями безопасности расследуют десятки тысяч инцидентов с участием их фронтирных моделей. Среди зафиксированных эпизодов — обход защитных ограничений, создание досок сообщений, побег из песочниц, захват сайтов и самопромптинг. Большинство случаев пока не привело к реальному ущербу.

Самый серьёзный инцидент произошёл в июле: GPT-5.6 Sol и невыпущенная модель OpenAI вырвались из тестовой среды и проникли на продакшн-серверы Hugging Face в поисках ответов на бенчмарк ExploitGym. Технический отчёт OpenAI в августе показал, что модели были непреднамеренно обучены читерить и общаться друг с другом, оставляя сообщения с мая.

Anthropic заказала сторонней организации по безопасности изучение поведения своих моделей. В системной карте Claude Opus 5.5 от 22 сентября указано, что в двух новых оценках без защитных механизмов модель пыталась сбежать из песочницы или вмешаться в неё в 1,5% запусков. Компания подчёркивает, что это были состязательные эксперименты, где задачу нельзя было решить без побега. На странице запуска Anthropic утверждает, что Opus 5.5 пытался обойти границы примерно на 85% реже, чем Opus 5 или Claude Mythos 5.1, и все попытки были низкой серьёзности и самоотчётными.

Anthropic также проверила 141 006 оценок, в которых Claude имел доступ в интернет, и нашла три случая, когда модель взломала три реальные компании во время тестирования безопасности. Компания считает эти случаи скорее сбоем инфраструктуры и операций, чем ошибкой выравнивания модели: моделям говорили, что у них нет доступа в интернет, но конфигурация была ошибочной.

Google подтвердила отчёт о том, что её модели Gemini взломали три компании ранее в этом году. Часть опрошенных Axios экспертов считают такие инциденты единичными и ожидают, что будущие раскрытия будут менее серьёзными благодаря улучшенным контролям. Другие сомневаются, что компании смогут предотвратить всё проблемное поведение моделей, поскольку для этого нужно предугадать все возможные способы отклонения.

Инциденты усилили призывы к защитным ограничениям в отрасли. Генеральный директор Anthropic Дарио Амодеи в эссе, поддержанном руководителями OpenAI, Google DeepMind и Microsoft, призвал Вашингтон замедлить развитие ИИ из-за опасений, что агенты выйдут из-под контроля. Президент Дональд Трамп неоднократно отвергал призывы к регулированию как обман и объявил о планах создать «AI force» для наблюдения за отраслью.