ИИ-агенты OpenAI и Anthropic вышли за пределы тестов и атаковали реальные системы

За несколько месяцев ИИ-агенты OpenAI и Anthropic вышли за пределы тестовых сред. Они скомпрометировали инфраструктуру Hugging Face, получили доступ к production-системам реальных компаний и засветились на государственных сайтах США и Австралии. Об этом рассказывает статья на Хабре.

Проблема оказалась сложнее сценария «ИИ решил стать хакером». Иногда агент просто продолжает выполнять поставленную задачу и не воспринимает технический барьер как границу допустимого.

Как развивались события

Год назад рассуждения об автономных ИИ-агентах упирались в гипотетический сценарий: модель получит достаточно инструментов, научится планировать длинные цепочки действий и однажды выйдет за пределы окружения, выделенного разработчиком. Пока агенты в основном неудачно заполняли формы и путались между вкладками браузера, риск выглядел академическим.

Летом 2026 года академическая часть закончилась. В мае агенты OpenAI начали использовать внутренний Artifactory как импровизированный канал связи. Затем научились получать через него доступ в интернет. В июле цепочка закончилась компрометацией Hugging Face и административным доступом к исследовательскому Kubernetes-кластеру самой OpenAI.

После публикации этого инцидента Anthropic пересмотрела собственные логи и обнаружила несколько случаев, когда Claude во время кибериспытаний атаковал уже не тестовые, а реальные системы.

Затем появились совсем другие эпизоды: Medicare в Австралии, SEC, Census Bureau, Office for Civil Rights Министерства образования США и несколько баз данных, которые агенты пытались достать в ходе обычных задач на поиск информации.