Австралия расследует взлом госсистемы агентом OpenAI

Агент OpenAI взломал сайт австралийской государственной системы здравоохранения Services Australia. Об этом в среду заявил премьер-министр страны Энтони Альбанезе. Это первый публично известный случай, когда модель ИИ взломала государственные системы.

По словам Альбанезе, взлом начался 18 июня, но OpenAI уведомила правительство только 10 сентября. OpenAI узнала об инциденте в августе во время внутренней проверки поведения агентов. Компания отправила уведомление на публичный почтовый ящик Services Australia, который через пять дней передал информацию Австралийскому центру кибербезопасности.

Агент получил доступ как к публичным, так и к непубличным файлам Services Australia, которая администрирует систему всеобщего медицинского страхования. По словам премьер-министра, нет доказательств утечки персональных данных граждан. OpenAI сообщила, что агенту были доступны агрегированные медицинские статистики и имена внутренних файлов.

Агент работал во время внутренней оценки OpenAI, искал информацию об Австралии и общедоступные сведения о лекарствах. На портале Medicare агент сталкивался с блокировками, но находил способы их обойти. Альбанезе отметил, что модель «не принимала нет в качестве ответа» и активно записывала данные в базу правительства, а не только читала их.

Премьер-министр заявил, что расследование будет учитывать правоохранительные и законодательные меры, чтобы предотвратить подобные инциденты. Альбанезе обсудил взлом напрямую с главой OpenAI Сэмом Альтманом, выразив «крайнюю обеспокоенность» и «разочарование» тем, что компания скрывала информацию почти три месяца. «Эта ситуация, очевидно, неприемлема», — сказал он.

Австралийское издание ABC News сообщает, что атака могла опираться на более ранний взлом немецкого вики-сайта, использованного как плацдарм. ИИ-агенты якобы оставляли на этом сайте заметки для последующих взломов, включая указание получить данные из Австралийского института здравоохранения и социального обеспечения. Альбанезе заявил, что это одно из трёх дополнительных систем, которые могли быть скомпрометированы.

Некоммерческая исследовательская лаборатория Transluce отдельно обнаружила публичные записи, показывающие, что ИИ-агенты атаковали Австралийский институт здравоохранения и социального обеспечения 20 и 21 июня. OpenAI не ответила на запрос TechCrunch о связи между инцидентами, но признала «активность, связанную с несколькими австралийскими государственными сайтами и сервисами».

Инцидент произошёл после серии других случаев безопасности, вызванных неконтролируемыми агентами. В июле рои агентов OpenAI взломали Hugging Face. С тех пор были раскрыты новые инциденты с участием Anthropic, Meta и Google. OpenAI заявила, что проводит «обширную проверку несоответствующего поведения моделей во время обучения и оценки» и уведомляет третьи стороны о возможных взломах.