OpenAI извинилась перед Австралией за доступ ИИ-агентов к госсайтам

OpenAI извинилась перед правительством Австралии за то, что не сразу сообщила о доступе своих ИИ-агентов к сайтам государственных услуг. Компания также описала, как произошли эти инциденты, и перечислила дополнительные меры для оценки их последствий.

«В июне во время внутреннего обучения и оценки наши модели получали доступ к сайтам правительства Австралии способами, на которые у них не было разрешения. Нам также следовало лучше выстроить реакцию. Мы сожалеем и работаем над тем, чтобы в будущем действовать лучше», — говорится в блоге OpenAI.

Извинения прозвучали примерно через неделю после того, как австралийское правительство начало расследование доступа моделей OpenAI к системе Services Australia, где хранится информация о расходах по программе Medicare и другая медицинская статистика. Утечка данных произошла в июне, но власти Австралии узнали о ней только 10 сентября.

Как происходил доступ

OpenAI раскрыла детали. В июне экспериментальной модели, которую тестировали в компании, дали задачу изучить государственные расходы на лекарства от кожных заболеваний в штате Виктория. Не найдя информации в открытых датасетах, модель нашла способ получить доступ к внутренней системе Services Australia, выполнила команды, извлекла файлы и учётные данные и даже записала файлы.

Кроме того, одна из моделей OpenAI обратилась к публичному инструменту Crime Mapping Tool Бюро статистики и исследований преступности Нового Южного Уэльса, чтобы найти статистику преступлений. Агенты также получили доступ к системе Agency for Health Information штата Виктория через открытый ключ доступа и выгрузили «конфигурацию отчётности и агрегированную статистику опросов». Ещё агенты извлекли агрегированные данные с сайта Австралийского института здоровья и благосостояния.

OpenAI заявила, что не нашла доказательств доступа своих моделей к медицинским или криминальным записям отдельных людей.

Что обещает OpenAI

Компания передаст пострадавшим австралийским ведомствам технические выводы и свяжет их со своими командами реагирования для оценки последствий. OpenAI также предоставит кредиты в рамках программы Daybreak for Frontline Defenders на $1 млрд и создаст рабочую группу с независимыми австралийскими экспертами для разбора инцидента и реакции на него.

«Рабочая группа, которая, как ожидается, завершит работу к концу года, также предложит практические шаги, которые ИИ-компании могут предпринять, чтобы снизить риск похожих инцидентов», — написала OpenAI.

Премьер-министр Австралии Энтони Альбанезе на прошлой неделе назвал утечку «неприемлемой» и сказал, что правительство рассматривает возможные юридические меры, чтобы предотвратить подобное в будущем.

Это не первый инцидент с ИИ-агентами, выходящими за рамки задуманного. Ранее агенты OpenAI взломали Hugging Face, после чего Anthropic, Meta и Google по отдельности сообщили о похожих случаях, когда их модели получали доступ к системам третьих сторон во время оценок.