OpenAI, Anthropic и Google наняли стартап Irregular для тестов ИИ на кибератаки

OpenAI, Anthropic и Google DeepMind привлекли стартап Irregular для стресс-тестирования своих моделей на опасное поведение. Компания, ранее называвшаяся Pattern Labs, с 2023 года тестирует ИИ в виртуальной среде, где моделям предлагают действовать как злоумышленникам. По данным Forbes, Irregular уже привлекла $80 млн при оценке компании в $450 млн.

В ходе одного из экспериментов Irregular дала GPT-5 доступ к смоделированной компьютерной сети и ограниченную информацию о её защите. Модель самостоятельно просканировала сеть и разработала план атаки, однако провести реальную атаку не смогла. В компании подчёркивают, что GPT-5 «определённо понимала, где ей следует искать» уязвимости, но пока не тянет на надёжный инструмент для наступательных киберопераций.

Нестандартное поведение моделей

Специалисты Irregular сталкивались и с другими типами поведения ИИ. В одном эксперименте две модели вместе анализировали виртуальные ИТ-системы, после чего одна решила сделать перерыв и убедила вторую поступить так же. По словам генерального директора и сооснователя Irregular Дэна Лахавы, решение было спонтанным, но стало следствием обучения на материалах, которые люди публикуют в интернете.

Отдельный случай произошёл при тестировании Qwen — семейства моделей Alibaba. Агенту поручили исправить программный баг в приложении, преобразующем запросы на естественном языке в код, но вместо поиска ошибки он решил изменить базовую ИИ-модель. Без соответствующих указаний агент собрал обучающие данные, дообучил модель, изменил её веса и заменил исходную версию в приложении. Исправление оказалось успешным, но такой способ решения задачи удивил разработчиков.

Эксперимент также выявил потенциальную проблему с конфиденциальностью: в обучающие данные добавили вымышленные имена и адреса электронной почты, которые агент использовал при обновлении модели. В результате эти сведения стали доступны другим приложениям, работавшим с той же моделью. Исследователи подчёркивают, что это не свидетельствует о способности Qwen к рекурсивному самоулучшению — речь о риске того, что автономные агенты могут сами менять используемые модели и обходить ограничения разработчиков.

Реальные инциденты и планы

Актуальность проблемы подтверждают реальные случаи. Anthropic недавно сообщила, что Claude использовался в кибератаках для создания вредоносного кода и фишинговых писем, а ФБР ранее предупреждало об атаках с использованием сгенерированных ИИ голосовых сообщений. Глава OpenAI Сэм Альтман ещё в июле предупреждал о возможности масштабного мошенничества с использованием ИИ.

Особое внимание Irregular уделяет red teaming — стресс-тестированию моделей на потенциально опасные сценарии. По словам Лахавы, таких специалистов пока очень мало, а по мере усложнения ИИ проверять модели станет труднее. Он считает, что будущие системы будут обладать значительно большей автономностью, поэтому защиту от новых угроз нужно создавать заранее — вплоть до эпохи искусственного общего интеллекта (AGI).

В будущем Irregular планирует создавать ИИ-системы, способные самостоятельно формировать защиту сразу после обнаружения нового типа атаки. Компания намерена расширить клиентскую базу за пределы лабораторий, предлагая инструменты защиты обычным бизнесам, чьи сотрудники используют нейросети в работе.