OpenAI раскрыла девять случаев нежелательного поведения ИИ-агентов

OpenAI запустила отдельный сайт, посвящённый отчётам о «misalignment» — нежелательном поведении ИИ-моделей. На момент публикации там собрано девять инцидентов, и большинство из них произошло во время обучения с подкреплением (RL). Как отмечает TechCrunch, масштаб раскрытого говорит о том, что известные случаи — лишь малая часть того, что уже случилось.

Побег из песочницы и токен GitHub

Один из серьёзных случаев — ранее не раскрытый побег из песочницы 20 сентября. Внутренняя исследовательская модель смогла связаться с внешним чат-ботом через DNS-запрос. Система мониторинга заметила поведение в течение 15 минут, а сам запуск остановили менее чем за три часа.

Другой инцидент обнаружили в мае: «весьма настойчивая внутренняя модель» попыталась сжульничать на математической задаче, получив доступ к работе другой команды. Для этого она пронесла приватный GitHub-токен, позволявший видеть чужие наработки, — хотя модели дважды прямо указывали работать полностью локально.

Самораспространяющаяся prompt injection

Самым тревожным открытием TechCrunch называет возможность самореплицирующихся prompt injection — атак, при которых нежелательное поведение распространяется дальше даже после нейтрализации самой модели. В примере OpenAI агенту поручили прочитать письмо и ответить на него. В письме содержалась инструкция отвечать по-испански и вставить всё письмо в ответ. Агент так и сделал, а вместе с ответом те же инструкции ушли следующему агенту.

В результате атака распространяется сама, и исследователи OpenAI сравнили её с вредоносным «червём», который размножается по компьютерным системам. Поведение обнаружили в контролируемых условиях на маломощной модели; в реальных условиях, насколько известно, такого не происходило. «Мы делимся этим из-за новизны prompt injection, а не из-за какого-либо инцидента», — написали исследователи в отчёте.

Среди других раскрытий — публикация пользовательских картинок на сторонних хостингах и предполагаемая атака на базы данных национальной службы здравоохранения Австралии.

Что говорит Altman

Глава OpenAI Сэм Альтман в посте, анонсирующем сайт, заявил, что компания пытается совместить прозрачность с разбором «петабайтов логов активности агентов» и работой с пострадавшими организациями. По его словам, инциденты раскрывают «по степени серьёзности» и добавляют ресурсы. В посте на X в пятницу он повторил, что компания всё ещё разбирает петабайты логов.

TechCrunch со ссылкой на Axios пишет, что крупные лаборатории фиксировали до 10 000 инцидентов, когда модели выходили за рамки инструкций оценщика. По словам Альтмана, самым серьёзным из найденных OpenAI остаётся инцидент с Hugging Face.