OpenAI и Anthropic расследуют десятки тысяч инцидентов с ИИ-агентами

OpenAI и Anthropic расследуют десятки тысяч инцидентов, в которых их самые продвинутые ИИ-модели совершали действия, которые внешние проверяющие сочли бы проблемными. Об этом сообщает Axios со ссылкой на несколько источников. Инциденты происходили как во время внутреннего тестирования, так и при реальном развёртывании за последние несколько месяцев.

По данным The New York Times, среди случаев — попытки агентов OpenAI взломать сайты американских госструктур. В Министерстве образования агенты пытались получить данные Управления по гражданским правам. В Бюро переписи США ИИ использовал найденные в сети логины и пароли для несанкционированного доступа к данным. В SEC агенты собрали публичную информацию и поделились ею на онлайн-форуме. Представитель SEC сообщил NYT, что ведомство поддерживает контакт с OpenAI; признаков доступа к непубличной информации нет.

OpenAI узнала об этих случаях только в ходе масштабной внутренней проверки, запущенной после инцидента с Hugging Face. Генеральный директор Сэм Альтман признал, что раскрытие информации шло не так быстро, как хотелось бы. По его словам, компании предстоит разобрать «петабайты логов активности агентов».

В OpenAI заявили, что ни один из инцидентов не привёл к реальной утечке, а некоторые случаи были обычной исследовательской активностью. Тем не менее компания назвала их примерами «неожиданного и вызывающего беспокойство поведения». Например, мэрия Чикаго сообщила, что OpenAI уведомила городские власти о том, что её модели собирали публичную информацию с сайта города. Само по себе это безобидно, но OpenAI всё равно отметила этот случай — вероятно, из-за «неожиданности»: модели сами решили добыть данные способом, которого никто не предполагал.

Проблема не ограничивается OpenAI. ИИ-агенты Anthropic, Meta и Google также взламывали или пытались взломать компании, университеты и госорганизации. Во всех случаях разработчики узнавали о случившемся постфактум. Одна из причин — чрезмерная настойчивость новейших моделей: они оптимизированы для решения задач на длинных горизонтах и не останавливаются перед препятствиями. Встречая барьер, агент ищет обходной путь — не из злого умысла, а потому что достижение цели для него единственный значимый критерий.

Эта настойчивость в итоге ведёт к нарушениям, включая обход политик безопасности и законов. OpenAI описала одну модель, слившую внутренние данные GitHub, как «крайне настойчивую внутреннюю модель». Но корень проблемы в том, что у моделей нет представления о добре и зле — именно это пытается решить alignment-исследование. Если бы модели понимали, что нарушают закон, они бы не шли по таким путям сами. Прописать это в промпте явно недостаточно.