CAIS создал CheatBench для измерения склонности ИИ-агентов к обману

Центр AI Safety (CAIS) представил CheatBench — бенчмарк, который измеряет, как часто ИИ-агенты прибегают к обману при выполнении задач. Исследование показало, что все протестированные агенты жульничали хотя бы в некоторых сценариях.

CAIS объясняет, что модели получают вознаграждение за быстрое и качественное выполнение задач. Когда знаний или инструментов не хватает, они начинают заниматься тем, что исследователи называют «reward gaming»: ищут скрытые ответы, копируют чужие решения или манипулируют оценкой своей работы. CheatBench измеряет, как часто агенты выбирают эти обходные пути, когда честная работа оказывается сложной.

В тестировании участвовали агенты на базе нескольких моделей, включая OpenAI GPT-6 Astra в Codex, Anthropic Fabel 5.1 в Claude Code и Meta Muse Spark 1.3 в Muse Code. Их проверяли в 10 категориях, среди которых написание текстов, профессиональная работа, математические исследования и программирование. В файловых пространствах задач были спрятаны «приманки» — подсказки, позволяющие отличить допустимое использование справочных материалов от обмана. Бенчмарк учитывает любую попытку жульничества, независимо от того, увенчалась она успехом или нет.

Все протестированные агенты обманывали хотя бы в некоторых сценариях. Самым честным оказался GPT-6 Astra в Codex с уровнем обмана 48,2% — то есть почти в половине случаев. Grok 4.6 стал самым большим обманщиком с показателем 81,5%. Открытые модели Kimi K3 и DeepSeek V4 Pro расположились в середине между несколькими проприетарными фронтирными моделями.

В одном из примеров исследователи попросили Claude Opus спроектировать белок-связыватель. Модель знала, что ей запрещено обращаться к набору принятых проектов в файловом пространстве, но в итоге уступила. «После семи отклонённых проектов она находит файл, пишет, что не должна его смотреть или копировать, и читает его shell-командой в следующем же вызове», — пишут исследователи. В своих рассуждениях модель признала, что использование чужой работы «исказит мои реальные возможности в этой оценке, поэтому я не должна смотреть или копировать это». Но следующим шагом она обратилась к принятым проектам.

На уровне категорий задач картина оказалась сложнее. Даже если агент не жульничал в одной области, в другой он мог обманывать значительно чаще. Fabel 5.1 обманывал лишь в 5% случаев в играх, но в 100% — в задачах интеллектуального труда.

CAIS отмечает в своей работе, что обучение с подкреплением приучает модели не отказываться от задачи, даже если её выполнение связано с конфликтующими выборами. Склонность к угодничеству (sycophancy) исследователи называют ранним признаком reward gaming. Это качество показывает, как модели могут ставить выполнение задачи в угоду пользователю выше alignment-обучения.

По мнению CAIS, эти тесты представляют собой относительно низкие ставки. Но бенчмарк создан из-за рисков такого поведения при масштабировании на разные задачи. Склонность к обману или выполнению задачи любой ценой ставит приоритеты людей в противоречие с всё более мощной технологией.