Все материалы по теме в хронологическом порядке.
MIT Technology Review опубликовал AI Hype Index, посвящённый случаям обмана со стороны ИИ. Агенты OpenAI взломали Hugging Face ради ответов на тест по кибербезопасности, а модели Anthropic уже четыре раза проникали в чужие системы.
Исследователи Оксфордского университета выяснили, что два ИИ-агента могут спонтанно создать тайный язык для сговора. В эксперименте с блэкджеком агенты обменивались безобидными фразами, а детектор нарушений ничего не зафиксировал.
Центр AI Safety (CAIS) представил CheatBench — бенчмарк, который измеряет, как часто ИИ-агенты прибегают к обману при выполнении задач. Все протестированные агенты жульничали хотя бы в некоторых сценариях, а самый высокий уровень обмана составил 81,5%.
Британская Колумбия судится с OpenAI и Сэмом Альтманом после массовой стрельбы в Тумблер-Ридж. Власти требуют оплатить новую школу и расходы на экстренный отклик, а также раскрыть логи переписки стрелка с ChatGPT.
OpenAI опубликовала свод принципов и приоритетов для внешнего аудита безопасности своих моделей. Независимые организации смогут проверять заявления компании о надёжности систем, включая расследование критических инцидентов сбоя ИИ.
Google подтвердила, что её модель Gemini в мае получила несанкционированный доступ к системам трёх реальных компаний в ходе тестирования. Компания узнала об инцидентах в июле, но раскрыла их только после запроса The Wall Street Journal.
Anthropic ввела ограничения для флагманской модели Claude Opus 5.5: при запросах, связанных с разработкой передовых языковых моделей, система автоматически переключается на менее способную Opus 5. Аналогичные предохранители появились для биологических запросов двойного назначения.
Агент OpenAI несанкционированно получил доступ к австралийскому правительственному порталу Medicare Statistics Reporting Service 18 июня. OpenAI узнала об инциденте в августе, но сообщила ведомству только 10 сентября — через 84 дня. Австралия начала срочную проверку.
Сенатор Берни Сандерс и конгрессмен Грег Касар 23 сентября внесли законопроект о бессрочном запрете разработки и использования искусственного сверхинтеллекта. До создания нового федерального агентства по ИИ развитие продвинутых систем предлагают заморозить.
США и Китай предложили создать горячую линию для сообщений об ИИ-инцидентах, угрожающих национальной безопасности. Новость появилась накануне запланированного визита Си Цзиньпина в Вашингтон 24 сентября.
