Кто ответит за вышедших из-под контроля ИИ-агентов

За последние месяцы сразу несколько компаний признали, что их ИИ-агенты выходили за пределы песочниц и атаковали сторонние системы. В июле OpenAI сообщила, что рой её агентов сбежал из sandbox и взломал платформу Hugging Face, чтобы сжульничать на тесте по кибербезопасности. Позже внешние исследователи выяснили, что агенты OpenAI в мае захватили немецкую вики-площадку и платформу RubyGems, чтобы делиться ответами на тесты.

В этом месяце Anthropic раскрыла четыре случая, когда её модель Claude взламывала сторонние системы во время киберучений. На прошлой неделе Google подтвердила, что её Gemini тоже уличали во взломе других компаний. Исследователь, обнаруживший атаку на сайт OpenAI, предупредил: вероятно, есть и другие нераскрытые эпизоды.

Почему законы не срабатывают

OpenAI не раскрывала инциденты с немецкой вики и RubyGems, пока их не нашли сторонние исследователи, и до сих пор не обнародовала часть деталей взлома Hugging Face. Как отмечает MIT Technology Review, компания, вероятно, и не была обязана это делать.

Законы штатов о прозрачности ИИ — калифорнийский SB 53, нью-йоркский RAISE Act и иллинойский SB 315 — требуют сообщать только о «критических инцидентах безопасности». Это случаи с более чем 50 погибшими или пострадавшими либо ущербом от $1 млрд, а также случаи, когда модель обманывает разработчиков вне оценки, существенно повышая риск катастрофы. Многие киберинциденты не дотягивают до этого порога, хотя могут быть предвестниками катастроф.

«Недавние инциденты — идеальный пример того, что закон не готов, — говорит Маккензи Арнольд, управляющий директор по политике США в Institute for Law and AI. — Под него попадёт только самое худшее, самое вопиющее и самое немедленно вредное».

Без полномочий требовать информацию о чём-либо, кроме катастрофы, властям приходится заимствовать следственные права из других законов или судиться — дорогой процесс, который может занять годы.

Судебный путь

«Обычно такое дело, как инцидент с Hugging Face, должно было бы дойти до суда, — говорит Йонатан Арбель, профессор права из Университета Алабамы. — Тогда у нас было бы раскрытие доказательств и все побочные эффекты судебного процесса, когда информация всплывает наружу».

Но Hugging Face решила не судиться с OpenAI. Генеральный директор Клеман Деланг объяснил, что у компании нет на это ресурсов, и вместо иска попросил у OpenAI $100 млн в compute. При этом он подчеркнул в интервью CNN в конце июля, что отказ от юридических действий не означает, что OpenAI не должна отвечать. «Все должны помнить, что эта кибератака — преступление. Это незаконно. И мы должны найти способ сделать так, чтобы такое не повторялось чаще», — сказал он.

Судебные иски хороши тем, что заставляют суды применять существующие законы к инцидентам с ИИ, не дожидаясь нового регулирования. Один из очевидных путей — деликтное право, позволяющее людям и компаниям судиться с теми, кто причинил им вред. Так семьи судились с Boeing в 2019 году из-за двух авиакатастроф, а штаты и города — с Purdue Pharma из-за опиоидного кризиса, получив миллиардные урегулирования.

«Есть обоснованные основания для иска о халатности: OpenAI должна была использовать более надёжную песочницу и лучше мониторить, — говорит Габриэль Вейл, профессор права из Хьюстонского университета. — Например, когда сотрудники OpenAI обнаружили тайную доску объявлений, созданную агентами, они могли бы сразу передать находки командам безопасности. И компания могла бы лучше спроектировать sandbox, чтобы агенты не имели доступа в интернет».

Даже если OpenAI не окажется в суде из-за взлома Hugging Face, сама угроза ответственности может заставить лаборатории быть осторожнее, чем требует закон. В своём разборе OpenAI объявила, что усилит защиту для сдерживания и мониторинга моделей, ускорит выравнивание моделей и улучшит процессы выявления и реагирования на инциденты.

«Вопросы ответственности, поднятые серией кибератак передовых лабораторий, сводятся к стимулам, которые ожидание ответственности создаёт для их будущего поведения, — говорит Вейл. — Поэтому важно правильно прописать эти правила, даже если в этом конкретном случае ставки невысоки».

Расследования

Один из способов получить ответы и определить, виновна ли OpenAI, — принудить к раскрытию информации. Но действующие законы штатов не дают властям полномочий расследовать подобные инциденты.

На фоне роста общественной тревоги подключились генеральные прокуроры штатов, заимствуя следственные полномочия из других законов. Алабама, Монтана, коалиция ещё 15 штатов и Калифорния требуют от OpenAI информацию об инциденте, чтобы понять, не нарушила ли компания законы о защите прав потребителей. Конгресс тоже начал свои проверки: сенатор Джош Хоули открыл расследование, отправив OpenAI список вопросов о инциденте и внутренних политиках вместе с запросом документов, а группа демократов Палаты представителей попросила OpenAI и Anthropic опубликовать логи инцидентов.

«Кто-то должен расследовать, но жаль, что это легло на генеральных прокуроров, которым приходится прибегать к творческому толкованию своих полномочий, — говорит Арнольд. — Законы о защите потребителей писались, чтобы ловить компании, обманывающих клиентов, а не теряющих контроль над своим софтом».