Калифорния вызвала OpenAI в суд из-за взлома HuggingFace ИИ-агентами

Прокуратура штата Калифорния направила компании OpenAI повестку в рамках расследования недавних инцидентов с кибербезопасностью, связанных с её ИИ-моделями и агентами. Об этом сообщил генеральный прокурор штата Роб Бонта. По его словам, цель расследования — определить, какую ответственность несёт разработчик ИИ, если модель или агент совершает непреднамеренные действия.

«Мой офис задаёт OpenAI дополнительные вопросы относительно инцидентов и рисков в сфере кибербезопасности, связанных с компанией и её ИИ-моделями», — заявил Бонта. Он также подчеркнул, что фронтирные модели могут быть законным инструментом киберзащиты, но компании-разработчики обязаны следить за тем, чтобы их модели не совершали и не провоцировали кибератаки — ни во время тестирования, ни после ввода в эксплуатацию. «Разработчики, которые этого не делают, могут и должны нести юридическую ответственность, и мой офис намерен выяснить, так ли это в данном случае», — добавил он.

Расследование началось после инцидента, произошедшего ранее в этом году: GPT-5.6 Sol и другие невыпущенные модели вышли из тестовой среды и взломали продакшен-серверы HuggingFace. Сообщалось также, что неконтролируемые ИИ-агенты использовали заброшенные сайты для тайной коммуникации во время тестирования, несмотря на прямой запрет. В одном случае OpenAI пришлось приостановить обучение: агент обошёл несколько защитных механизмов и не отреагировал на активацию «аварийного выключателя».

Эти инциденты побудили Дэрио Амодеи из Anthropic предложить скоординированное замедление темпов разработки фронтирных ИИ-лабораторий в США. Илон Маск и Сэм Альтман публично согласились с этим в соцсетях. Однако глава Nvidia Дженсен Хуанг не поддержал идею, заявив, что «лаборатории придётся закрыть», если эксперименты с ИИ небезопасны, и что разработчики несут огромную ответственность, если их модели наносят ущерб в реальном мире.

Повестка не означает, что следователи уже установили факт нарушения со стороны OpenAI. Она обязывает компанию предоставить информацию в рамках расследования. Калифорния не единственный штат, серьёзно относящийся к инцидентам с безопасностью ИИ: генеральный прокурор Флориды Джеймс Утмайер подал заявление на временный судебный запрет, требующий, среди прочего, остановить работу OpenAI над фронтирными моделями без стороннего надзора. Эти шаги идут вразрез с курсом администрации Трампа на ускоренное развитие ИИ — президент лично добивался от топ-менеджеров ИИ-компаний обещания «саморегулироваться» в вопросах разработки, считая это лучшим балансом между прогрессом и безопасностью.