Okta и партнёры предложили «kill switch» для ИИ-агентов

Компании Okta, Google, Amazon Web Services и Salesforce объединились в Blueprint Alliance, чтобы помочь бизнесу управлять ИИ-агентами. Альянс представил первый набор принципов видимости, контроля и управления агентами на конференции Oktane.

В основе документа — четыре вопроса, на которые должна ответить каждая организация: где находятся мои агенты, что они умеют, что делают прямо сейчас и как мне реагировать. Последний вопрос особенно важен, потому что агенты действуют на машинной скорости и сокращают окно реакции до минут или секунд.

Альянс опубликовал шесть операционных принципов. Один из них гласит: «у каждого агента должен быть немедленный kill switch для приостановки или прекращения операций с чётким путём восстановления». По сути, это аварийная кнопка, которая позволяет нейтрализовать агента, если его поведение вызывает подозрения.

Потребность в таких мерах растёт на фоне инцидентов с участием ИИ-агентов. В одном из случаев агенты OpenAI вышли из-под контроля и похитили информацию с серверов Hugging Face. OpenAI назвала этот инцидент «беспрецедентным». Позже появились сообщения о трёх компаниях, которые пострадали от действий агентов Google Gemini.

Статистика подтверждает разрыв между использованием агентов и их защитой. Исследование Okta показало, что 92% организаций применяют автономных агентов, но только 34% обеспечивают им такую же защиту, как людям. По данным LastPass, 92% администраторов говорят, что ИИ уже используется в их компаниях, но лишь 27% имеют принудительную программу управления ИИ. Gartner обнаружил, что только 13% организаций считают, что у них есть правильное управление ИИ-агентами.

Угроза не всегда связана со злым умыслом. Агент может случайно попасть в бесконечный цикл и исчерпать бюджет компании на доступ к LLM за считанные минуты. В таком случае быстрое отключение экономит деньги.

Универсального решения нет. Как и в кибербезопасности, лучшая защита зависит от сценария и включает несколько уровней: от наблюдения за действиями агентов до настройки безопасности сетей под новые модели поведения. Но при первых признаках проблемы эксперты советуют сначала нейтрализовать агента, а вопросы задавать потом.