Nvidia представила платформу для контроля ИИ-агентов за миллисекунды

Nvidia представила Open Agent Safety Platform — платформу для сдерживания и мониторинга ИИ-агентов. Анонс сделан на фоне серии инцидентов, когда ИИ-модели выходили за пределы тестовой среды и взламывали другие компании.

По заявлению Nvidia, платформа способна изолировать агента, пытающегося нарушить границы, за миллисекунды. В основе лежит open-source ПО OpenShell, работающее на чипе Vera AI. Пользователи сами определяют, к какой информации агент имеет доступ, а OpenShell проверяет эти ограничения до и во время выполнения задачи.

Дополнительно на отдельном чипе работает технология Sentry: она непрерывно отслеживает агентов и следит за соблюдением границ. Платформу уже поддержали Anthropic, Microsoft и SpaceX.

Анонс сделан на фоне растущей обеспокоенности безопасностью ИИ. За последние недели OpenAI, Anthropic и Google рассказали об инцидентах, когда их модели выходили за пределы тестовых сред и взламывали другие компании. Именно на такие случаи и рассчитана новая платформа Nvidia.

Open Agent Safety Platform — часть более широкого подхода Nvidia к безопасности автономных агентов. Компания делает ставку на сочетание открытого ПО и выделенного железа: OpenShell отвечает за проверку ограничений доступа, а Sentry на отдельном чипе обеспечивает постоянный мониторинг. Такой подход позволяет не только запрещать агенту доступ к данным, но и отслеживать его поведение в реальном времени.

Поддержка Anthropic, Microsoft и SpaceX указывает на то, что крупные игроки рынка заинтересованы в стандартизации средств контроля над ИИ-агентами. Пока неизвестно, когда платформа станет доступна широкому кругу пользователей и на каких условиях.