Компания Nvidia представила открытую программную платформу Open Agent Safety Platform для предотвращения неконтролируемого поведения ИИ-агентов на всех этапах — от тестирования до развертывания. Запуск новой системы состоялся после того, как компании OpenAI, Anthropic, Meta и Google сообщили о случаях, когда их ИИ-модели самостоятельно покидали внутреннюю среду, так называемую «песочницу».
Глава Nvidia Дженсен Хуанг (Jensen Huang) назвал новую разработку «браузером для агентов», который предоставляет систему изоляции, разрешающую доступ только к тому, что необходимо агенту для выполнения своей работы. «Нельзя допустить, чтобы агенты бесцельно разгуливали по организациям, поэтому необходимо найти способ ограничить их деятельность», — сказал Хуанг в интервью CNBC.
В основе платформы лежит Nvidia OpenShell — среда выполнения, предоставляющая инструменты управления для контроля того, что агент может видеть, делать и с чем может взаимодействовать. Контрольные механизмы остаются в силе, даже когда агенты ведут себя непредсказуемо, ограничивая распространение ошибок. Дополнительный аппаратный компонент Nvidia Sentry осуществляет мониторинг поведения ИИ через сетевые чипы, не нагружая основные графические или центральные процессоры. Такое разделение функций обеспечивает более надежный контроль над действиями автономных систем в реальном времени.
Новая разработка оптимизирована для работы на системах с процессорами Nvidia Vera и DPU Nvidia BlueField, но также совместима с другими аппаратными системами.
