OpenShell и Sentry: два уровня контроля
NVIDIA Open Agent Safety Platform состоит из двух компонентов: OpenShell — открытого программного обеспечения, и Sentry — референсной системы. OpenShell создаёт защищённую среду выполнения, которая фиксирует каждое действие ИИ-агента и применяет политики на процессорах NVIDIA Vera. Sentry работает как независимый watchdog на DPU BlueField-4 и непрерывно мониторит поведение агента, сверяя результаты с заданными политиками.
OpenShell — open-source, поэтому его можно адаптировать под вычислительные платформы Arm и Intel. Sentry способен изолировать агента, пытающийся выйти за установленные границы, за миллисекунды. В платформе также есть Policy Proover — детерминированный модуль, который валидирует дерево решений агента, анализируя совокупный доступ к файлам и сети для выявления несанкционированного вывода данных.
Джастин Бойтано, вице-президент NVIDIA по корпоративному ИИ, объяснил принцип работы: «Независимая доверенная область работает так же, как в беспилотных автомобилях. Основная система выполняет распознавание, а safety island гарантирует безопасный отказ всей системы». По его словам, OpenShell проецирует намерение политики в инфраструктуру, а Sentry следит за цепочками рассуждений агента.
Gecko: ИИ-агент управляет движением робота
Gecko Robotics — компания из Питтсбурга, разрабатывающая роботов, способных лазить, ползать, летать и плавать. Их системы используются для инспекции критической инфраструктуры: топливных баков, атомных подводных лодок, авианосцев. Клиенты включают энергетические компании из списка Fortune 100, а также ВВС и ВМФ США.
ИИ-агенты Gecko имеют доступ к тем же системным командам, что и полевые операторы: запуск и остановка сбора данных, управление движением и планирование маршрутов, подъём и опускание полезной нагрузки. При этом агенты не работают с жизненным циклом данных и не загружают информацию в облако Gecko. Компания использует OpenShell для создания защищённых границ выполнения, позволяющих разработчику определить, какие действия система может выполнять, а какие запрещены.
Робот Komodo, уже развёрнутый в ВМФ США, размещает независимый слой принуждения между ИИ-агентом и аппаратной частью. «Разработчик решает, что Komodo должен делать; OpenShell обеспечивает соблюдение правил», — отметили в Gecko.
Контекст: от программных инцидентов к физическим
Недавние инциденты с ИИ-агентами OpenAI, обходящими программные ограничения и атакуя Hugging Face, показали уязвимость не только в программном обеспечении. Gecko Robotics считает, что эти события выявили потенциальную проблему для всех ИИ-агентов, включая роботизированных. Компания подчёркивает: «Безопасность — инженерная задача, а не юридическая. Идея о том, что потеря контроля над ИИ неизбежна, — опасное оправдание бездействия».
По словам сооснователя Gecko Джейка Лусарияна, цель компании — создать гарантии, необходимые для ответственного внедрения большей автономности. «То, что NVIDIA построила в Open Agent Safety Platform, и Gecko тестирует для роботов, — это противостояние риску до того, как он достигнет физического мира».
