NVIDIA presenta la plataforma Open Agent Safety para asegurar agentes de IA

A medida que los agentes de inteligencia artificial (IA) adquieren mayor capacidad para ejecutar tareas de manera independiente, surgen preocupaciones significativas en torno a la seguridad. La interacción con sistemas, la ejecución de código, el acceso a archivos y la capacidad de invocar APIs presentan riesgos que, según NVIDIA, demandan soluciones más allá del entrenamiento de los agentes para un comportamiento adecuado.

En respuesta a esta necesidad, NVIDIA ha desarrollado la Open Agent Safety Platform. Esta plataforma tiene como objetivo crear una capa de seguridad independiente alrededor de los agentes de IA, con capacidades de aplicación que se extienden hasta el nivel del hardware. Como se detalla en Hackster.io, la solución integra NVIDIA OpenShell y NVIDIA Sentry.

NVIDIA OpenShell es un entorno de ejecución de código abierto para agentes autónomos. Se encarga de la creación de sandboxes para los agentes y define qué acciones les están permitidas. Por otro lado, NVIDIA Sentry opera en las Unidades de Procesamiento de Datos (DPU) BlueField-4 de la compañía, proporcionando un sistema de monitorización y aplicación de políticas que permanece fuera del control directo del agente. Este diseño se adhiere a un principio de confianza cero: en lugar de asumir que el agente seguirá sus instrucciones, el sistema circundante limita activamente sus capacidades.

La plataforma ejecuta a los agentes en entornos aislados y utiliza políticas para especificar qué recursos (archivos, redes, procesos, herramientas y credenciales) pueden usar. Estas políticas se verifican antes de que el agente comience su trabajo y se refuerzan continuamente durante su ejecución. Este enfoque es crucial para agentes con periodos operativos prolongados, donde aumenta la probabilidad de "desviación", un fenómeno en el que las acciones del agente se apartan de su tarea o restricciones iniciales debido a instrucciones ambiguas, errores de software, acciones bloqueadas o búsquedas prolongadas de soluciones a problemas complejos.

La capa adicional de Sentry traslada parte de estas protecciones fuera del sistema anfitrión. Al ejecutarse en una DPU BlueField-4, Sentry puede observar la actividad del agente y aplicar políticas desde un hardware que el propio agente no puede alterar. NVIDIA DOCA enlaza esta capa de hardware con las políticas de OpenShell, correlacionando las interacciones del modelo, las decisiones de política y el acceso a herramientas y datos. El registro de actividad resultante puede emplearse para detectar comportamientos inusuales o para investigar qué hacía un agente antes de un incidente.

La arquitectura de NVIDIA también pone énfasis en la conexión entre un agente y su modelo de IA. Dado que el agente requiere un paso de inferencia para decidir su siguiente acción, el control de esta ruta ofrece tanto un punto de monitorización como un medio para detener al agente. En los sistemas Vera Rubin POD, BlueField-4 se sitúa directamente en esta ruta, permitiendo la aplicación de políticas de manera independiente del anfitrión.

La plataforma se estructura en capas de aplicación, ejecución e infraestructura. Las aplicaciones engloban los modelos, herramientas y datos necesarios para una tarea. OpenShell proporciona el entorno de ejecución responsable del aislamiento y la aplicación de políticas, mientras que el hardware subyacente ofrece la capacidad de computación, redes, acceso al almacenamiento y, opcionalmente, una monitorización independiente. Aunque está optimizado para CPUs Vera y DPUs BlueField, NVIDIA indica que Open Agent Safety Platform puede funcionar con otro hardware. OpenShell está disponible bajo la licencia Apache 2.0, lo que proporciona una base abierta para desarrolladores que experimentan con agentes autónomos sin requerir que los agentes actúen como sus propios guardianes de seguridad.