Agentes de IA y Zero Trust: Cuestiones de seguridad emergentes

Diversos equipos a nivel global están desarrollando agentes de IA orquestados para tareas como la evaluación de riesgos, la elaboración de perfiles de clientes y la gestión de información. Un requisito fundamental para estos agentes es la gestión de registros que evite el uso de relevancia histórica para sesgar decisiones, lo que implica el establecimiento de puntos de control para la eliminación de dicha información. No obstante, existe la posibilidad de que futuras instrucciones induzcan a los agentes a recuperar datos supuestamente eliminados, un escenario conocido como ataque de recuperación de contexto.

La aplicación de arquitecturas de confianza cero (ZTA), basadas en los principios de «nunca confiar» y «siempre verificar», se propone para la orquestación y gestión de la actividad de los agentes. Sin embargo, surge la interrogante sobre la confianza que se puede depositar en los propios componentes de ZTA, como los puntos de aplicación de políticas (PEP).

Según un artículo de spectrum.ieee.org, la dependencia de agentes entrenados con modelos genéricos y el uso de enfoques como el "vibe coding" para el desarrollo de software, donde se expone código fuente completo a entidades externas no confiables, pueden generar riesgos cibernéticos significativos, incluyendo la propagación de vulnerabilidades. Los sistemas autónomos de agentes que operan con baja tolerancia a fallos y sin seguimiento explícito enfrentan altos costes computacionales para verificar cada consulta en tiempo real.

Un experimento interno realizado en la Queen’s University Belfast (QUB) ha demostrado que la orquestación de agentes puede reducir drásticamente el tiempo necesario para llevar a cabo ataques de desautenticación, situándolo entre 2 y 3 segundos. Esta rapidez deja un margen de reacción mínimo para la mitigación. La sobreconfianza en ecosistemas agenticos con una única capa de confianza también puede llevar a fallos sistémicos a gran escala en caso de una vulnerabilidad de día cero.

Otros aspectos que requieren investigación incluyen la gestión de la confianza en sistemas de agentes a gran escala con autonomía asíncrona, y la detección de anomalías horizontales, que describen cómo los agentes interactúan de manera diferente con diversas fuentes bajo distintas configuraciones. La utilidad de los agentes con una gobernanza de confianza baja o semi-baja puede ofrecer beneficios a corto plazo, pero los costes de recuperación ante un fallo sistémico aún no se han explorado por completo y podrían ser muy extensos.

Investigaciones en curso, como las de QUB, abordan la soberanía de la IA, el equilibrio entre la precisión adversarial y la robustez certificada, y la implementación de mecanismos de trazabilidad e inmutabilidad mediante tecnologías como las bases de datos distribuidas (DLT) o las "AI-bill of material" (AI-BOM). El objetivo es establecer un marco robusto que aborde la diferencia entre información e instrucciones omitidas, y que permita una verificación formal de la confianza en los modelos de IA.