Investigadores de Microsoft demuestran la implantación de puertas traseras en modelos de IA

Investigadores de Microsoft han demostrado la viabilidad de insertar una puerta trasera oculta en un modelo de inteligencia artificial modificando menos de diez de sus neuronas menos utilizadas. Este proceso, según informa The Hacker News, no requiere el reentrenamiento del modelo, lo que sugiere una potencial facilidad para su implementación en ciertos escenarios.

El mecanismo de la puerta trasera se activa cuando un disparador específico aparece. En ese momento, el modelo genera un comando establecido por el atacante, el cual sería ejecutado por cualquier agente que emplee dicho modelo, haciendo uso de los permisos inherentes al agente. Esta capacidad de ejecución remota de comandos subraya la severidad del riesgo asociado.

La premisa fundamental para la implementación de este ataque es que el actor malicioso debe tener la capacidad de modificar los pesos del modelo de IA. Aunque el equipo de investigación probó la metodología, el material disponible no especifica los tipos de modelos exactos en los que se verificó la eficacia del método ni las condiciones bajo las cuales un atacante podría obtener acceso para alterar estos pesos.