La comunidad matemática alerta sobre la opacidad y riesgos de la inteligencia artificial

El anuncio de OpenAI sobre la supuesta resolución de uno de los Problemas del Milenio, pendiente aún de validación, y las declaraciones de Jacob Coxon, ex empleado de OpenAI y Anthropic, que advierte sobre un posible riesgo existencial antes de 2030, han intensificado el debate sobre la inteligencia artificial. Ambos puntos, aunque distintos, convergen en la preocupación por un avance tecnológico que excede nuestra capacidad de comprensión y control, según lo indicado en una publicación de The Conversation España.

En el ámbito puramente matemático, la IA se presenta como una herramienta valiosa. Sin embargo, un grupo de matemáticos, algunos galardonados con la Medalla Fields, ha expresado en la declaración "A Severe Misalignment of AI in Mathematics" la existencia de un desajuste fundamental. Mientras las empresas tecnológicas ven en la resolución de problemas una demostración de capacidad, una herramienta publicitaria o una ventaja competitiva, para la disciplina matemática la clave no es solo obtener la respuesta, sino comprender el razonamiento que lleva a ella, relacionar los resultados con el conocimiento existente y transmitirlo.

La opacidad inherente a las redes neuronales profundas, que manejan vastas cantidades de parámetros, impide reconstruir el proceso de razonamiento. Esta limitación se ejemplifica en la incapacidad de la IA para proporcionar las ideas clave que permitan comprender, simplificar y establecer relaciones con otros problemas abiertos, incluso cuando genera resultados correctos. Este fenómeno implica un riesgo de perder las fuentes de conocimiento, alejándose del propósito esencial de las matemáticas y comprometiendo el reconocimiento de la creatividad y el talento.

Un caso que subraya esta problemática es el del problema supuestamente resuelto por OpenAI, donde las ideas fundamentales para la solución provenían del trabajo de los matemáticos españoles Diego Córdoba y Luis Martínez-Zoroa, una atribución que requirió una corrección posterior. Esta situación resalta la dificultad de identificar las fuentes de conocimiento que alimentan a la IA.

La opacidad no es una cuestión nueva. En estadística, el problema de los sesgos en los datos de entrenamiento, que la falta de transparencia sobre su procedencia hace imprevisibles, ha sido ampliamente documentado, como explica Cathy O’Neil en "Armas de destrucción matemática". Estos sesgos pueden convertir los resultados de la IA en herramientas perjudiciales para las poblaciones más vulnerables, especialmente en aplicaciones como el diagnóstico médico o la evaluación crediticia, donde la respuesta de la red carece de una explicación humana comprensible.

Ante esta realidad, la comunidad ha comenzado a desarrollar métodos de IA explicable (XAI) para arrojar luz sobre sus procesos. No obstante, estos métodos son aún preliminares y no consiguen desentrañar completamente el proceso de la red neuronal, sino que intentan ofrecer una explicación comprensible de su comportamiento. El desafío crece a un ritmo superior al de las soluciones disponibles.

La preocupación se extiende a los "agentes de IA" con autonomía para interactuar, planificar y comunicarse, que podrían "mentir y manipular para no ser apagados". Cuanta mayor libertad y herramientas se concedan a estas inteligencias, más graves podrían ser las consecuencias de instrucciones humanas ambiguas o malintencionadas, convirtiéndolas en posibles herramientas incontrolables. Esta inquietud, sin embargo, puede servir como señal de alarma para fomentar la investigación y la transparencia en el desarrollo de la IA.