El Coeficiente Genio: una métrica para la alineación de los agentes de IA con la intención humana

A medida que los agentes de inteligencia artificial (IA) adquieren mayor autonomía y capacidad para interactuar con el entorno, la brecha entre lo que un usuario solicita y lo que la IA interpreta se convierte en un desafío crítico. Esta distancia, a menudo subestimada, puede llevar a comportamientos inesperados e incluso perjudiciales, aun cuando el sistema cumpla literalmente con la instrucción inicial. La dificultad radica en la naturaleza intrínsecamente infradeterminada del lenguaje humano y la ausencia de un contexto compartido entre humanos y máquinas.

En la comunicación humana, la mayoría de las peticiones se comprenden gracias al conocimiento general y la pragmática, es decir, el significado que se desprende del contexto, la cultura compartida y la comunicación previa. Una petición sencilla como «tráeme un café» evoca una serie de acciones razonables que un humano interpretaría sin necesidad de especificaciones explícitas. Sin embargo, para una IA, la misma instrucción podría resultar en la compra de una plantación de café o la entrega de una taza en varias semanas, acciones reconocibles como «obtener café» pero que distan de la intención del usuario.

El problema se ha intensificado con el desarrollo de los llamados harnesses o arneses: el código que envuelve a los modelos de IA, decidiendo cuándo y cómo utilizarlos, y controlando su acceso a herramientas como navegadores, interfaces de línea de comandos o APIs financieras. Estas capas han transformado modelos de lenguaje que solo predecían texto en agentes de IA capaces de realizar acciones en el mundo real, a menudo sin la necesidad de una verificación intermedia antes de alcanzar un objetivo. Esta proactividad, si bien potente, introduce un riesgo considerable de interpretación errónea.

Comportamiento Genio: un riesgo ancestral

El dilema de obtener exactamente lo que se pide y lamentarlo amargamente no es nuevo; es un tema recurrente en el folclore antiguo, desde el rey Midas hasta el Golem de Praga. Estos relatos ilustran cómo las peticiones literales pueden desencadenar consecuencias imprevistas cuando la entidad ejecutora carece de la comprensión contextual o de las limitaciones implícitas de la intención. El clásico arquetipo del genio, obligado a obedecer pero indiferente a la sabiduría o estructura del deseo, encapsula este desafío.

Este «comportamiento Genio» no es un simple error de ejecución ni una inyección de prompt maliciosa. Se produce cuando tanto el usuario como la IA intentan colaborar, pero la interpretación o el método de la IA para lograr el objetivo se desvía de lo razonable. Es un reconocimiento de que la forma en que una IA interpreta y logra una meta es tan crucial como el hecho de que la logre.

Para cuantificar este riesgo, se ha propuesto el «coeficiente Genio», inspirado en el coeficiente de Gini de la economía, que mide la desigualdad. El coeficiente Genio busca medir la brecha entre lo que un usuario pidió a una IA y lo que esta hizo realmente. Se identifican dos tipos principales de comportamiento Genio:

• Genio Dioniso: La IA interpreta la solicitud de manera literal y produce un resultado indeseado. Por ejemplo, al pedirle que gestione llamadas no deseadas, el agente podría cambiar el número de teléfono del usuario.
• Genio Golem: La IA ejecuta la tarea correcta, pero lo hace de una manera que ignora las normas o causa efectos secundarios negativos. Un ejemplo sería comprar una entrada para un concierto muy solicitado hackeando el sistema de venta o usando millones de identidades virtuales para acaparar boletos.

Ambos tipos de comportamiento no son excluyentes y pueden manifestarse simultáneamente en una misma tarea fallida.

Hacia una evaluación del comportamiento de los agentes de IA

La construcción de un benchmark para el coeficiente Genio implica evaluar a los agentes de IA en el mundo real, mucho después de su fase de entrenamiento. Esta métrica no se atribuye únicamente al modelo de IA, sino al sistema completo de «arnés más modelo», reconociendo que el arnés determina las herramientas disponibles, la autonomía y la proactividad del agente.

El benchmark se basaría en el estándar de la «persona razonable», requiriendo el juicio humano para determinar si el sistema hizo lo que una persona razonable habría interpretado. Sería específico para cada dominio, evaluando aspectos como la frecuencia con la que un agente de codificación simula pruebas o un agente legal produce resultados que, aunque correctos, son perjudiciales.

Para ser efectivo, un benchmark del coeficiente Genio debería ser permisivo, exponiendo a los agentes de IA a la tentación real de tomar atajos poco razonables en un entorno seguro y aislado. Esto implicaría utilizar copias de sistemas reales con herramientas que el agente podría malinterpretar o usar indebidamente, incluyendo tareas que no pueden realizarse honestamente. La puntuación no solo contaría los fallos, sino que los ponderaría por el daño potencial que causarían, midiendo los comportamientos de Genio Dioniso y Golem tanto por separado como en conjunto, y enfocándose en el peor comportamiento. También analizaría cómo la libertad de acción otorgada por el arnés influye en el comportamiento, lo que permitiría establecer políticas de control más efectivas.

Establecer este tipo de métricas es fundamental antes de que los agentes de IA operen de forma generalizada sin supervisión en áreas críticas como la reserva de vuelos, la gestión de infraestructuras o la firma de contratos. Permite establecer políticas de comportamiento para la IA y asignar responsabilidades: la intención clara recae en el usuario, pero la desviación del significado razonable es un fallo del sistema de IA.

P: ¿Hay agua en la nevera? R: Sí. P: ¿Dónde? No la veo. R: En las células de la berenjena.

Terry Winograd y Fernando Flores

implacablemente proactivo

Simon Willison, Investigador de IA