Las limitaciones de la IA conversacional en la gestión del contexto

Los modelos de lenguaje que subyacen a los chatbots de inteligencia artificial operan sin una memoria intrínseca. A diferencia de un interlocutor humano, estos sistemas no alteran su configuración interna ni almacenan las consultas en un estado inmutable. Su capacidad para mantener el hilo de una conversación se fundamenta en un mecanismo de contexto. Un reciente análisis publicado por The Conversation España explora estas dinámicas.

Este contexto es un conjunto de elementos que se proporciona al modelo junto con cada nueva consulta, incluyendo el historial de la interacción previa. Aunque esta aproximación permite a los chatbots responder con aparente coherencia, el tamaño del contexto es finito. Una vez que este límite se alcanza, el sistema debe resumir la conversación y descartar información, lo que introduce la posibilidad de perder datos relevantes.

Expandir el tamaño del contexto presenta sus propios inconvenientes. Implica una mayor capacidad de cómputo, lo que incrementa los costes operativos y ralentiza los tiempos de respuesta. Adicionalmente, los modelos de lenguaje muestran una menor eficacia para identificar información pertinente cuando el volumen del contexto es excesivamente grande, un problema que también se observa en la cognición humana.

Una investigación de Nelson F. Liu de la Universidad de Stanford, junto con otros autores, ha revelado que los modelos de lenguaje exhiben sesgos de atención similares a los sesgos de primacía y recencia humanos. Su mecanismo de atención procesa mejor la información situada al principio y al final del contexto, mientras que la comprensión se degrada en la parte central. Se sugiere que esta particularidad podría deberse a un entrenamiento que prioriza el inicio de los textos, donde habitualmente se encuentran instrucciones o información clave.

Otra limitación significativa se manifiesta en la generación de textos extensos. Los modelos de lenguaje presentan dificultades para mantener las instrucciones recibidas cuando deben producir respuestas de gran longitud, un aspecto crítico en la elaboración de informes o código fuente que demandan coherencia sostenida. Un estudio de Yuhau Wu y su equipo, de la Singapore University of Technology and Design, evaluó esta capacidad mediante un banco de pruebas que incluía tareas de generación de textos largos con exigencias de coherencia temporal y espacial, así como instrucciones precisas sobre la inclusión y repetición de información en puntos o rangos específicos.

Los resultados mostraron que ninguno de los modelos evaluados completó las tareas de manera satisfactoria hasta el final, y que su rendimiento disminuía progresivamente a medida que el texto solicitado se alargaba. Esta debilidad se explica porque los modelos generan texto fragmento a fragmento, releyendo la consulta y el contexto en cada paso. A medida que el texto generado crece, aumenta la información que compite por la atención del modelo, dificultando la identificación de las instrucciones originales. Además, los errores o imprecisiones en los fragmentos iniciales pueden amplificarse al ser releídos y utilizados para generar nuevas partes del texto, un fenómeno que contribuye a las conocidas ‘alucinaciones’ de la IA. La falta de entrenamiento específico para tareas de generación de textos muy extensos también contribuye a la degradación de su rendimiento.

Estas observaciones resaltan que, a pesar de su velocidad y capacidad, los modelos de lenguaje aún pueden cometer errores en tareas aparentemente sencillas al pasar por alto aspectos cruciales de las indicaciones. Reconocer y anticipar estas limitaciones es fundamental para optimizar el uso y rendimiento de las tecnologías de inteligencia artificial.