FLEX: un nuevo sistema para mejorar el aprendizaje robótico mediante lenguaje natural

Dar una instrucción a un robot es la parte sencilla; lograr que comprenda el significado subyacente presenta una mayor complejidad. Por ejemplo, al solicitar a un robot doméstico que traiga una taza de café, este podría ejecutar la tarea de forma literal, ignorando la proximidad a dispositivos electrónicos sensibles. El sistema FLEX, o Flexible Feature Editing Pipeline, está diseñado para simplificar la corrección de estos errores, permitiendo indicar al robot directamente qué hizo mal.

Desarrollado por un grupo de investigadores del MIT y la NYU, FLEX utiliza correcciones en lenguaje natural para ayudar al robot a discernir qué elementos del entorno son pertinentes para la tarea. Esta distinción es crucial, ya que las demostraciones pueden mostrar el comportamiento preferido, pero no necesariamente explican el "porqué". Así, si se enseña a un robot a mantener una taza de café alejada de un portátil, podría aprender a evitar ese objeto específico, sin comprender que la intención real es mantener cualquier líquido lejos de la electrónica en general.

FLEX opera mediante tres comandos clave: ADD, GENERALIZE y MASK. ADD permite introducir una característica que el robot no había considerado previamente. GENERALIZE expande una característica específica a un concepto más amplio, mientras que MASK elimina características que han dejado de ser relevantes. En el ejemplo del café, si el usuario dice "¡No derrames café en mi portátil!", FLEX puede primero ADD (añadir) el portátil como un objeto a evitar, y luego GENERALIZE (generalizar) esa característica para incluir otros dispositivos electrónicos como teléfonos o calculadoras. Si el robot estaba prestando atención a un objeto irrelevante, MASK puede eliminarlo de su consideración. Un modelo de lenguaje interpreta la corrección y actualiza la representación interna de la tarea del robot.

Según un informe de Hackster.io, el equipo evaluó FLEX en un entorno de navegación 2D y en tareas de manipulación simulada sobre una mesa utilizando un brazo robótico Franka de siete grados de libertad. Estas tareas incluían transportar café cerca de aparatos electrónicos, mover una vela encendida entre objetos inflamables y desplazar una bola de bolos alrededor de ítems frágiles.

En siete escenarios de navegación 2D, FLEX obtuvo la mayor recompensa normalizada en todos los casos. También demostró un buen desempeño con correcciones secuenciales, generalmente aprendiendo la recompensa deseada tras una o dos indicaciones y manteniendo ese rendimiento a medida que se acumulaban más correcciones. Métodos competitivos tendían a acumular características innecesarias, no generalizar conceptos previos o sobreajustarse a etapas individuales.

Para evaluar cómo el sistema manejaba la retroalimentación humana menos predecible, el equipo reclutó a doce participantes para que proporcionaran sus propias correcciones en lenguaje natural. Los participantes valoraron FLEX como el sistema superior en las cinco categorías medidas, incluyendo rendimiento de la tarea, comprensión de la intención, facilidad de uso y facilidad de colaboración. Aunque el estudio en bucle cerrado utilizó comportamiento robótico simulado por seguridad, las correcciones recopiladas se probaron por separado con demostraciones grabadas usando un robot Franka físico.

Los investigadores señalan que el enfoque actual de FLEX se centra en tareas relativamente estáticas que involucran objetos rígidos, y que las preferencias personales inusuales aún pueden dificultar el modelo de lenguaje. Sin embargo, la premisa fundamental de FLEX podría hacer que la enseñanza a los robots sea considerablemente más intuitiva, permitiendo correcciones directas en lugar de intentar anticipar cada posible error.