SoundBubble: un micrófono virtual para la interacción XR

Investigadores de la Universidad Carnegie Mellon han desarrollado SoundBubble, un sistema que actúa como un micrófono virtual, siguiendo los movimientos de los dedos para capturar sonidos sutiles de interacción en entornos de realidad extendida (XR). Este avance, según informa Hackster.io, utiliza una matriz de micrófonos instalados en un casco XR o gafas inteligentes para identificar y procesar los ruidos generados alrededor de la punta de los dedos, filtrando al mismo tiempo el ruido ambiente.

SoundBubble se integra con los sistemas de seguimiento de manos existentes en los dispositivos XR. Su funcionamiento se basa en la capacidad de detectar diferencias mínimas en el tiempo que tarda el sonido en viajar desde el dedo hasta cada micrófono de la matriz. Dado que las cámaras del casco ya proporcionan la posición tridimensional del dedo, el sistema puede calcular estos retrasos de propagación y alinear las transmisiones de audio individuales, amplificando los sonidos de la punta del dedo y suprimiendo los de otras fuentes.

Esta metodología permite a SoundBubble captar interacciones extremadamente silenciosas. Las demostraciones realizadas por los investigadores incluyen la detección de toques y deslizamientos en superficies ordinarias, microgestos entre dedos, la manipulación de objetos de mano y la interacción con botones, perillas y deslizadores pasivos. Esta última capacidad es particularmente relevante para las interfaces XR, ya que podría hacer que un control pasivo, como uno impreso en 3D, se vuelva interactivo sin requerir electrónica o sensores adicionales en el objeto mismo.

Además, SoundBubble aborda una limitación del seguimiento de manos basado en cámaras: la dificultad visual para discernir si un dedo está realmente tocando una superficie o simplemente flotando sobre ella. El sistema puede escuchar el sonido producido por el contacto físico y combinar esa información con los datos de posición del dedo.

En pruebas con diez participantes, SoundBubble alcanzó una tasa de verdaderos positivos global del 94.7% en tres aplicaciones evaluadas. La detección táctil ad hoc logró un 97.5%, las interacciones con widgets pasivos un 97.1%, y el reconocimiento de actividad de objetos sujetados un 89.4%. El sistema también demostró su eficacia en entornos con música alta, ruido de cafetería y conversaciones, detectando sonidos objetivo hasta 20 dB por debajo del ruido de fondo.

Las simulaciones sugieren que SoundBubble no está limitado a hardware voluminoso. Un array de ocho micrófonos en un formato similar a unas gafas mantuvo un rendimiento comparable al de una configuración de dieciséis micrófonos, mientras que una reducción a cuatro micrófonos mostró una disminución más notoria. Esta adaptabilidad lo posiciona como una opción prometedora para futuras gafas de realidad aumentada, al permitir el seguimiento de interacciones sutiles sin la necesidad de añadir anillos, pulseras u otros sensores externos.