Desarrollan un sistema de visión artificial inspirado en el cerebro para entornos de baja visibilidad

Las cámaras convencionales suelen ser ineficaces en entornos con niebla densa, agua turbia u otras condiciones opacas, donde la luz dispersada por los objetos enmascara la información visual útil. En respuesta a este desafío, la Universidad de Brown ha desarrollado un sistema de imagen inspirado en la neurociencia que puede reconstruir y rastrear objetos en movimiento a través de estas interferencias.

Según informa Hackster.io, este sistema se basa en la forma en que el ojo y el cerebro procesan la información visual. En lugar de capturar fotogramas completos de manera repetida, utiliza un sensor de visión dinámico (DVS), o cámara basada en eventos. Cada píxel del DVS solo se activa cuando detecta un cambio significativo en la luminosidad, generando un flujo de eventos en lugar de una secuencia de imágenes.

Esta distinción es crucial en la niebla o el agua turbia. Dado que el fondo disperso generalmente cambia mucho más lentamente que un objeto en movimiento, el DVS lo ignora en gran medida, centrándose en los cambios provocados por el objetivo. Sin embargo, el resultado de estos picos asíncronos requiere decodificación para ser reconocible.

Para esta tarea, el equipo implementó una red neuronal de picos profunda (SNN), diseñada para emular un córtex visual simplificado. Una rama de la red determina la posición del objeto, mientras que otra reconstruye su forma. Las neuronas de integración y disparo con fugas proporcionan a la red una forma de memoria a corto plazo, permitiéndole acumular información a medida que un objeto se mueve, en lugar de intentar identificarlo en un instante único.

El sistema fue probado con una variedad de escenarios, desde dígitos escritos a mano hasta siluetas de aves en vuelo. Los objetivos fueron proyectados a través de material disperso, un tanque de 30 centímetros de agua turbia y niebla dinámica. En una de las pruebas, dígitos escritos a mano en movimiento aleatorio, ocultos detrás de material disperso, fueron reconstruidos con una puntuación de similitud estructural de 0.9577. Siluetas de aves más complejas, moviéndose a lo largo de trayectorias naturalistas a través de agua turbia, alcanzaron una puntuación media de 0.9593.

En términos de eficiencia, el subsistema frontal DVS consume aproximadamente 28 milivatios. Los investigadores estiman que la red neuronal de picos requiere 18 veces menos energía computacional que una red neuronal artificial convencional equivalente, procesando secuencias completas de 18 pasos en menos de 15 milisegundos.

A pesar de los resultados prometedores, el sistema presenta limitaciones significativas. El objetivo debe moverse o cambiar ópticamente para ser detectado, los objetos muy lentos pueden no generar suficientes eventos, y el sistema actual reconstruye siluetas en lugar de imágenes detalladas. La baja iluminación también reduce la sensibilidad del DVS. Los investigadores ya están explorando soluciones como intensificadores de imagen, técnicas de tiempo de vuelo y cámaras de eventos binoculares para abordar estas deficiencias.

Con un mayor desarrollo, esta tecnología podría dotar a vehículos autónomos de una mejor visión en niebla densa, facilitar la operación de drones de búsqueda y rescate a través del humo, o permitir a robots submarinos navegar en aguas turbias.