La IA transforma una webcam convencional en una cámara de profundidad

El proyecto Depth Multitool, desarrollado por Samuel Alexander y presentado en Hackster.io, aborda el elevado coste de las cámaras de profundidad, que tradicionalmente limita su uso en proyectos de aficionados y aplicaciones más amplias. La iniciativa propone una solución basada en software y hardware de bajo coste, empleando una webcam USB común y un modelo de inteligencia artificial ejecutándose en una placa Arduino VENTUNO Q.

El sistema utiliza la red neuronal Depth Anything V2 Small, que cuenta con 25 millones de parámetros, directamente en la NPU Qualcomm Dragonwing de la VENTUNO Q. Esta configuración permite realizar una estimación de profundidad monocular, donde el algoritmo analiza una única imagen de cámara convencional y predice la distancia relativa de cada píxel. El resultado es una capacidad de detección de profundidad equivalente, pero construida predominantemente a través de software, sin necesidad de cámaras estéreo, proyectores infrarrojos o sensores LiDAR.

El dispositivo opera a una velocidad de 20 fotogramas por segundo. Para lograr esta eficiencia, se configuró Depth Anything V2 Small con una resolución de entrada de 336×252 píxeles y se mantuvo la precisión de punto flotante completa, ya que las pruebas de Alexander indicaron que esta opción ofrecía un mejor equilibrio que la cuantificación a 8 bits, la cual introducía artefactos y aplanaba el campo cercano del modelo. La NPU gestiona la inferencia en aproximadamente 16 milisegundos, liberando los ocho núcleos de CPU de la VENTUNO Q para tareas como la captura de vídeo, la interfaz gráfica y la generación de audio. La captura, inferencia y renderizado se distribuyen en tres hilos para optimizar el procesamiento.

En cuanto al consumo energético, el sistema consume 11,8 vatios en su modo de potencia equilibrado a 20 FPS, lo que permite que la VENTUNO Q, una pantalla de 10 pulgadas y la webcam funcionen con una batería externa USB-C. Aunque es posible alcanzar los 30 FPS, esto elevaría el consumo a 15,2 vatios.

Depth Multitool ofrece cuatro herramientas interactivas a partir de la información de profundidad. El modo Heatmap fusiona la imagen de la webcam con un mapa de profundidad, donde los objetos cercanos son más brillantes y los distantes más oscuros. Slicer destaca objetos dentro de un rango de profundidad seleccionado, actuando como una "sección transversal" móvil. Flood simula un llenado progresivo de agua virtual desde el fondo de la escena, ocultando las áreas distantes. Finalmente, Sonar convierte la profundidad en sonido, generando clics de baja frecuencia para el lado izquierdo y alta para el derecho, con una cadencia que aumenta a medida que los objetos se acercan.