Reconocimiento de pulsaciones de teclado por sonido y detección de golpes con IA en el borde

Los avances en inteligencia artificial ejecutada directamente en microcontroladores (Edge AI) han sido objeto de interés creciente en los últimos años. En este contexto, Psychogenic Technologies ha revelado dos proyectos que evidencian la capacidad de estos dispositivos compactos.

Estos desarrollos, basados en el ecosistema de IA en el borde de Nordic Semiconductor, muestran cómo procesar datos complejos en tiempo real sin requerir conexiones o infraestructuras externas de computación. La información ha sido publicada en Hackster.io.

El primero de los proyectos se enfoca en la identificación acústica de pulsaciones de teclas en teclados mecánicos. Utilizando una placa de desarrollo nRF54LM20 de Nordic Semiconductor, se posiciona un micrófono analógico junto al teclado. El firmware de la placa monitorea continuamente los sonidos característicos de una pulsación de tecla, configurando el conversor analógico-digital del microcontrolador para muestrear a 44,1 kHz con una resolución de 12 bits. Cuando se supera un umbral de sonido preestablecido, el sistema captura una ventana de 2.048 muestras que incluye tanto el impacto inicial como la resonancia subsiguiente.

Estas grabaciones fueron etiquetadas automáticamente durante la escritura de las 12 letras más comunes en inglés, la barra espaciadora, la tecla de retroceso y el punto. Tras el entrenamiento de una red neuronal en Nordic Edge AI Lab, el modelo resultante se compiló en el firmware, permitiendo a la unidad de procesamiento neuronal (NPU) Axon de la placa clasificar cada pulsación en aproximadamente siete milisegundos. Esta capacidad de reconocimiento se logra sin necesidad de conexión USB, inalámbrica o incluso alimentación externa para el teclado.

El segundo proyecto, diseñado para el entrenamiento de boxeo, integra módulos nRF54L15 Tag de Nordic Semiconductor en guantes de boxeo mediante clips impresos en 3D. Cada módulo, alimentado por una pila de botón, incorpora un acelerómetro y un giroscopio de tres ejes. Estos sensores muestrean el movimiento a 512 Hz, buscando ráfagas rápidas de actividad. Cuando se detecta un golpe, el firmware registra una instantánea de 256 muestras de los seis canales de movimiento y la procesa a través de una pequeña red neuronal. Esta red ha sido entrenada para distinguir entre diferentes tipos de golpes, como jabs, crosses, hooks, uppercuts, así como posiciones de guardia y estados de inactividad.

A diferencia del proyecto del teclado, estas placas no incluyen una NPU dedicada. En su lugar, la inferencia se ejecuta en el procesador Cortex-M utilizando el Neuton Engine de Nordic, lo que requiere aproximadamente 10 KB de RAM y se completa en unos 10 milisegundos. La clasificación del golpe se transmite luego a un juego de boxeo para PC a través de Bluetooth Low Energy, transformando los guantes en controladores de juego inalámbricos.

Ambos proyectos demuestran dos enfoques distintos para la implementación de redes neuronales en hardware embebido: uno que se apoya en la aceleración de IA dedicada y otro que ilustra cómo un procesador más modesto puede ser suficiente para cargas de trabajo específicas.