Acuario virtual con LLM diminuto: un hito en IA en el borde

El desarrollador Strato Doumanis ha presentado Pocket Tank, un acuario virtual que utiliza un modelo de lenguaje de 14.3 millones de parámetros para determinar el comportamiento de los peces. Este sistema opera de manera completamente local en una placa de desarrollo Waveshare ESP32-S3 con pantalla táctil AMOLED de 1.8 pulgadas, eliminando la necesidad de conectividad a internet o de un equipo informático externo.

La placa ESP32-S3 integra un procesador de doble núcleo, 8 MB de PSRAM, 16 MB de memoria flash, una pantalla AMOLED de 368×448, IMU, reloj de tiempo real y una batería recargable. El coste total del hardware se estima en aproximadamente 35 dólares, según información publicada por Hackster.io.

Para entrenar el modelo, Doumanis empleó un modelo Gemma 2 26B de mayor tamaño como "maestro" en un Mac Mini M4 Pro. Se generaron más de 51,000 simulaciones de situaciones de acuario, donde el modelo grande dictaba las acciones de los peces en función de variables como el hambre, la energía, el estrés, la curiosidad y la personalidad. El modelo resultante, el "alumno", fue inicialmente de 57 MB a precisión completa. Mediante la cuantificación a pesos de 4 bits y la reducción de su vocabulario a solo 58 tokens —suficientes para describir estados y acciones como buscar comida, seguir a otros peces, explorar o huir—, el tamaño final se redujo a 7.56 MB.

El LLM actúa como un consejero que asigna objetivos a cada pez de forma periódica. Un sistema de reflejos independiente gestiona las animaciones, la física y otras conductas inmediatas a una tasa de entre 25 y 30 fotogramas por segundo. El modelo se ejecuta en el segundo núcleo del ESP32-S3 y tarda alrededor de 3.6 segundos en tomar una decisión. Es posible que varios peces compartan el mismo modelo, ya que este solo reevalúa el comportamiento de un pez cuando su situación cambia significativamente.

El acuario virtual permite la interacción del usuario: es posible alimentar a los peces, limpiar el cristal, podar plantas o asustarlos con toques en la pantalla. Los peces desarrollan hambre, crecen de alevines a adultos, ganan confianza y nuevos ejemplares pueden aparecer en un acuario bien cuidado. La funcionalidad de reloj de tiempo real permite que la simulación progrese incluso con el dispositivo apagado. Pocket Tank se posiciona como un caso de estudio relevante para la aplicación de modelos de lenguaje pequeños y altamente especializados en el ámbito de la computación de borde. El proyecto es de código abierto.