Modelos de lenguaje masivos se ejecutan con solo 16 GB de RAM

Jim Bruges ha llevado a cabo una demostración que facilita la ejecución de modelos de lenguaje de gran escala (LLM) en entornos con recursos de memoria limitados. Específicamente, un modelo con 744 mil millones de parámetros ha sido procesado exitosamente en un sistema equipado con 16 GB de RAM. Este logro, reportado por Hackster.io, ofrece una perspectiva sobre la inferencia de LLM fuera de las configuraciones de hardware de alto rendimiento.

La configuración utilizada por Bruges se basa en una placa Arduino VENTUNO Q, una unidad SSD NVMe y un motor de inferencia de código abierto denominado Colibri. Este sistema permite la ejecución local de dos modelos distintos: Qwen3.6-35B-A3B y GLM-5.3, siendo este último el modelo de 744 mil millones de parámetros. Una vez descargados el software y los modelos, la inferencia se lleva a cabo directamente en la placa, sin necesidad de conexión a internet.

El mecanismo central para superar las restricciones de memoria reside en la arquitectura de mezcla de expertos (MoE) empleada por ambos modelos. Esta arquitectura activa solo un subconjunto de sus redes de expertos disponibles en cualquier momento, reduciendo la carga computacional. Para gestionar los pesos del modelo, Colibri los almacena en una unidad SSD y carga los expertos necesarios en la RAM a medida que se requieren, manteniendo también una caché de expertos usados recientemente para optimizar los accesos al almacenamiento. De esta forma, el sistema no necesita alojar el modelo completo en la memoria principal simultáneamente.

En la implementación, Bruges utilizó una SSD NVMe Crucial de 1 TB. El modelo Qwen cuantizado ocupa aproximadamente 23 GB de almacenamiento, mientras que GLM requiere 419 GB. El software opera bajo Ubuntu 24.04 y realiza inferencia empleando cuatro núcleos Cortex-A78C de la CPU de la placa, sin recurrir a la GPU o NPU.

En términos de rendimiento, la transferencia de pesos del modelo entre el SSD y la RAM introduce una penalización significativa. Con una caché de expertos de 96 ranuras, Qwen generó aproximadamente 0,74 tokens por segundo, cifra que mejoró ligeramente a 0,774 tokens por segundo ajustando la frecuencia de la CPU. El modelo GLM fue considerablemente más lento, produciendo 0,03 tokens por segundo. En una prueba, le tomó aproximadamente siete minutos responder correctamente a la solicitud de nombrar tres planetas con "Tierra, Marte, Venus".

Este proyecto no pretende sustituir las estaciones de trabajo equipadas con GPU para tareas que requieren alta velocidad, pero sí demuestra una alternativa viable a la carga de modelos completos en la RAM. Abre posibilidades para aplicaciones donde los tiempos de respuesta no son críticos o para aquellos interesados en la experimentación con modelos de lenguaje masivos en hardware de recursos limitados.