BotPsy: Asistente personal de IA optimizado para dispositivos

El Hugging Face Blog ha dado a conocer BotPsy, un asistente personal que integra un modelo de lenguaje agéntico optimizado para operar directamente en dispositivos. Este sistema se distingue por emplear un modelo de lenguaje que cuenta con menos de mil millones de parámetros, una característica que facilita su implementación y ejecución local en hardware diverso.

La capacidad de BotPsy para funcionar directamente en el dispositivo representa una evolución en el campo de los asistentes personales basados en inteligencia artificial. La ejecución ‘on-device’ ofrece ventajas significativas en términos de privacidad de los datos, al reducir la necesidad de enviar información a servidores externos para su procesamiento. Adicionalmente, este enfoque puede mejorar la latencia en las respuestas del asistente, ya que las operaciones se realizan sin depender de la conexión a la nube.

La denominación de ‘agéntico’ sugiere que BotPsy va más allá de un modelo de conversación pasivo, indicando la posible inclusión de capacidades que le permitan ejecutar tareas, tomar decisiones o interactuar de manera más autónoma dentro del entorno del usuario. La optimización en el tamaño de su modelo de lenguaje, con una cifra inferior a los mil millones de parámetros, es un factor clave para su viabilidad en hardware con recursos computacionales más limitados que los grandes centros de datos.