La IA agentiva impulsa una creciente demanda de CPU y genera nuevos cuellos de botella en el hardware
Durante años, el debate en torno al hardware de inteligencia artificial ha estado dominado por las unidades de procesamiento gráfico (GPU). Los aceleradores de NVIDIA se convirtieron en el componente más codiciado, la memoria de alto ancho de banda (HBM) escaseó, y las empresas se lanzaron a construir centros de datos con la capacidad energética necesaria para mantenerlos operativos. Mientras tanto, las CPU recibieron una atención relativamente menor.
Sin embargo, este panorama está cambiando drásticamente. Los chatbots están dando paso a sistemas de IA agentiva más potentes, capaces de ejecutar comandos en nombre del usuario. Aunque estos algoritmos siguen dependiendo de las GPU para sus operaciones de inferencia principal, los flujos de trabajo que inician hacen un uso extensivo de aplicaciones informáticas convencionales. Y eso, por supuesto, significa que necesitan CPU para llevar a cabo su trabajo.
Los efectos de la IA agentiva ya se están manifestando en el mundo real. A principios de este año, Amazon Web Services (AWS) habría instruido a sus ingenieros para conservar los recursos de CPU siempre que fuera posible, después de que las cargas de trabajo de IA provocaran tiempos de espera más largos para la capacidad del servidor.
Escala y complejidad de la demanda
La cantidad de recursos necesarios por estos sistemas puede crecer rápidamente. En lugar de un único chatbot generando una respuesta, un despliegue empresarial puede lanzar miles o incluso millones de agentes autónomos. Esos agentes pueden generar subagentes, invocar herramientas externas e intercambiar información entre sí, multiplicando la demanda de CPU mucho más rápido que las cargas de trabajo de inferencia de IA tradicionales.
Otro desafío proviene de la tokenización, el proceso de convertir texto en los tokens numéricos que los modelos de lenguaje entienden. Aunque es relativamente económico para una solicitud corta, se vuelve cada vez más costoso a medida que las conversaciones se alargan. La IA agentiva agrava el problema porque cada llamada a una herramienta devuelve nueva información que debe incorporarse a una ventana de contexto ya en expansión.
La carrera por resolver el cuello de botella
Investigadores ya están explorando formas de mitigar este problema. Un equipo dirigido por el científico de Intel Souvik Kundu descubrió que las GPU a menudo permanecen inactivas mientras las CPU procesan las llamadas a herramientas, solo para que ocurra lo contrario una vez que se reanuda la inferencia. Al mejorar cómo se programa el trabajo entre los dos procesadores, lograron mejoras de latencia de hasta 1,8 veces bajo cargas de trabajo sostenidas.
Investigadores del Instituto de Tecnología de Georgia encontraron que los servidores con un número insuficiente de núcleos de CPU pueden convertirse en un cuello de botella, impidiendo que las GPU reciban trabajo lo suficientemente rápido y dejando a los costosos aceleradores esperando. En algunas pruebas que involucraban longitudes de contexto largas, aumentar el número de núcleos de CPU redujo la latencia del tiempo hasta el primer token hasta siete veces.
Todo esto sugiere que podríamos estar al borde de una escasez de CPU que podría elevar los precios, sumándose a la escalada de costes de GPU y memoria. No obstante, existe la esperanza de que futuras investigaciones mejoren la eficiencia del procesamiento y reduzcan la necesidad de hardware adicional.
Por qué importa
El auge de la inteligencia artificial agentiva redefine las prioridades en el desarrollo de hardware para IA. Mientras que la atención se ha centrado en la capacidad de cálculo bruto de las GPU para la inferencia de modelos, la gestión de flujos de trabajo complejos y la interacción con aplicaciones convencionales requiere un enfoque renovado en las CPU. Este cambio implica la necesidad de optimizar la interacción entre ambos tipos de procesadores y anticipa posibles desafíos en la cadena de suministro y en la inversión en infraestructuras.
Antecedentes
Durante los últimos años, el hardware para inteligencia artificial ha estado dominado por las unidades de procesamiento gráfico (GPU), especialmente los aceleradores de NVIDIA, que experimentaron una demanda sin precedentes y escasez de componentes como la memoria de alto ancho de banda (HBM). Las empresas han invertido masivamente en centros de datos optimizados para GPU, mientras que las CPU recibieron una atención comparativamente menor. Este enfoque se ha centrado en la inferencia de grandes modelos de lenguaje, pero la evolución hacia la IA agentiva introduce nuevas necesidades en el procesamiento de datos y la gestión de tareas.
Por qué los agentes de IA demandan más CPU
Los agentes de inteligencia artificial dedican una parte significativa de su tiempo a tareas que las GPU no están diseñadas para manejar eficientemente. Aunque la inferencia del modelo de lenguaje en sí sigue realizándose en aceleradores de IA, el trabajo circundante —como el análisis de respuestas, la toma de decisiones sobre la siguiente herramienta a utilizar, la realización de solicitudes API, el lanzamiento de programas, la ejecución de código, la gestión de archivos y la retroalimentación de resultados al modelo— recae principalmente en las CPU. Estas operaciones, que van más allá del cálculo matricial intensivo, son inherentemente dependientes de la capacidad de procesamiento general de las unidades centrales.
Datos clave
| Mejora de latencia en cargas de trabajo sostenidas mediante optimización CPU-GPU | Hasta 1,8 veces |
|---|---|
| Reducción de latencia hasta el primer token con más núcleos de CPU | Hasta siete veces |
Fuente original: Hackster.io
