Andrew Ng propone un cambio de paradigma en IA: del código a la calidad del dato

Andrew Ng, con una trayectoria que incluye la cofundación de Google Brain y la dirección de IA en Baidu, así como el impulso pionero de las GPU en el entrenamiento de modelos de aprendizaje profundo, ha señalado lo que considera la próxima gran transformación en el campo de la inteligencia artificial: el movimiento de la IA centrada en datos.

Este nuevo paradigma se define como la disciplina de diseñar sistemáticamente los datos necesarios para construir sistemas de IA exitosos. Mientras que la última década estuvo marcada por el foco en la mejora de los algoritmos y arquitecturas de redes neuronales, Ng argumenta que, para muchas aplicaciones prácticas, la arquitectura del modelo ya es un problema en gran medida resuelto. La atención debe, por tanto, virar hacia cómo mejorar la calidad de los datos.

De los datos masivos a los datos de calidad

Uno de los pilares de la IA centrada en datos es la capacidad de generar soluciones efectivas incluso con conjuntos de datos pequeños, siempre y cuando estos sean de alta calidad. Ng destaca que, si bien se suele hablar de sistemas de visión entrenados con millones de imágenes –él mismo construyó un sistema de reconocimiento facial con 350 millones de imágenes–, la realidad en muchas industrias es la escasez de macroconjuntos de datos. En estos escenarios, tener cincuenta ejemplos «realmente buenos» y cuidadosamente seleccionados puede ser suficiente para entrenar un sistema valioso, como uno de inspección de defectos.

La clave reside en herramientas y metodologías que permitan a los desarrolladores identificar y corregir inconsistencias en el etiquetado, así como dirigir la recolección de datos de manera más eficiente hacia aquellas clases donde se necesita más información. El objetivo es pasar de una aproximación de “más datos para todo” a una de “datos adecuados para cada problema”, optimizando así recursos y mejorando el rendimiento.

Impacto en la eficiencia y la equidad

La ingeniería de datos no solo busca la eficiencia, sino que también ofrece un camino para abordar uno de los desafíos más críticos de la IA: el sesgo. Al curar los datos de manera más rigurosa antes del entrenamiento, se pueden mitigar los sesgos inherentes que, de otro modo, se propagarían al sistema final. Este enfoque complementa otras iniciativas como el uso de “Datasheets for Datasets” para documentar y comprender mejor las características de los conjuntos de datos.

Otro aspecto relevante de la IA centrada en datos es el uso de datos sintéticos. Ng lo considera una herramienta valiosa, especialmente para abordar problemas específicos de forma muy dirigida. Por ejemplo, en la detección de defectos en la carcasa de un teléfono, si el modelo falla en detectar marcas de picaduras, se pueden generar más datos sintéticos específicamente para esa categoría, mejorando la precisión del modelo en ese punto concreto.

Empoderar al usuario final

El despliegue de soluciones de IA en entornos industriales y sanitarios a menudo se enfrenta a la variabilidad y la necesidad de personalización. En este contexto, la estrategia de Landing AI, la empresa de Ng, es un ejemplo de la filosofía de la IA centrada en datos. En lugar de esperar que los ingenieros de IA creen arquitecturas de red neuronal desde cero para cada caso, la plataforma LandingLens empodera a los fabricantes para que utilicen sus propias herramientas de ingeniería de datos y conocimientos de dominio. Esto les permite seleccionar y etiquetar conjuntos de imágenes consistentes, y adaptar sus modelos incluso ante cambios en las condiciones de producción o “deriva de datos” (data drift).

Esta capacidad de auto-adaptación local es fundamental para que la IA escale más allá de los grandes laboratorios y se integre eficazmente en operaciones críticas, donde la rapidez en la respuesta ante nuevos escenarios es crucial, como una fábrica que necesita ajustar un modelo a las tres de la mañana. Ng ve esta necesidad de empoderar a los clientes en la ingeniería de datos como un problema generalizado en la IA, aplicable también a sectores como la salud, donde cada hospital podría entrenar modelos personalizados sin necesidad de reinventar arquitecturas complejas.

El futuro de los modelos fundacionales

Aunque el foco esté en los datos, Ng sigue siendo optimista sobre el avance de los grandes modelos fundacionales, especialmente en el procesamiento del lenguaje natural (NLP) y su potencial para la visión artificial. Reconoce que la construcción de modelos fundacionales para vídeo presenta desafíos significativos debido a la potencia de cómputo requerida para procesar grandes volúmenes de datos. Sin embargo, confía en que si se dispone de una capacidad de procesamiento superior, se encontrarán datos suficientes para desarrollar estos modelos. El motor de escalamiento de los algoritmos de aprendizaje profundo, que lleva funcionando unos quince años, aún tiene recorrido, aunque su aplicación sea más específica y conviva con la necesidad de soluciones basadas en datos pequeños y de alta calidad.

Es bastante posible que en esta década el mayor cambio sea hacia la IA centrada en datos.

Andrew Ng

Para muchas aplicaciones prácticas, ahora es más productivo mantener la arquitectura de la red neuronal fija y, en cambio, encontrar formas de mejorar los datos.

Andrew Ng