Anthropic desarrolla infraestructura para la fiabilidad y privacidad de sus agentes de IA

Gurmeet Saran, ingeniero de Anthropic en San Francisco y miembro senior de IEEE, se encarga de desarrollar la infraestructura necesaria para comprender el funcionamiento de los agentes de IA, como Claude. Su labor busca garantizar que la arquitectura subyacente de estos sistemas produzca resultados fiables, además de asegurar la exactitud, la estructura y la confidencialidad de los datos.

Según declaraciones recogidas por IEEE Spectrum, Saran enfatiza que “la privacidad no puede ser una capa que se añada después, debe ser parte de la arquitectura desde el principio." Esta perspectiva se basa en la convicción de que la falta de confianza en la lógica de un sistema de IA tiene implicaciones directas en la seguridad. La misión de Anthropic, en línea con este enfoque, busca que Claude sea "genuinamente útil para las personas con las que trabaja o en cuyo nombre lo hace, así como para la sociedad, evitando acciones inseguras, poco éticas o engañosas."

Un desafío clave en este ámbito es la observabilidad de los Modelos de Lenguaje Grandes (LLM). Saran señala que, si bien existen herramientas robustas para monitorear bases de datos y servicios web, la monitorización de los LLM es un campo en desarrollo. "Para los LLM, todavía estamos descifrándolo," afirma, comparando la dificultad con la de asegurar que los instrumentos médicos estén correctamente calibrados para tomar decisiones críticas.

La trayectoria de Saran en la resolución de problemas de calidad de datos y fiabilidad se remonta a su experiencia en empresas como Yahoo, Intuit y Meta (anteriormente Facebook). En estas compañías, desarrolló sistemas para establecer "fuentes únicas de verdad" en los datos, cruciales para evitar contradicciones en métricas clave y asegurar la toma de decisiones informadas. Su trabajo en Intuit, por ejemplo, implicó la protección de datos de contribuyentes, reforzando su convicción de que la privacidad y la gobernanza deben ser parte integral del diseño del software.

Para Saran, hacer que los sistemas de IA sean auditables y transparentes es uno de los problemas de ingeniería más importantes de la próxima década, y a menudo, según él, no recibe la atención que merecen las capacidades del modelo. Su incorporación a Anthropic en 2025 subraya la importancia estratégica que la compañía otorga a la resolución de estos desafíos fundamentales.