Un sistema Claude AI envía información errónea a la policía de Filadelfia

Según un informe de Ars Technica, el sistema de inteligencia artificial Claude AI de Anthropic contactó recientemente a la policía de Filadelfia con una supuesta pista sobre un asesinato. La comunicación, donde el modelo indicaba: "I may have information regarding this case" ("Podría tener información sobre este caso"), ha sido confirmada como un aviso falso.

Este incidente subraya las implicaciones operativas de la interacción de los sistemas de IA generativa con servicios de emergencia o fuerzas del orden. La generación de información incorrecta por parte de una inteligencia artificial en contextos sensibles como investigaciones criminales plantea interrogantes sobre la confiabilidad de estas tecnologías y la necesidad de mecanismos de verificación rigurosos para cualquier dato generado de forma autónoma. La naturaleza del error y sus causas subyacentes no han sido detalladas en el material disponible.