El 31 de marzo, la empresa de inteligencia artificial Anthropic filtró accidentalmente aproximadamente 512,000 líneas de código, revelando que Claude Code, su asistente de codificación, escanea las solicitudes de los usuarios en busca de signos de frustración, registrando groserías, insultos y frases como "tan frustrante" y "esto apesta".
Además, se descubrió que el código está diseñado para eliminar referencias a nombres específicos de Anthropic, incluso la frase "Claude Code", cuando se utiliza para crear código en repositorios de software públicos, haciendo que dicho código parezca completamente escrito por un humano. Alex Kim, un desarrollador independiente, calificó el análisis técnico de la filtración como "una puerta de un solo sentido". Anthropic no respondió a una solicitud de comentarios de Scientific American.
Los hallazgos exponen un problema emergente en la industria de la IA: herramientas diseñadas para ser útiles y cercanas que también miden silenciosamente a sus usuarios y ocultan su propia participación en el trabajo que ayudan a producir. Anthropic, que ha basado su reputación en la seguridad de la IA, ofrece un estudio de caso temprano sobre cómo la recopilación de datos de comportamiento puede superar la gobernanza.
El detector de frustración utiliza regex, una técnica de coincidencia de patrones de décadas, y no inteligencia artificial. Kim señala que esta elección fue pragmática, ya que utilizar un LLM para detectar esto sería costoso a gran escala. El patrón de frustración no cambia el comportamiento del modelo, sino que es una métrica de salud del producto.
Miranda Bogen, directora del AI Governance Lab en el Center for Democracy & Technology, advierte sobre el uso de dicha información una vez que una empresa la posee. Ella plantea preguntas sobre quién rastrea la información de los usuarios y cómo se utiliza para tomar decisiones sobre ellos. La filtración de Anthropic deja claro que, al menos en una empresa, este tipo de contabilidad ya está escrito en el código.
¿Cómo deberían las empresas de inteligencia artificial abordar la privacidad de los usuarios en un contexto de recopilación de datos tan intrusiva?
.
.
.
RESUMEN BASADO EN EL ARTÍCULO PUBLICADO EN Scientific American EL 2 de abril de 2026. Leer original
https://www.scientificamerican.com/article/anthropic-leak-reveals-claude-code-tracking-user-frustration-and-raises-new/