Ayer le hice una entrevista a Albert Cortina sobre urbanismo e inteligencia artificial, en el curso de la cual surgió un tema inquietante que quiero comentar a continuación: la algocracia.
La algocracia (del griego algorithmos y kratos, poder) es un modelo de gobernanza en el que las decisiones públicas no las toman gobernantes elegidos, sino sistemas algorítmicos automáticos. Y no estoy hablando de ciencia ficción, hace ya tiempo que convivimos con algoritmos que deciden qué contenidos vemos, qué crédito se nos concede, qué rutas policiales se priorizan o qué perfiles reciben más vigilancia administrativa.
Lo inquietante no es su existencia, sino su creciente capacidad para intervenir en ámbitos que afectan directamente a derechos y libertades.
Esta inquietud no es nueva. Antoinette Rouvroy ha advertido de los peligros de la expansión de una “gobernanza algorítmica” que desplaza la deliberación política, y Cathy O’Neil denunció en Weapons of Math Destruction cómo estos modelos opacos pueden erosionar derechos. Lo que empieza a cambiar ahora es que esa inquietud ya no se limita a los círculos académicos o especializados: comienza a percibirse también en la conversación pública, como la intuición de que algo esencial en el equilibrio democrático está mutando y no precisamente para mejor.
La algocracia aún no es un sistema formalmente instaurado, pero poco a poco va gananado territorio a las decisiones humanas. En China, el sistema de crédito social que integra datos masivos para automatizar la vigilancia y el control social, toma decisiones que restringen libertades fundamentales como el movimiento, el empleo y el acceso a servicios básicos, sustituyendo el discernimiento humano por una dictadura algorítmica opaca.
En Estados Unidos, algoritmos como COMPAS determinan la probabilidad de reincidencia de los detenidos para influir en decisiones judiciales sobre fianzas y sentencias, enfrentando críticas por perpetuar sesgos raciales y operar bajo una opacidad que dificulta el derecho a una defensa justa. En Europa, la administración pública experimenta con modelos predictivos para asignar recursos o detectar fraudes. En 2018, en Japón, el proyecto AI Mayor presentó un candidato robótico a la alcaldía de Tama, prometiendo una gestión basada exclusivamente en el procesamiento de datos para eliminar la corrupción y las disputas políticas, marcando el inicio de una gobernanza donde el algoritmo sustituye el liderazgo humano.
El problema no es técnico, es político. Los algoritmos no son votados, pero deciden. No se presentan a elecciones, pero influyen en políticas. Y, sobre todo, los algoritmos no rinden cuentas. Su opacidad —la llamada “caja negra”— impide saber por qué se tomó una decisión concreta. Si un sistema niega un crédito, prioriza una inversión o clasifica a un ciudadano, ¿ante quién se reclama?
La democracia se fundamenta en la rendición de cuentas. Sin una responsabilidad humana identificable, el poder se diluye en líneas de código opacas, transformando la soberanía en una dictadura algorítmica. Cuando el poder deja de responder ante los ciudadanos para obedecer a la fría lógica del procesamiento de datos masivos, la democracia se desvanece y da paso a un experimento de control tecnocrático.
La cuestión no es si la algocracia será más eficiente. La cuestión es si estamos dispuestos a que la eficiencia (eficiencia?) sustituya a la responsabilidad.
Ahí empieza el verdadero debate.
Tomás Cascante
Meta ha vuelto