El algoritmo como coartada: El algoritmo no decide. Decide quien lo valida

El otro día leí en El País un artículo que me llamó la atención. Lo firma Paula Andrea Ramírez Barbosa y se titula La democracia no cabe en un algoritmo. Es un texto bien construido, riguroso, con argumentos sólidos sobre los riesgos de automatizar decisiones que afectan a derechos fundamentales. Vale la pena leerlo.

Pero hay algo en su planteamiento que me genera una inquietud que no puedo ignorar.

Ramírez Barbosa construye su argumento sobre una premisa insistente: el algoritmo clasifica, el algoritmo excluye, el algoritmo reproduce desigualdades, el algoritmo fragmenta la responsabilidad. El algoritmo, el algoritmo, el algoritmo…

Y yo me pregunto: ¿cuándo un algoritmo ha decidido algo por su cuenta?

Un algoritmo es una herramienta. Una herramienta extraordinariamente compleja, sí; a veces opaca incluso para quienes la construyen; con efectos difíciles de anticipar. Todo eso es cierto. Pero antes de que ese sistema entre en funcionamiento, alguien lo ha diseñado, alguien lo ha probado, alguien lo ha validado y alguien ha decidido que puede tomar decisiones sobre otros.

Y ahí está el punto clave.

Porque hoy ya no estamos en una fase ingenua. Antes de desplegar un sistema de inteligencia artificial se puede —y se debe— experimentar, simular, auditar, tensionar sus resultados, comprobar sus sesgos y anticipar sus consecuencias. No estamos ante una fuerza natural inevitable. Estamos ante sistemas diseñados, probados y aprobados.

Por tanto, hay responsabilidad.

Responsabilidad de quien construye el modelo: por los datos que utiliza, por los criterios que incorpora, por lo que optimiza y por lo que deja fuera.
Responsabilidad de quien lo compra: por decidir aplicarlo en un contexto concreto, con efectos reales sobre personas reales.
Y responsabilidad de quien lo autoriza: porque en el momento en que firma, convierte una herramienta en una decisión operativa.

El algoritmo no tiene voluntad. Pero alguien decide que la tenga en su nombre.

Y eso cambia completamente el diagnóstico. Porque si el problema fuera únicamente técnico, bastaría con mejorar modelos, aumentar la transparencia o auditar el código. Pero no es solo técnico. Es, sobre todo, un problema de responsabilidad.

Ramírez Barbosa escribe que “decidir quién accede y quién queda excluido de un programa social no es una operación neutra. Es una decisión distributiva. Y toda decisión distributiva es, inevitablemente, política”. Completamente de acuerdo.
Pero entonces la pregunta no es qué hace el algoritmo. La pregunta es quién lo ha puesto ahí, con qué criterios y con qué consecuencias previstas.

La pregunta no es qué hace el algoritmo. La pregunta es quién lo ha puesto ahí, con qué criterios y con qué consecuencias previstas

La historia está llena de decisiones injustas que no necesitaron ningún algoritmo. Bastaron leyes, funcionarios y voluntad política. El algoritmo no ha inventado nada. Lo que hace ahora es acelerar, amplificar y, sobre todo, ocultar.

Y aquí aparece el verdadero riesgo.

No que el algoritmo decida, sino que se convierta en la coartada perfecta para que nadie asuma la decisión.
“No ha sido nadie, ha sido el sistema”.

No.
El sistema ha sido diseñado, probado y aprobado.

La democracia no cabe en un algoritmo.
Pero tampoco cabe en la excusa de que el algoritmo decide solo.

Porque nunca lo hace.

Tomás Cascante
PUEDES LEER TODOS MIS ARTÍCULOS NOTANDUM, AQUÍ

.

.

.