Acabo de leer en La Vanguardia una interesante reflexión de Pablo Foncillas que vuelve sobre un tema incómodo, pero tremendamente real y preocupante: cada vez más decisiones sensibles —créditos, diagnósticos médicos o selección de personas— pasan por sistemas de inteligencia artificial que funcionan como cajas negras. Cuando aciertan, nadie se fija. Cuando fallan, nadie sabe explicar por qué. Y lo más inquietante: tampoco queda claro quién es el responsable.
Hasta aquí, el hecho. No es nuevo, pero empieza a ser estructural. Estamos empezando a aceptar que una recomendación automática pese más que el criterio humano, aunque no entendamos cómo se ha generado esa decisión y asumamos como normal que «lo ha dicho la IA», palabra de Dios y esto es lo grave: la asunción de nuestra indefensión. Estamos empezando a aceptar decisiones sin autor. Y también que el error —si se produce— es inevitable, como si fuera algo propio del sistema y no el resultado de decisiones humanas previas. Decimos «ha fallado la inteligencia artificial» y con esa frase parece que todo queda cerrado.
Pero la inteligencia artificial no aparece sola ni decide en el vacío. Antes de que actúe la caja negra, alguien ha decidido cómo construirla: qué datos utilizar, qué objetivos priorizar, qué margen de error aceptar y qué preguntas hacerle. Y ahí —solo ahí— es donde todavía podemos tener control.
Porque una vez el sistema está en marcha, ya no estamos diseñando: estamos reaccionando. Y reaccionar es llegar tarde. Cuando la decisión automatizada ya ha negado el crédito, descartado al candidato o marcado el diagnóstico, pedir explicaciones es como discutir el guion cuando la película ya ha terminado. La caja negra no se abre: se asume
Por eso la solución -si es que la hay- no esté en exigir explicaciones a posteriori, sino en ser mucho más exigentes a priori: en cómo se diseñan los modelos, con qué información se entrenan y bajo qué reglas se ponen en marcha. No se trata solo de entender cómo decide una IA, sino de decidir bien cómo la diseñamso y la alimentamos antes de que empiece a decidir por nosotros. Porque si llegamos tarde al diseño, llegaremos siempre tarde al error.
Y entonces sí: dependeremos de sistemas que condicionan nuestras vidas sin que nadie pueda responder de sus decisiones.
Te recomiendo leer el artículo que ha motivado mi reflexión en La Vanguardia.