Algoritmos en lo público. Abriendo las cajas negras de la administración

Author: David Cabo Calderón, Carmen Torrecillas Molina

Idea principal

Civio, una organización de periodismo de datos independiente, lleva años investigando cómo la administración pública española usa sistemas automatizados y algoritmos para tomar decisiones que afectan directamente a la vida de las personas, ya sea en sanidad, justicia o seguridad. El problema central no es la tecnología en sí, sino la opacidad total con la que se implementa.

Conceptos clave

• Civio trabaja en tres ejes: periodismo de investigación, herramientas digitales y acción legal (van a juicio cuando hace falta)
• Digitalización que excluye: durante la pandemia se eliminó la atención presencial y nunca se recuperó bien, dejando a mucha gente sin poder hacer trámites básicos
• BOSCO: sistema automatizado del gobierno que decide si tienes derecho al bono social (descuento en la factura de la luz). 100% automático, sin humano en el proceso
  • Civio pidió el código fuente vía Ley de Transparencia, el gobierno se negó, fueron al Supremo y ganaron en 2024
  • Encontraron errores reales: viudas con derecho al bono que el sistema rechazaba por un fallo de lógica
• Reconocimiento facial en centros de salud de Ceuta y Melilla, implantado desde noviembre de 2024 sin que pacientes ni médicos tuviesen información real de lo que estaba pasando
• Cuantos Skin: sistema de IA para detectar melanomas comprado por el País Vasco por 1,6 millones. Entrenado casi exclusivamente con piel blanca, con una sensibilidad del 69% (falla en uno de cada tres melanomas), por debajo del 85% que exigía su propio contrato
• ITVR: algoritmo usado en prisiones españolas desde 1993 para decidir permisos de salida. Sin actualizar en 32 años. Criminaliza automáticamente a presos extranjeros sin arraigo, independientemente de cualquier otro factor
• Veripol: sistema policial que analizaba textos de denuncias para detectar denuncias falsas. Ya no se usa, pero la policía se niega a decir a cuántas personas afectó

Desarrollo/contexto

Lo que más me llamó la atención es que varios de estos sistemas se presentan oficialmente como "herramientas de apoyo" a la decisión humana, no como sistemas que decidan solos. Pero en la práctica, la última parte del debate lo deja claro: cuando un juez o un funcionario tiene delante un numerito generado por un algoritmo, psicológicamente cuesta mucho llevarle la contraria. Civio encontró hasta 200 sentencias de 2024 donde el número del ITVR aparecía citado explícitamente para justificar decisiones sobre permisos de salida. O sea, "sistema de apoyo" en teoría, oráculo en la práctica.

El patrón se repite en todos los casos: titulares bombásticos de innovación, y cuando preguntas cómo funciona exactamente, mutismo total. La opacidad no es un accidente, es el estado por defecto de la administración española ante cualquier pregunta incómoda.

Términos técnicos

• Sensibilidad: porcentaje de casos positivos reales que el sistema detecta correctamente (en diagnóstico médico, lo más crítico)
• Falsos negativos: casos que el sistema dice que están bien pero en realidad no lo están (un melanoma que el algoritmo no detecta)
• Evaluación de impacto de protección de datos: documento obligatorio antes de implantar sistemas que traten datos personales sensibles

Conclusiones

El problema no es que la administración use tecnología, es que la usa sin rendir cuentas. Civio no está en contra de la automatización, de hecho defienden que tiene usos legítimos, pero bien hecha y con transparencia. La victoria en el Supremo sobre BOSCO es importante porque la sentencia dice explícitamente que explicar el funcionamiento de los algoritmos es consustancial al Estado de Derecho. Es un precedente útil, aunque todavía no han recibido el código fuente.

Para investigar más

• Escándalo de fraude algorítmico en Holanda (que mencionan de pasada, pero parece muy relevante como caso de referencia)
• Reglamento europeo de IA y qué obliga realmente a las administraciones
• Iniciativas de registro público de algoritmos en Francia y Países Bajos

https://civio.es/