Un algoritmo que decide quién recibe una ayuda de vivienda, o una hipoteca, o el bono social; o quién tiene prioridad para una prueba médica; o qué víctima de violencia de género recibe protección; o qué estudiante logra entrar al grado y la universidad deseadas, o quién comete fraude o ha puesto una denuncia falsa.
Son ejemplos reales del uso de sistemas automatizados de toma de decisiones sensibles en España. Algunos los conocemos. Otros -la mayoría- no. A menudo, el uso de tipo de sistemas pasa desapercibido. Frente a esto, el derecho a saber es fundamental para poder entender cómo se toman, por qué y -en caso necesario- recurrir las decisiones que nos afectan.
Con ese objetivo, la plataforma IA Ciudadana ha presentado esta semana una propuesta de creación de un Registro Central de Algoritmos. La iniciativa surge de una investigación de esta coalición, pionera en Europa, compuesta por 17 organizaciones de la sociedad civil (entre ellas: Lafede.cat, Civio, Political Watch y la Federación de Consumidores y Usuarios CECU).
Con el informe, presentado este viernes, buscan aumentar la transparencia sobre el uso y la gobernanza de sistemas algorítmicos, y que esta sirva como herramienta de rendición de cuentas y facilite el recurso de las decisiones automatizadas cuando se produce un daño. También pretende servir como referencia para la Administración Pública a la hora de crear registros de este tipo.
Pero ¿qué es un registro algorítmico? Se trata de un directorio que da información acerca de los sistemas algorítmicos utilizados por los organismos públicos en distintas jurisdicciones. Pueden publicarse en una web, o como bases de datos o conjuntos de datos. La información que publican puede ser solo técnica o sociotécnica.
Este segundo enfoque incluye no solo el “qué” (cuáles son los sistemas usados), sino también el “por qué”, el “quién” y el “cómo”. Es decir, los procesos y las decisiones humanas detrás del diseño de los sistemas en cuestión, y cómo estos se insertan dentro de las políticas públicas. Esto puede incluir detalles como qué organismo o funcionario es responsable de dicho sistema, cuánto cuesta y cómo se ha financiado, sus objetivos, o si sus decisiones se pueden recurrir o revertir, entre muchas otras.
69 en el mundo
La investigación de IA Ciudadana incluye un análisis de 39 registros de algoritmos en el continente europeo, además de documentación académica, informes y guías gubernamentales sobre la materia, y de las leyes relacionadas. A ello se añaden entrevistas con organizaciones de la sociedad civil y gobiernos que están desarrollando y utilizando este tipo de registros.
En el mundo, hay documentados 69 registros activos, según datos de 2024 de The Global Partnership on AI. En Europa, Francia fue pionera al aprobar -en 2016- nuevas obligaciones de transparencia para los organismos públicos que utilizan algoritmos para la toma de decisiones, algo parecido a un registro de algoritmos.
En 2019, la administración canadiense fue la primera del mundo -según la investigación de IA Ciudadana- en incluir estudios de impacto obligatorios para todos los algoritmos de toma de decisiones utilizados por los organismos gubernamentales. En 2020 comenzaron a emerger iniciativas similares a escala local, por ejemplo en Helsinki (Finlandia) y en Ámsterdam (Holanda).
Según IA Ciudadana, hay un total de 34 registros de algoritmos activos en Europa, y cinco en construcción. La mayoría (27 de ellos) están desarrollados y gestionados por instituciones oficiales, aunque solo hay registros gubernamentales en cinco países: Francia, Países Bajos, Finlandia, Reino Unido y Noruega.
Oportunidad para España
¿Cuál es la situación en el territorio español? A nivel nacional, IA Ciudadana no ha identificado ninguna iniciativa, pero sí en el ámbito autonómico. Destacan tres. Uno en el País Vasco: el Catálogo de algoritmos y sistemas de IA, ya en marcha. Recoge información sobre los algoritmos y sistemas de IA desarrollados por el Gobierno Vasco y el sector público de la Comunidad Autónoma de Euskadi.
Otro registro es el que prepara la Comunidad Valenciana, que ya cuenta con una normal que obliga a publicar los sistemas automatizados y de IA de alto riesgo, y los que incidan en los procedimientos administrativos o en la prestación de servicios públicos. El tercer caso es el de Cataluña, donde se han publicado algunas fichas informativas sobre sus sistemas de IA y se espera la puesta en marcha de un registro formalizado a partir de abril.
Por lo demás, el estudio de IA Ciudadana apunta que se están implementando una serie de planes y estrategias para reforzar la transparencia a nivel institucional, incluyendo el uso de algoritmos por parte del sector público y, en algunos casos, del sector privado. Es el caso, por ejemplo, de la Estrategia Nacional de Inteligencia Artificial (ENIA), que podría plantear un registro de este tipo a través de la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA).
Este tipo de registro también podría emerger de otras autoridades como la Agencia Española de Protección de Datos (AEPD). Otra opción sería vincular la creación de este tipo de registro al V Plan de Gobierno Abierto 2024-2028, que incluye la “Gobernanza Digital” como un área de reforma. De hecho, desde IA Ciudadana informan que, en reuniones con el Gobierno en este marco, se acordó priorizar la creación de un registro de sistemas de IA y de toma de decisiones automatizadas.
“El trabajo duro empieza ahora”, comentan. La SEDIA es un canal, pero no el único. “Esto no va de digitalización, sino de derechos”, añaden. Por ello, no descartan acudir a todos los ministerios, grupos parlamentarios, e instancias que puedan vehicular sus peticiones. “España tiene la oportunidad de liderar la transparencia algorítmica en Europa”, sostiene la coalición.
Más allá de la ‘AI Act’
La propuesta concreta de IA Ciudadana es crear un registro nacional público de algoritmos que automaticen procesos de toma de decisiones, que incluya tanto los utilizados en la Administración Pública como en el sector privado, y promover y ejecutar los registros obligatorios y los voluntarios. Este debería -sugieren- ir más allá de los requisitos del Reglamento de IA de la UE sobre registros de algoritmos.
La ley europea de IA encarga a la Comisión Europea crear y mantener, en colaboración con los Estados miembros, una base de datos pública que contenga información relativa a los sistemas de IA de alto riesgo. Sin embargo, contiene limitaciones. Para empezar, no está claro si entran sistemas no de IA (algoritmos más simples), y solo se incluyen obligaciones para los de alto riesgo (fuera chatbots y muchos otros).
Incluso dentro de la clasificación de alto riesgo no entran todos. Por una parte, los proveedores pueden autoexcluirse “sin demasiado escrutinio”. Por otra, quedan fuera los sistemas utilizados en el orden público y la gestión de la migración, el asilo y el control de fronteras. Además, la normativa solo aplica a sistemas que estén en funcionamiento en agosto de 2026 o con posterioridad.
Desde IA Ciudadana creen, no obstante, que lo que establece la Ley de IA es un punto de partida para que los Estados vayan más allá en su ámbito de aplicación. Por ejemplo, abriendo el registro a implementadores de sistemas de IA que no estén obligados a entrar en la base de datos.
Requisitos clave
La plataforma ciudadana puntualiza que es necesario prestar especial atención al contenido y a la difusión de los registros para que no sean meros instrumentos de transparency washing. Ofrece, para ello, 12 recomendaciones: crear un registro central obligatorio, colaborar con la sociedad civil para ello, concebirlo como complemento a las obligaciones del Reglamento europeo de IA, incluir sistemas algorítmicos más allá de la IA, y registrar todos los algoritmos de forma pública.
También proponen incluir en dicho registro los sistemas en vías de desarrollo y los descartados, garantizar su accesibilidad y usabilidad, incluir funciones de búsqueda (y seguimiento y versiones), documentar y justificar la ausencia de información, designar un equipo para implementar el registro, sumar el proceso de registro al ciclo de vida del sistema algorítmico y complementar el registro con otros instrumentos de rendición de cuentas.
Además, el informe ahonda en tres aspectos. El primero es el contenido de los algoritmos, que incluya toda la amalgama de variables sociotécnicas: información sobre el contexto político de su desarrollo o implementación, sobre su proceso de integración, aspectos técnicos, evaluaciones, protección de datos, revisiones de derechos fundamentales y rendición de cuentas.
El segundo aspecto en el que profundiza son las recomendaciones para el gobierno: cómo crear un Registro Central de sistemas algorítmicos obligatorio, los mecanismos de participación de la sociedad civil (a través de un órgano consultivo a nivel ministerial en el esta esté formalmente representada), desarrollar un marco legal para asegurar la independencia y rendición de cuentas, y establecer y mantener una comunicación abierta, regular y efectiva con las organizaciones de la sociedad civil.
El tercer punto son los deberes para el Parlamento: promover la creación de una comisión parlamentaria sobre transparencia algorítmica, exigir al Gobierno que informe al Parlamento sobre transparencia algorítmica al menos una vez al año, y abogar por una regulación específica que obligue a la creación de un registro de algoritmos a nivel estatal.
Recomendaciones a las que se unen las de facilitar consultas públicas y comparecencias de expertos sobre la transparencia algorítmica y sus repercusiones sociales, establecer una comisión parlamentaria de seguimiento para supervisar la rendición de cuentas del gobierno sobre el progreso del registro y, por último, fomentar la colaboración con otras cámaras y organizaciones internacionales para alinear los enfoques normativos y compartir las mejores prácticas en materia de gobernanza algorítmica.
Palanca democrática
El estudio de IA Ciudadana se ha presentado en la misma semana en que el Consejo de Ministros ha aprobado el anteproyecto de ley para un uso ético, inclusivo y beneficioso de la inteligencia artificial. Este adaptará la legislación española al reglamento europeo de IA, y designa las autoridades competentes para vigilar los sistemas prohibidos por la ley.
También ha coincidido con la publicación del primer caso conocido de solicitud y concesión de acceso a las conversaciones de un alto cargo gubernamental con ChatGPT. Se trata del Secretario de Tecnología de Reino Unido, cuyas conversaciones con el chat se han revelado a través de un requerimiento de acceso público a la información (conocido como FOIA, por las siglas en inglés de Freedom for Information Act).
Además, estos días un juez federal de EEUU ha dictaminado la obligación del Departamento de Eficiencia Gubernamental, liderado por Elon Musk (DOGE), de someterse a la FOIA. La decisión se justifica por la influencia "sin precedentes" y el "secreto inusual" de la iniciativa, según el juez, que argumenta también que el rápido ritmo de las acciones de DOGE requiere la rápida divulgación de información sobre su estructura y actividades.
¿Qué tiene todo esto que ver? No son solo unas noticias al azar, sino temas estrechamente relacionados. Por una parte, la transposición de la AI Act supone una oportunidad para España -y para cualquier otro país Europeo- de introducir iniciativas como el registro central y obligatorio de algoritmos que propone IA Ciudadana (cuyo informe está también disponible en inglés).
Por otra parte, dicho registro serviría como herramienta de acceso a la información sobre el uso de sistemas automatizados de toma de decisiones sin necesidad de recurrir a los mecanismos que otorgan el derecho de acceso a la información pública o la FOIA.
Estas solicitudes suelen venir, además, de periodistas y de organizaciones de la sociedad civil. Gracias a ellas, y a investigaciones periodísticas, conocemos numerosos casos de discriminación algorítmica, y de violaciones de derechos y malas decisiones de sistemas automatizados.
“Los casos de uso indebido han erosionado la confianza pública y han demostrado la necesidad de mecanismos de transparencia sólidos para salvaguardar los valores democráticos y la rendición de cuentas”, aseguran desde IA Ciudadana. Los registros de algoritmos son uno de estos mecanismos.
Estos registros pueden, además, constituir un primer paso para alcanzar otros fines. Entre ellos, la plataforma destaca la protección de los derechos fundamentales, al identificar y eludir las amenazas de un sistema; el fomento de la participación democrática mediante información que promueva el debate público; o la rendición de cuentas de los gobiernos.
¿Tomarán nota en España? Por falta de compromisos no será. Uno de ellos, en la Carta de Derechos Digitales de 2021, de la que presume el Gobierno. Esta reconoce el derecho a la transparencia sobre el uso de sistemas de IA, su funcionamiento y alcance en cada procedimiento concreto y, en particular, acerca de los datos utilizados, su margen de error, su ámbito de aplicación y su carácter decisorio o no decisorio.
La Carta de Derechos también menciona que “la ley podrá regular las condiciones de transparencia y el acceso al código fuente, especialmente con objeto de verificar que no produce resultados discriminatorios”. Sin embargo, se trata de un documento no vinculante, y como tal está sujeto a la buena voluntad del Gobierno.
