"Hay un caso, no del todo conocido, en la concesión de permisos penitenciarios en Cataluña, que desde hace bastante tiempo tiene transferidas las competencias. Son decisiones de riesgo, puesto que se conceden o no en función, entre otras cosas, de las perspectivas del peligro de reincidencia. Y para la evaluación de ese peligro se utiliza un algoritmo predictivo, una herramienta publicada conocida", señala Alejandro Huergo, catedrático de derecho administrativo en la Universidad de Oviedo.

"Se ha planteado, en la revisión judicial de esas decisiones penitenciarias, si es legítimo utilizar el algoritmo y que a una persona se le diga 'te damos el permiso o no te lo damos en función, entre otras cosas, de los resultados del algoritmo', que tiene en cuenta los distintos factores en presencia", prosigue el catedrático.

"Y se ha utilizado el criterio de que no es una decisión automatizada al 100%, sino que el algoritmo utiliza un informe que le ponen sobre la mesa del órgano competente. Es una manera de eludir frontalmente el problema de hasta qué punto un algoritmo puede ser utilizado en la toma de una decisión que está sometida a un control judicial y sometida a un marco legislativo estricto".

La revelación, en la medida en el caso es "no del todo conocido", responde a una cuestión planteada por la jurista María Emilia Casas que, entre otros datos de currículum, fue la primera mujer que presidió el Tribunal Constitucional.

La pregunta era "¿qué papel tienen los algoritmos en la justicia?, ¿qué deben hacer los jueces ante los algoritmos?", formulada en el marco de un debate suscitado por la Fundación Ramón Areces sobre "el algoritmo", con intervención también de Jesús Mercader, catedrático de derecho del trabajo y de la seguridad social en la Universidad Carlos III.

Para completar la visión panorámica de la respuesta de Huergo, éste sostiene que "la Justicia va a tener que empezar a conocer de procesos sobre los algoritmos y se va a enfrentar a situaciones en las que va a tener que enjuiciar el algoritmo. Y aunque parece algo enteramente nuevo y casi imposible, en la Administración y en las empresas, en el mundo en general, ya se utilizan muchas tecnologías muy complejas y al final la Justicia, a través de informes periciales, acaba decidiendo sobre arquitectura, temas químicos…".

A lo cual añade que "también la Justicia va a utilizar algoritmos. Probablemente no algoritmos predictivos, sino de automatización de determinados procesos". Aunque aquí encajaría precisamente la excepción que él mismo relata sobre el uso penitenciario que se está haciendo en Cataluña.

Automatización de procesos 'vs.' análisis predictivo

El eje del debate era la regulación, los aspectos legales, jurídicos y legislativos del 'algoritmo', la inteligencia artificial, como un ente abstracto presente en la vida real de los individuos, las empresas y las administraciones.

Un terreno en el que Huergo diferencia entre la automatización de procesos y las decisiones basadas en análisis predictivo. Casos, los primeros, como "algunos procesos sencillos, decisiones por ejemplo de reconocimiento de derechos, como el ingreso mínimo vital, que dependen de unos requisitos fácilmente controlables automáticamente".

Por el contrario, la inteligencia artificial "en sentido estricto" supone sustituir a los humanos "en tareas que considerábamos que necesitaban un operador físico, como puede ser el reconocimiento facial, la interpretación de análisis clínicos, o incluso la propia conducción. Todo eso también tiene una aplicación al mundo de las Administraciones públicas".

La cuestión, desde el punto de vista regulador, es qué fiabilidad y qué equidad cabe esperar del uso de tales herramientas. "Los algoritmos respiran aire, que en su caso son los datos", dice Mercader. "Y de la misma forma que cuando los humanos respiramos aire podemos contraer virus, los algoritmos con los datos también pueden contraer el virus".

Se refiere a los sesgos en la programación y en los datos, "porque el algoritmo es neutro, no tiene imaginación ni emociones".

"De ahí es de donde vienen los problemas vinculados con el uso de algoritmos sobre masas informes enormes de información, que pueden producir sesgos discriminatorios", señala Mercader. El algoritmo "no aporta emociones en su análisis, pero sí nosotros, en los datos que le entregamos".

Cita ejemplos en procesos de selección, recordando el informe "del grupo del artículo 29" sobre tratamientos automatizados en el reglamento europeo de Protección de Datos, que "puso de manifiesto que los tratamientos automatizados de datos podrían incorporar sesgos discriminatorios e incorporar factores de segregación".

"Tenemos ejemplos de algunas empresas que han tenido que modificar esos procesos de selección por los datos, e incluso algunos algoritmos. Como es el caso del algoritmo Frank -hasta a los algoritmos les damos nombres humanos- que utiliza Deliveroo en sus procesos de selección y de ajuste de ofertas y demandas de servicios…".

El caso de 'Frank', el algoritmo de Deliveroo

Ese algoritmo con nombre "ha sido declarado discriminatorio por una sentencia muy reciente del Tribunal ordinario de Bolonia", porque, para la asignación de las franjas horarias de trabajo de los riders, en función de su disponibilidad, las ausencias se trataban por igual si se producían porque "el rider decidía voluntariamente no prestar servicios, o por enfermedades, participación en una huelga, o conciliación de la vida laboral y familiar".

El Tribunal impuso una sanción por responsabilidad civil y Mercader entiende que abre camino a aplicar "los principios fundamentales que existen en materia de Protección de Datos, como la minimización en el tratamiento de los datos, el control sobre esas informaciones y la aplicación del principio de proporcionalidad, con intensidad reforzada".

Entiende que "otro elemento central es la transparencia, un elemento clave en todo este modelo. Eso no significa, como a veces se dice, que uno tiene que conocer el contenido del algoritmo, sino que probablemente haya que ir por el camino de conocer su lógica".

También Huergo reclama la "obligación de transparencia, aunque la frontera es ver hasta dónde llega. Hay miedo a mostrar cómo funcionan los algoritmos. La Administración no quiere mostrar los que utiliza para identificar a presuntos infractores. Teme que, si se conoce el algoritmo, se le intente engañar. Como pasa con los servicios de posicionamiento web, cuyo objetivo es engañar al algoritmo de Google para aparecer mejor en el buscador".

"El algoritmo es el secreto de la empresa y, por lo tanto, su corazón. Conocerlo puede entrar en terrenos delicados desde muchos puntos de vista. Tenemos que ir elaborando categorías jurídicas que vayan ayudando a dar respuesta", añade Mercader.

En lo que no duda es en atribuir la responsabilidad final a la empresa, que "delega la responsabilidad" en la tecnología. "Se ha venido haciendo en muchos otros terrenos. Cuando la empresa delega en el GPS, o en los sistemas de videovigilancia, está delegando parte de sus facultades de actuación a los instrumentos tecnológicos".

"Y aquí está delegando parte de sus facultades al algoritmo que sirve para seleccionar y ejercitar el poder de dirección empresarial", concreta Mercader.

'Mi jefe es un algoritmo'

"¿Se puede decir 'mi jefe es un algoritmo'?", interroga Casas.

"Es una forma simpática de acercarse esta materia, pero yo creo que el jefe no es el algoritmo. El jefe es el de siempre", responde Mercader. "Mi jefe sigue siendo mi jefe, aunque es verdad que está empezando a delegar muchas de sus facultades en algoritmos".

Huergo, retornando a la perspectiva de la función pública, cree que "las Administraciones no pueden ser ajenas a algunos medios que se utilizan y la propia legislación está empezando a reconocerlo, aunque la realidad va por delante".

Valora "la automatización de procesos por razones de eficacia y también para evitar errores muchos procesos administrativos en los que se trata de decisiones pautadas, como la comprobación del cumplimiento de determinados requisitos".

"Eso no quiere decir, necesariamente, que estemos ante lo que se llama 'actos administrativos automatizados', en cuya producción no ha intervenido ningún humano, sino que alguien ha puesto en marcha una aplicación y a partir de ahí el sistema obtiene los datos, elabora las decisiones y las notifica", añade.

"Es verdad que hay muchos procesos en los que se utilizan aplicaciones y las aplicaciones pueden tener errores", admite el catedrático.

"Puede ocurrir que no contemplen exactamente todos los requisitos. Que haya factores que legalmente pueden ser relevantes y no se tienen en cuenta… Esto se ha llevado incluso a los tribunales. Por ejemplo, el caso del bono social eléctrico. Su obtención o no depende de unos requisitos legales y es un algoritmo el que decide, el que hace ese cálculo".

Por otra parte, entiende que hay una utilidad clara. "Hace una semana se aprobó un Real Decreto ley que, indirectamente, lo legaliza" para cometidos de inspección de las Administraciones.

"Es la forma de comprobar el cumplimiento de las normas en el ámbito laboral, en el urbanístico… Prácticamente en cualquier materia que pensemos, industrial, de seguridad en el trabajo, ambiental, etcétera, la administración tiene recursos limitados para inspeccionar. Recursos humanos, sobre todo. Y los algoritmos pueden ser de gran utilidad".

"Si analizamos las infracciones que se han cometido en el pasado podemos establecer una especie de retrato robot de qué características suelen tener los infractores", explica. "No una única característica, pero sí identificar situaciones en las que es más frecuente que se produzcan infracciones. De los 10 millones de empresas que tenemos en España, el algoritmo nos ilumina un 2% y podemos concentrar ahí los esfuerzos de inspección".

Asimila esta posibilidad a "contratos licitados" para "consultoría estratégica" para la "obtención de una serie de indicios", similares a los que usa Youtube para recomendar un determinado vídeo a un usuario.

Fraude laboral y otros usos

Considera Huergo, en sentido positivo, que para "la prestación educativa, de servicios sociales o sanitaria puedes, gracias a algoritmos, identificar a personas que los pueden necesitar y todavía no lo hayan solicitado o no estén en condiciones de solicitarlo".

En sentido contrario, pero no opuesto, Mercader observa que, desde el lado de las personas, de los trabajadores, las herramientas tecnológicas se pueden usar en "la lucha contra el fraude en el ámbito laboral", recordando que se acaba de publicar el Real decreto ley 2/2021 que incorpora "una modificación de la ley de infracciones y sanciones del orden social para permitir la extensión automatizada".

Sobre los sesgos y discriminaciones, y como constitucionalista que es, Casas recuerda que ya la Constitución del 78 "tiene una prohibición de discriminación, el artículo 14 segundo inciso, por determinadas causas sensibles que el constituyente ha considerado que no son compatibles con la dignidad humana…".

"Yo incidiría en el carácter instrumental de los algoritmos", replica Huergo, "que es importante a la hora de valorarlos jurídicamente, también desde el punto de vista de la de la Constitución".

"Algunos se pueden utilizar para hacer inversiones, decidir en qué acciones se invierte, y esta es una actividad privada, libre. La predicción puede ser valiosa o no, pero jurídicamente tiene muy poca relevancia. Si estamos hablando de un juez que toma una decisión en función de un algoritmo, es muy distinto, porque esa decisión tiene que tomarse sobre la base de unos determinados criterios legales. Si esos criterios legales están reflejados en el algoritmo tampoco pasa nada".

Cuando se invoca "el derecho a que decida un humano: la verdadera garantía no es que decida un humano, porque el derecho siempre se ha dedicado a controlar a los humanos, precisamente, porque sabemos que el operador humano no es una garantía de nada. La garantía es la norma", puntualiza Huergo.

"Y respecto a la discriminación, un problema previo que tiene que ver con la propia dignidad humana es que el algoritmo acaba haciendo que toda mi experiencia, cada cosa que yo hago en internet, puede ser un dato que se utilice contra mí. Al derecho a no auto incriminarse, que está también en las constituciones, se le ha dado la vuelta. El problema no son los datos que me piden y que yo puedo no dar, sino los datos que estoy dando continuamente con mi experiencia", concluye Huergo.