Para entender el clima social y el contexto político en el que se han gestado ambas normativas sirva el recorrer algunos de los últimos casos con mayor impacto mediático en este sentido:

Sobre el acceso a datos personales y su uso:

Caso Cambridge Analytica (2016), que derivó en varias demandas en diferentes países por uso indebido de datos personales y manipulación de la opinión pública.

Caso Mercadona (2020) sobre el uso de herramientas de reconocimiento facial (y por tanto recabación y uso de datos biométricos) para la vigilancia por visión artificial en sus comercios: una reciente resolución de la AEPD sancionó con 3.150.000€ este hecho (que la empresa abonó con un descuento del 20% por pronto pago). La IA para la vigilancia e identificación de ciudadanos en espacios accesibles al público es precisamente una de las aplicaciones de la IA destacadas como de mayor riesgo según la propuesta de Ley de IA de la Comisión Europea.

Sobre el desarrollo y aplicación de soluciones basadas en IA:

Caso del algoritmo de selección de personal de Amazon (2018), que discriminaba a las mujeres por haber sido entrenado con datos sobre las características de sus empleados (que en su mayoría son hombres). No fue sancionado pues la propia empresa lo desactivó al tener noticia de este sesgo.

Caso del algoritmo de solvencia de Goldman Sachs que concedía diferentes límites de crédito a distintos grupos de usuarios de la tarjeta bancaria Apple Card (2019), destapado por David Heinemeier Hansson, gurú tecnológico y marido de una damnificada por este trato diferencial. Finalmente el supervisor financiero del estado de Nueva York no vio pruebas de discriminación intencionada contra las mujeres: la inspección determinó que el algoritmo otorgaba mayor crédito a los primeros titulares de una cuenta, y menor a los segundos titulares, lo que indiectamente apunta a hombres y a mujeres “accidentalmente”. Sin embargo ya se había producido cierto daño reputacional al hacerse eco medios tan relevantes como The Washington Post, Business Insider, CNN, BBC o The New York Times. Si la sociedad percibe que las prácticas en el uso de datos y algoritmos que hace de una empresa son mejorables, su reputación se verá dañada por mucho que demuestre que cumple la ley.

Caso de evaluación algorítmica de estudiantes en su acceso a la universidad en Gran Bretaña, junio de 2020: ante la imposibilidad de realizar pruebas de acceso por el contexto COVID, un algoritmo asignó notas a los candidatos en función de su formación académica e información de contexto. Entre esta información de contexto se procesaban los datos de notas medias obtenidas por los estudiantes en cada circunscripción escolar, que suelen ser más bajas en áreas de renta más desfavorecida. Muchos estudiantes brillantes en áreas de menor nivel socioeconómico fueron perjudicados por la asignación de una nota menor a la que les correspondía (y, de forma simétrica, estudiantes mediocres en zona de renta alta fueron injustamente favorecidos). Las manifestaciones ante este escándalo forzaron la revisión de las notas asignadas y la cancelación del sistema de estimación algorítmica.

Estos son tan solo algunos ejemplos de aquello que puede salir mal en la implementación de soluciones basadas en el uso de datos e IA. La AI Act -aún en tramitación en el Europarlamento- nace con el objetivo de evitar riesgos como los descritos. Pero ¿cómo afectará esta regulación a las empresas que desarrollan y despliegan soluciones basadas en IA? Las claves de esta nueva norma desde un punto de vista práctico son las siguientes:

Se hace una jerarquización de las aplicaciones según su riesgo potencial (ver el punto “a risk based approach” aquí). No se penaliza así la metodología empleada, sino la aplicación, pues nada tiene que ver el riesgo implícito en un modelo numérico muy sofisticado pero con afección mínima en la vida de la gente (para controlar por ejemplo la climatización de un edificio y su consumo energético), frente a otro modelo menos sofisticado pero con alto impacto potencial en la vida de las personas (pensemos en el ejemplo de los vehículos autónomos). Esto responde a una reclamación de la industria que temía que se pusiera el foco en determinadas tecnologías, lastrando la innovación. El foco no son los algoritmos, sino sus usos.

A los casos de uso de mayor riesgo se les ponen una serie de requisitos, entre ellos:

Trazabilidad y responsabilidad: los modelos que soporten casos de uso de alto riesgo deberán registrarse en un censo oficial y documentar adecuadamente los pasos seguidos en su desarrollo, para poder hacer análisis periciales en el caso de que se detecte un funcionamiento indeseado.

Transparencia: se exigirá un mínimo grado de explicabilidad algorítmica. Puede parecer contraintuitivo, pero determinados modelos avanzados, como las redes neuronales, no son interpretables de entrada. Sin embargo, aunque no se pueda conocer paso a paso la operativa interna del modelo, sí se pueden realizar esfuerzos extra de desarrollo para llegar a determinar qué variables de entrada tuvieron mayor peso en la salida del modelo, sea esta una decisión de negocio (clasificación de clientes), o una acción directa automatizada (operaciones de trading algorítmico, o bloqueo de transacciones sospechosas de fraude). En el caso de decisiones individuales automatizadas, esto es algo que la GDPR ya contemplaba.

Equidad o no discriminación (fairness): Se deberá realizar un adecuado control de calidad en el desarrollo de los modelos para determinar si se incurre en el riesgo de discriminación injusta de los individuos afectados por las decisiones algorítmicas.

Este último punto es el que puede desatar más controversia: a priori discriminar, (“seleccionar excluyendo” según la primera definición del DRAE), es un verbo neutro que está en la base de todo proceso de selección que regule el acceso a servicios esenciales, tanto públicos como privados (educación, prestaciones sociales, crédito, etc.). Se debe matizar y distinguir entre discriminación justa y discriminación injusta o basada en sesgos. Al no definir la AI Act qué se considera sesgo, el campo queda abierto a interpretación. Este punto es tan relevante, que merecerá el foco del próximo artículo bajo este mismo título.