La inteligencia artificial (IA) será responsable o no será. Es el mensaje de la Unión Europea al mundo. La Ley de IA europea -la AI Act- no ha sido aprobada aún, pero el acuerdo entre el Consejo de la Unión Europea y el Parlamento Europeo el pasado 8 de diciembre supuso un hito "histórico" en el camino, a juzgar por las declaraciones triunfantes de altos mandatarios y mandatarias europeos.

Si todo avanza según lo previsto, la AI Act será la primera regulación horizontal en torno a esta tecnología a nivel internacional. El mundo mira a Bruselas, y a una ley que se enfrenta a cinco retos clave. Veamos.

Razón de ser

Antes de hablar de retos, es necesario recordar el porqué de esta regulación: su raison d'être, y en qué contexto emerge.

Durante los últimos años se ha producido una introducción progresiva de algoritmos de inteligencia artificial en toda clase de aplicaciones. Lo sepamos o no, vertebran, como una malla invisible, casi todos los ámbitos de nuestra vida. Desde los sistemas de búsqueda online hasta las redes sociales, pasando por electrodomésticos y otros dispositivos domésticos "inteligentes", y también en programas de asignación de selección de empleo o de asignación de subsidios, hipotecas, además de en la labor policial, los usos de la IA son ya innumerables.

La rápida propagación de estos sistemas en ámbitos tanto de bajo como de alto riesgo, gobernando el acceso y exclusión a la información y a las oportunidades a través de decisiones arbitrarias, y a menudo también automatizando la desigualdad, ha tenido consecuencias negativas en forma de vulneración de derechos fundamentales.

Muchas de ellas las hemos conocido a través de denuncias, de investigaciones periodísticas y del trabajo de activistas y de organizaciones sin ánimo de lucro, que han desvelado casos de discriminación por raza, género, religión, ingresos, capacidades o tendencia sexual en una variedad de contextos (acceso a empleo, a vivienda, a ayudas estatales, a créditos, en entornos educativos…).

A esto se añaden usos de la IA con fines de manipulación, a través de diferentes tácticas que incluyen el diseño tecnológico persuasivo, la violación de privacidad de los usuarios y su seguimiento y rastreo, la difusión de desinformación -a menudo hipersegmentada- y el uso de herramientas de ultrafalsificación (los llamados deepfakes).

Este escenario ha llevado a la Comisión Europea a actuar. Ya en 2019 publicó las Directrices éticas para una IA fiable, a las que siguió el Libro Blanco sobre la inteligencia artificial (2020). En este último se definen las opciones existentes para alcanzar el doble objetivo de promover la adopción de la IA y de abordar los riesgos vinculados a determinados usos de este conjunto de tecnologías.

La Ley de IA responde a dicho propósito, con la intención de facilitar el desarrollo de "un ecosistema de confianza mediante la proposición de un marco jurídico destinado a lograr que la IA sea fiable". Ateniéndonos a la primera propuesta de reglamento de la CE, de abril de 2021, esta busca equilibrar el fomento y la adopción segura de la IA. Tiene por objeto -según el documento- "inspirar confianza en los ciudadanos y otros usuarios para que adopten soluciones basadas en la IA, al tiempo que trata de animar a las empresas a que desarrollen este tipo de soluciones".

Los objetivos específicos del reglamento son: garantizar que los sistemas de IA introducidos y usados en el mercado de la UE sean seguros y respeten la legislación en materia de derechos fundamentales y valores; mejorar la gobernanza y la aplicación de dicha legislación y los requisitos de seguridad aplicables a los sistemas de IA; garantizar la seguridad jurídica para facilitar la inversión e innovación en IA, y facilitar el desarrollo de un mercado único para las aplicaciones de IA.

Los derechos que se quieren proteger son, esencialmente, el derecho a la dignidad humana; el respeto de la vida privada y familiar, y la protección de datos de carácter personal, y la no discriminación y la igualdad entre hombres y mujeres. También se busca "evitar un efecto paralizante" sobre los derechos a la libertad de expresión y de reunión, garantizar el derecho a la tutela judicial efectiva y a un juez imparcial, la presunción de inocencia y los derechos de la defensa, así como el principio general de buena administración, y colateralmente otros derechos.

Falta de evidencia

El objetivo de la ley de IA es proteger dichos derechos, al tiempo que fomentar la inversión y la innovación en este tipo de tecnología. ¿Cómo lo hace? ¿A qué desafíos se enfrenta para ello? Una vez más, el demonio está en los detalles.

Como ya sabemos, el punto distintivo de la norma es su enfoque basado en niveles de riesgo, centrándose en las aplicaciones con el mayor potencial de daño humano. Por ejemplo, cuando se usa para operar infraestructuras críticas, para determinar el acceso a servicios públicos y beneficios gubernamentales, o en el ámbito legal.

A partir de dichos niveles de riesgo, establece una serie de prohibiciones para los más críticos, y unos requisitos mínimos necesarios para subsanar aquellos que se consideran de alto riesgo. Entre las prohibiciones, el acuerdo alcanzado el pasado 8 de diciembre deja fuera a algunas de las que habían sido aprobadas por el Parlamento Europeo.

El primer reto tiene que ver con dichas excepciones o, mejor dicho, con la falta de evidencia para justificar su exclusión de la lista de vetos. Entre dichas ausencias está el uso de sistemas de reconocimiento de emociones en el ámbito de la aplicación de la ley y de la inmigración. Son dos ámbitos muy sensibles y de alto riesgo, en los que se permitirá usar herramientas cuya supuesta base científica se ha desmontado.

Un análisis del sistema de control fronterizo iBorderCtrl, basado en un sistema de reconocimiento facial y de medición de microexpresiones a través de "biomarcadores de engaño" reveló las falacias estadísticas en las que se basa su funcionamiento. El estudio, realizado por los investigadores Javier Sánchez-Monedero y Lina Dencik, de la Universidad de Cardiff, concluyó que es muy poco probable que iBorderCtrl -financiado en el marco del programa Horizonte 2020 de la CE- funcione en la práctica.

De hecho, un año antes una revisión de evidencia científica publicada en 2019 concluyó que los intentos de "leer" los estados internos de las personas a partir de un análisis de sus movimientos faciales, sin considerar diversos aspectos del contexto, "son, en el mejor de los casos, incompletos y, en el peor, carecen por completo de validez, sin importar cuán sofisticados sean los algoritmos computacionales". La investigación señala, además, que "se sabe muy poco sobre cómo y por qué ciertos movimientos faciales expresan instancias de emoción, particularmente a un nivel de detalle suficiente para que tales conclusiones se utilicen en aplicaciones importantes del mundo real".

Por otra parte, los informes de la Oficina de Aduanas de EEUU revelan consistentemente la ineficiencia de estos sistemas. En 2020 escanearon a más de 23 millones de personas con tecnología de reconocimiento facial en aeropuertos, puertos marítimos y pasos de peatones. ¿A cuántos impostores detectaron? En aeropuertos, la suma asciende a cero. Entre quienes intentaron entrar a pie en el país de forma ilegal, menos de 100.

Toda esta evidencia es relevante también en relación con otra de las excepciones en el nuevo acuerdo: la del uso de sistemas de identificación biométrica remota (RBI) en tiempo real en espacios públicos. Este tipo de tecnología se permite solo con fines policiales, sujetos a autorización judicial previa, y para los casos exclusivos de: búsqueda selectiva de víctimas, prevención de una amenaza terrorista específica y presente, y localización o identificación de una persona sospechosa de haber cometido algún delito relacionado con terrorismo, trata, asesinato, secuestro, violación y otros casos. Si la RBI se usase con carácter retrospectivo, solo podría aplicarse a la búsqueda de sospechosos de delitos graves.

Aquí surge, de nuevo la duda sobre la precisión de estas tecnologías, que en más de una ocasión han puesto a inocentes entre rejas por los errores en los sistemas de reconocimiento facial usados, que son especialmente dados a confusiones en personas de piel oscura. Si bien se prohíbe la actuación policial predictiva relativa a la probabilidad de cometer un delito sobre la base de "rasgos o características de personalidad", un sistema de este tipo podría, por ejemplo, seguir a personas inocentes que simplemente tengan algún parecido con alguna persona sospechosa. Además, las excepciones al uso de estas herramientas no son suficientes para evitar su empleo con fines de vigilancia masiva, dependiendo de factores como por ejemplo qué se considere un delito grave.

Vacíos legales y picaresca

El segundo reto al que se enfrenta la norma en el ámbito de la protección de derechos está relacionado con sus vacíos legales. El director del Instituto de Ética de la IA de la Universidad de Oxford, John Tasioulas, y la especialista en derechos humanos Caroline Green, señalan en su análisis The EU’s AI Act at a Crossroads for Rights que dichas lagunas están asociadas al enfoque de la ley basado en listas para determinar el nivel de riesgo, "algo que es altamente difícil de enumerar". 

Por ejemplo: se catalogan como de alto riesgo los “sistemas de IA empleados para el envío o el establecimiento de prioridades en el envío de servicios de primera intervención en situaciones de emergencia”. Dicha descripción excluye la asistencia médica no urgente. Pero, ¿y un sistema de IA se encarga de priorizar las solicitudes de citas comunes y resulta que discrimina sistemáticamente a las mujeres o miembros de minorías raciales? Sería de "alto riesgo", aunque según la ley no entraría en esta categoría.

Otro ejemplo, de muchos, es el de la prohibición de extracción no selectiva de imágenes faciales de internet o de cámaras de videovigilancia para la creación de bases de datos de reconocimiento facial. Se quedan fuera el resto de los datos biométricos, como las huellas dactilares o la voz, que son igualmente sensibles.

Un tercer desafío para la AI Act es cómo evitar la picaresca, esto es: cómo prevenir que tanto empresas como gobiernos y otros actores evadan las obligaciones de la norma. Por ejemplo, los modelos fundacionales (la IA generativa) se regulan en ella como sistemas de IA de propósito general (GPAI). Su inclusión es algo a celebrar, reclamada por colectivos de la sociedad civil, la academia y profesionales del mundo del arte y la creación de contenido.

Celebran, en concreto, las medidas incluidas respecto a la transparencia de dichos modelos y a la exigencia de que cumplan con la legislación de la UE en materia de derechos de autor, de modo que cualquier uso de contenido protegido por dichos derechos requiera la autorización de su titular. Lo que no está claro es “hasta qué punto será eficaz para reparar el daño que ya se ha causado”, señala un comunicado del Gremio Europeo para la Regulación de la Inteligencia Artificial (EGAIR), que reúne a artistas, creativos, editores y asociaciones de toda Europa.

Además, hay algunos recovecos por los cuales se podrían escapar algunas de las exigencias requeridas para la IA generativa. En específico, para los sistemas que se catalogan de alto riesgo, cuyo umbral se ha fijado en 10 elevado a 25 flops u operaciones por segundo.

Esta medida ha sido criticada por carecer de principios y por ser fácil de sortear. En conversación con el profesor emérito de la Universidad de Nueva York (NYU), Gary Marcus, el experto en IA expone sus dudas sobre este criterio, y señala que espera que pueda revisarse con el tiempo.

Por otra parte, la AI Act excluye de su ámbito de aplicación "los sistemas de IA utilizados con el único fin de investigación e innovación, y a las personas que utilizan la IA por motivos no profesionales". Pero, ¿qué entra exactamente dentro de estas categorías? Según lo amplia que pueda ser su definición, habrá más o menos opciones de refugiarse en ella para saltarse la norma.

Aplicabilidad

Otro desafío relacionado, del que poco se habla, es cómo garantizar el cumplimiento de la Ley de IA. Como señala Alex Engler, asociado al Centro de Estudios de Política Europea, independientemente de qué sistemas específicos estén regulados o prohibidos, el éxito de ley dependerá de una estructura de aplicación bien concebida. ¿Se va a canalizar a través de una única Autoridad Nacional de Supervisión o de múltiples autoridades de vigilancia del mercado? ¿Cómo se va a aprobar qué organizaciones podrán revisar y certificar sistemas de IA de alto riesgo? ¿Quién va a controlar a los certificadores? ¿Qué recursos habrá para todo ello?

Todo ello está por ver, si bien tenemos precedentes poco halagüeños con el Reglamento General de Protección de Datos (RGPD). Como ya contamos en D+I, esta norma sigue encontrando una fuerte resistencia, además de enfrentarse a la emergencia de una variedad de argucias para evitar su ejecución. Es más, casi todos los Estados miembros tienen algún problema de procedimiento que dificulta su cumplimiento, según un análisis de Noyb.

Por otra parte, en la Ley de IA está por determinar el proceso de queja, reparación y responsabilidad civil por parte de personas perjudicadas por sistemas basados en estas tecnologías. Los afectados pueden presentar sus quejas ante la autoridad de vigilancia del mercado pertinente, pero, ¿qué sucede si no saben que han sido perjudicados por una mala decisión automatizada? (algo muy común, teniendo en cuenta la invisibilidad de estos sistemas y la falta de transparencia de quienes los usan).

El acuerdo provisional del 8 de diciembre prevé obligaciones de registro en la base de datos de la UE para sistemas de IA de alto riesgo, incluidos los utilizados por entidades públicas. El preacuerdo también menciona el requisito informar a las personas cuando estén expuestas a un sistema de reconocimiento de emociones. Sin embargo, no está claro si se incluirán otras medidas contempladas en el borrador del Parlamento europeo, que generaliza dicha obligación a cualquier sistema de IA de alto riesgo, y añade el derecho explícito a una explicación a quienes se vean afectados negativamente por estos.

Una nueva propuesta de Directiva sobre responsabilidad de la IA pretende aclarar las obligaciones legales relacionadas con daños provocados por sistemas de IA cuando no existe un acuerdo contractual previo. El propósito de esta norma es disminuir la ambigüedad legal sobre la asignación de responsabilidades a personas o entidades específicas en el contexto del uso de IA, especialmente cuando la toma de decisiones de dichos sistemas es opaca.

Sin embargo, persisten dudas acerca del impacto que tendrán estos procedimientos de compensación a nivel individual. ¿Habrá suficientes recursos de asesoría legal para llevar a cabo la imputación de responsabilidades civiles por perjuicios ocasionados por estas tecnologías? ¿Tendrá un demandante promedio la capacidad de localizar y sufragar los gastos de servicios legales especializados que se requieren para litigar contra los responsables del daño sufrido a causa de sistemas de IA?

Impulsar la innovación

Por último, la AI Act se enfrenta al reto de fomentar el desarrollo y la innovación en el ámbito de la IA. En la ley se contempla una serie de "medidas en favor de la innovación", al establecer un marco básico en términos de gobernanza, supervisión y responsabilidad, impulsar la creación de espacios controlados de pruebas para tecnologías innovadoras (los denominados sandbox), reducir la carga normativa que deben soportar las pymes y las start-ups (con algunas derogaciones) y apoyarlas en el proceso de adopción de la norma.

En cuanto a los costes de cumplimiento y las obligaciones de responsabilidad por el uso de modelos de propósito general, la idea es que la mayor carga recaiga sobre las empresas que desarrollan dichos modelos. También hay medidas aligeradas para el software libre y los modelos de código abierto, siempre que no se trate de sistemas prohibidos o de alto riesgo.

“Estas, junto con otras medidas, como las redes adicionales de centros de excelencia en IA y la Asociación público-privada sobre Inteligencia Artificial, Datos y Robótica, y el acceso a centros de innovación digital e instalaciones de pruebas y experimentos, ayudarán a crear las condiciones marco adecuadas para que las empresas desarrollar y desplegar IA”, señala un documento explicativo de la Comisión Europea

Todo esto suena bien en principio, pero la clave es cómo se traslade a la norma y cómo ponga en práctica. Igualmente relevante es qué otras acciones se van a poner en marcha para impulsar el ecosistema, para lograr un verdadero mercado único digital europeo, para catalizar la inversión en innovación y en la adopción de tecnologías de vanguardia, y para la creación de estándares que permitan la interoperabilidad y la compartición de datos, entre otras medidas.

Esto es, en parte, lo que pretende la Estrategia Europea de IA, dentro de la cual se integra la Ley de IA, y que incluye un Plan Coordinado sobre IA con medidas “que tienen como objetivo desbloquear recursos de datos, fomentar la capacidad informática crítica, aumentar las capacidades de investigación, apoyar la Red Europea de Instalaciones de Pruebas y Experimentación (TEF) y Apoyar a las PYME a través de la red europea de centros (EDIH)”.

Balance positivo

En suma, tenemos cinco grandes retos para la AI Act -falta de precisión, lagunas de derechos, potencial de evadir la norma, mecanismos de cumplimiento e impulso a la innovación- que está por ver cómo aborda el texto final de la norma.

Para tratar de mitigar las lagunas de derechos con respecto a los sistemas clasificados como de no alto riesgo, Tasioulas y Green proponen incluir en la propia ley las Directrices éticas para una IA fiable como principios subyacentes. Su incorporación se haría en forma de artículo o considerandos, de modo que se apliquen a todos los sistemas de IA, independientemente de su clasificación de riesgo.

En los casos de dudas sobre la precisión y rendimiento de ciertas tecnologías como las de reconocimiento facial, reconocimiento de emociones e identificación biométrica, sería necesario -como mínimo- añadir requisitos relacionados con el margen de error permitido.

En cuanto a las posibilidades de sortear la norma, será crucial la flexibilidad de la ley y su capacidad de adaptación. En este sentido, la secretaría de Estado de Digitalización e Inteligencia Artificial, Carme Artigas, reconoció en la rueda de prensa posterior al acuerdo del 8 de diciembre que son conscientes de las flaquezas de algunas medidas, como la relativa a qué sistemas de propósito general se consideran de alto riesgo. Artigas aseguró que está previsto actualizar el mecanismo mediante otros criterios, con ayuda del Consejo Científico asesor asociado a la nueva Oficina de IA, cuya creación también contempla la ley.

Está claro que ninguna ley es perfecta, y que siempre habrá cosas que vayan mal. La clave es dónde, y en qué situaciones, poner el límite de lo aceptable. En todo caso, esta ley lanza un poderoso mensaje al mundo, que podría replicarse en otros lugares si, como con el RGPD, hay un nuevo efecto Bruselas. A juzgar por los comentarios de algunos funcionarios europeos, este ya se está produciendo, con países de fuera de la UE expresando su interés por seguir los pasos del Viejo Continente con la AI Act.

Como dice Marcus, "Europa debería estar orgullosa". "Esta es la primera regulación real y reflexiva sobre la IA en el mundo", añade. Algo que considera un hito por cómo combina la posibilidad de innovación tecnológica con la protección de los ciudadanos. Como dijo la presidenta de la Comisión Europea Ursula von der Leyen: "La Ley de IA traslada los valores europeos a una nueva era".

Eso sí, recordemos que el preacuerdo es aún provisional y ha de ser ratificado por los Estados miembros. El pasado lunes, el presidente francés Emmanuel Macron alertó sobre el peligro de que la Ley de IA pueda poner en desventaja a las compañías tecnológicas de Europa (como la francesa Mistral) frente a sus competidores en EEUU, Reino Unido y China, informa Financial Times.

Según el diario británico, Francia, Alemania e Italia están conversando sobre la posibilidad de buscar modificaciones o incluso de impedir que se apruebe la ley. La primera señal la dieron el pasado viernes durante la reunión del Comité de Representantes Permanentes de los Gobiernos de los Estados miembros (COREPER). Estos países, con el apoyo de Hungría, Finlandia y Polonia, manifestaron -según Luca Bertucci, de Euroactiv- que podían comprometerse a apoyar el acuerdo sin ver el texto, dejando de manifiesto que la batalla por la Ley de IA aún no ha terminado.