La Comisión Europea presentó la semana pasada su esperado reglamento sobre inteligencia artificial, un conjunto de nuevas normas y medidas que tienen como objetivo generar confianza en esta tecnología y potenciar la inversión y la innovación en un sector que será clave en el proceso de recuperación tras la crisis de la covid.

Con este nuevo reglamento, que se basa en un enfoque basado en el riesgo, tanto para la seguridad como para los derechos fundamentales de los ciudadanos, la Unión Europea aspira a fijar los estándares internacionales en este sector, como ya hizo en materia de protección de datos, y mantener así una posición de liderazgo mundial.

En Disruptores e Innovadores (D+I) hemos querido conocer la opinión que tienen algunas de las voces que más relevantes en el sector de la inteligencia artificial en España sobre el reglamente propuesto. Un texto que consideran en gran medida positivo y relevante, pero que algunos expertos creen que es algo vago y abstracto.

Fuentes de la Secretaría de Estado de Digitalización e Inteligencia Artificial (SEDIA) afirman que esta regulación es un importante paso adelante para que Europa defina su propio modo de diseñar la realidad digital, basado en el respeto de valores y derechos fundamentales. Además, ven muy positivo el carácter equilibrado de la propuesta, porque no regula todos los usos de la Inteligencia Artificial a priori, solo algunos concretos, ni tampoco la tecnología en sí misma.

En este sentido, consideran que el "enfoque basado en riesgo" es sin duda es uno de los aspectos más positivos del reglamento, que, además, aprovecha leyes ya existentes para regular esos usos y, en aquellos casos donde no existan esas leyes, se definen unas prohibiciones de ciertos usos y unas obligaciones para ciertos tipos de sistemas.

"El fin es sólo cubrir gaps regulatorios y a la vez no regular todos los usos de la IA, para garantizar el respeto a derechos individuales y colectivos a la vez que no se frena la capacidad de innovación", remarcan desde la Secretaria de Estado, que ve positiva la introducción de un marco regulatorio que se apoya en publicaciones previas y que ha recogido un amplio número de contribuciones en su elaboración.

Asimismo, la Secretaría que dirige Carme Artigas apunta que la idea de que la clasificación estuviera sujeta a una evaluación de riesgo fue una demanda previa a la publicación del borrador por parte de España y otros países. En cuanto a la prohibición de sistemas de scoring, indica que obedece a un respeto a la igualdad de todos los ciudadanos y a los derechos individuales de las personas.

Vigilancia biométrica masiva

A este respecto, incide en que la vigilancia biométrica masiva tiene fuertes implicaciones sobre los datos personales de los ciudadanos y sobre los efectos de una posible categorización hacia los mismos. "Parece, por tanto, que la prohibición es procedente, si bien es importante remarcar que ni se prohíben todos los sistemas de scoring ni todos los sistemas de vigilancia biométrica masiva, sino aquellos que cumplan ciertas condiciones", subraya.

Por otro lado, cree que la propuesta tendrá "efectos positivos" para impulsar el uso y la innovación en IA, ya que busca establecer unas reglas del juego "claras y compartidas" para que los agentes económicos y toda la ciudadanía tengan certidumbre sobre el funcionamiento y aplicaciones de la inteligencia artificial y, asimismo, se genere un entorno de confianza.

Además, añade que, si tras la negociación del reglamento se consigue un texto satisfactorio para todas las partes, "Europa será pionera en una regulación de este tipo, que tiene en consideración problemas éticos". "Ello trae consigo dos efectos positivos: este marco se reproducirá en más lugares del mundo, posicionando a Europa y sus empresas en una posición de ventaja; y se fomentará la innovación responsable", asegura.

Por su parte, Gemma Galdon, fundadora de Eticas y pionera en auditoría ética algorítmica, explica que la propuesta de Ley de Inteligencia Artificial (IA) de la CE forma parte de toda una batería de medidas que hay que entender en el contexto del esfuerzo regulador de la IA y los algoritmos. "Es una regulación muy relevante que complementa a otras regulaciones como el RGPD, la Directiva de Privacidad Electrónica o La Ley de Servicios Digitales", comenta.

Galdon señala los cinco puntos a su juicio más relevantes. El primero, que "deja claro que hay tipos de inteligencia artificial que están prohibidos, que no hay que desarrollar". Estos se enmarcan en dos grandes categorías: la IA diseñada para manipular comportamientos y sistemas de crédito social que otorgan una puntuación a cada persona en base a su comportamiento.

El segundo punto "interesantísimo" es el que delimita cuáles son las categorías de ‘IA de alto riesgo’, que por tanto deben someterse a auditoría. Entre ellas están su aplicación en justicia, inmigración, servicios sociales o empleo. “Además establece qué medidas hay que tomar para reducir ese riesgo, una especie de lista de comprobación para la auditoría”. Esto, a su juicio, “aporta claridad sobre los pasos a realizar”.

Clafisicación en función de los riesgos

El tercer punto es la categoría 'IA de riesgo limitado', "que incluye las tecnologías que no suponen riesgo de impacto en derechos fundamentales pero sí deben cumplir ciertas reglas, por ejemplo de transparencia". Un ejemplo: quienes usen chatbots deben informar de que se está hablando con una máquina y no con un humano.

El cuarto punto es la categoría de 'IA de riesgo mínimo', "que es interesante porque no asume que haya IA de riesgo inexistente". En esta clasificación entran, por ejemplo, sistemas que se usan en logística y que no incorporan datos personales sino que se usan para permitir otros servicios. Por último, Galdon destaca del documento la futura creación de un Consejo Europeo de la IA' para asegurar que la regulación se implementa y se cumple.

Si bien la experta alaba la propuesta de la CE, cree es posible que la categoría de ‘IA de riesgo mínimo’ y las exenciones por seguridad "sean un coladero". Sostiene que eso es "peligroso" porque "hay principios como la proporcionalidad o la eficiencia que habría que mantener incluso en esos entornos más sensibles". Es decir, "demostrar que la tecnología que se va a utilizar realmente hace aquello que dice hacer y exigir que se documenten las prácticas y procesos, de forma que puedan auditarlas las autoridades competentes", sostiene.

Lo próximo -dice Galdon- es definir las prácticas y estándares en la implementación de la normativa, algo que subraya también Clara Neppel, directora de la oficina europea del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE), a quien le parece "muy valiente que Europa sea la primera en el mundo en establecer un marco legal para el desarrollo, despliegue y uso responsable de la IA".

Teconología en beneficio de la sociedad

Eso es lo que IEEE defiende con su lema 'Avanzar la tecnología en beneficio de la humanidad'. "La mayoría de las recomendaciones que hemos estado haciendo para pasar de los principios a la práctica han encontrado salida esta propuesta regulatoria", afirma la experta. "Es la primera vez que vemos una regulación sobre el uso de tecnología que tiene en cuenta las violaciones de los derechos humanos (DDHH) y establece líneas rojas claras", asegura.

Neppel cree que las normas y certificaciones internacionales desempeñarán un papel importante en la implementación de este reglamento a escala mundial, dado que se aplicará a todos los productos y servicios que se comercialicen en Europa, independientemente de dónde se hayan desarrollado.

La cuestión, dice la experta, es hasta qué punto estándares internacionales como los de IEEE van a ser reconocidos en la UE. "Tradicionalmente, la estandarización IEEE se ocupa de cuestiones técnicas, como la interoperabilidad, la seguridad o la protección. Sin embargo, para la IA hemos estado desarrollando también estándares sociotécnicos que tienen en cuenta otros aspectos como los DDHH", comenta.

Neppel subraya que, para dotar de confianza y aceptación a los estándares y prácticas derivadas de la norma de la UE, "es importante que los grupos de trabajo convoquen a tecnólogos con grupos de partes interesadas". También "que se centren en crear marcos de procesos para incorporar valores en proyectos de innovación e ingeniería, definiendo diferentes niveles de transparencia para necesidades incrementales, consideraciones de sesgo algorítmico o el entorno".

Sobre posibles aspectos a aclarar en la regulación, cree que la mención a la identificación biométrica en espacios públicos como una de las posibles aplicaciones de alto riesgo de la IA podría no interpretarse de forma suficientemente amplia. "Muchos de los sistemas de IA lo que hacen no es identificar individuos sino reconocerlos para futuras interacciones con el sistema", comenta.

Al respecto, Neppel considera necesario "hacer a los usuarios conscientes de estas prácticas que vienen del uso y agregación de sus datos personales por parte de sistemas de IA", afirma. "Es importante tener políticas y prácticas que hagan que los usuarios sean conscientes explícitamente de las consecuencias resultantes de dichos procesos", concluye.

Vaguedad en la definición de términos clave

Más crítica se muestra Nuria Oliver, directora científica del centro del Laboratorio Europeo para los Sistemas de Inteligencia y Aprendizaje (ELLIS) en Alicante y doctora en Inteligencia Artificial por el MIT. La experta asegura que "hay una cierta vaguedad en la definición de términos clave en la regulación".

Por ejemplo, la regulación expresamente prohíbe técnicas subliminales o explotar las vulnerabilidades de grupos específicos "con el fin de distorsionar materialmente su comportamiento de una manera que es probable que cause a ellos o a otras personas daño psicológico o físico". Siguiendo esa definición -dice Oliver- "se podría argumentar que la mayoría de las redes sociales, videojuegos y servicios digitales que utilizamos estarían prohibidos bajo esta regulación".

La también académica de la Real Academia de Ingeniería cree que es asimismo ambigua la clasificación de los sistemas de IA entre alto y bajo riesgo. "Sistemas que a priori podrían clasificarse como de bajo riesgo, una vez desplegados en la sociedad podrían resultar ser de alto riesgo", dice.

Añade que hay "un gran incentivo para que los creadores y proveedores de IA quieran que sus sistemas sean clasificados como de bajo riesgo". "Quién realice esta clasificación y cómo se lleve a cabo será de gran importancia. Una dicotomía de difícil aplicación, que puede ser problemática", sostiene.

A Oliver le sorprende que entre los sistemas de IA de alto riesgo no estén incluidos de manera explícita el sector de la salud -aunque si se mencionen las decisiones médicas asistidas por sistemas de IA- ni las aplicaciones de policía predictiva basadas en IA. Cree también que "hay lagunas preocupantes en la regulación respecto a la prohibición del uso de vigilancia masiva basada en la biometría, ya que solo parece afectar a sistemas usados en tiempo real con motivos policiales y en lugares accesibles públicamente, lo que abre la puerta a poder usarlos con otros motivos y en otros lugares", señala.

A la investigadora le sorprende que la evaluación previa de los sistemas de alto riesgo -salvo los utilizados para la identificación biométrica de personas en tiempo real de personas- pueda dejarse a la autoevaluación por parte de los proveedores de los sistemas de IA. En su lugar, cree "necesario e importante" que esto lo haga una entidad externa.

Penalización poco ambiciosa

Oliver considera que la penalización propuesta por no cumplir con la regulación propuesta "no es lo suficientemente ambiciosa". Sostiene que la máxima penalización -30 millones de euros o un 6% de las ganancias globales- es insuficiente para grandes corporaciones, a quienes les compensará pagar esa multa si a cambio pueden ganar entre un 30% y un 50% más en volumen de negocio gracias al uso de IA. Al mismo tiempo, cree que 30 millones es una cifra "probablemente elevada para las pequeñas empresas".

Otro elemento clave para la investigadora es la creación de mecanismos que permitan a los ciudadanos cuestionar o disputar las decisiones o recomendaciones tomadas por sistemas de IA que afectan a sus vidas. También critica de la propuesta de la CE es que es "fundamentalmente punitiva" y "no incluye elementos incentivadores para la investigación, innovación y desarrollo y uso de la IA con impacto social positivo".

Pese a todo, Oliver asegura que valora el texto de la CE de forma positiva y comparte los objetivos del marco regulatorio propuesto para asegurar que los sistemas de IA que se utilizan en Europa "son seguros y respetan los derechos fundamentales de las personas".

La fundadora de Ethical Tech-Society, Lorena Jaume-Palasí, va más allá. Considera "muy problemático" que la propuesta de regulación "normalice y legitime el uso de técnicas pseudocientíficas". Se refiere, por ejemplo, a la biometría para detectar emociones o expresiones de autenticidad. "Al incluirlo entre las categorizaciones, aunque sean de alto riesgo, se les hace pasar por ciencia neutral y objetiva", sostiene.

Jaume-Palasí, miembro del Consejo Asesor de Inteligencia Artificial de SEDIA, alude a contradicciones del documento: "Al tiempo que critica solucionismo tecnológico de Silicon Valley incurre en sí misma en un solucionismo técnico normativo". Se refiere al hecho de que el abordaje regulatorio se centre en cómo se procesa la tecnología, en lugar de dirigirse a la raíz de los problemas sociales que surgen al aplicar tecnología en un determinado contexto social.

"Regular de forma tan abstracta enfocándose en los procesos tecnológicos para compensar o evitar perjuicios sociales no funciona", afirma la experta. "Es un mecanismo regulatorio que solo distrae porque da la sensación de que controlando la forma en la que se procesan los datos o los algoritmos se solucionan todos los problemas sociales asociados, cuando la base de estos es mucho más compleja y multidimensional", añade.

La formad de abordarlo -reivindica- es mediante una regulación que se base en identificar los conflictos sociales y los valores que se quieren proteger a nivel social. Una aproximación que no dependa del procesamiento de datos sino del problema generado, que abarque tanto la parte técnica como social. "Si son problemas sociotécnicos no podemos crear una regulación únicamente basada en aspectos tecnológicos", señala.

Por otra parte, Jaume-Palasí apunta que este tipo de regulación horizontal va a crear colisiones con regulaciones sectoriales en los estados miembros, sobre las cuales la UE no tiene ninguna competencia pero en los cuales la IA sí se puede aplicar. Como ejemplo pone "la Seguridad Nacional, donde la UE no tiene competencias, pero la tecnología que se regula se usa también en ese sector". "Hay que tenerlo en cuenta porque será muy difícil evitar una situación en que las empresas deban decidir qué ley deben quebrantar", comenta.

Propuesta arbitraria

La experta alude también a la exclusión del sector salud en el documento de la CE, por la cual califica de "arbitraria" la propuesta. "Queda patente que se está regulando con las grandes empresas tecnológicas en el punto de mira, y no en actores menos conocidos pero con alto impacto", incide.

Otro aspecto en el que también incide Jaume-Palasí es que la definición de riesgo que hace el reglamento es "muy selectiva y poco especificada". "No se define cómo balancear diferentes tipos de riesgo. Un servicio puede tener un determinado riesgo ecológico, otro de discriminación, otro de privacidad... por eso no hay sellos que cubran todos los aspectos de riesgo, sino una dimensión específica", concluye.

Por su parte, Manel Carpio, socio de Risk Advisory de Deloitte, señala que la propuesta sienta las bases de lo que se podrá y no se podrá hacer y establece las directrices de cómo hay que gestionar y controlar los sistemas de IA de alto riesgo. "Esto puede considerarse necesario, teniendo en cuenta la tipología de nuevos, y difíciles de mitigar, riesgos que esta tecnología comporta", considera. 

De hecho, apunta que, precisamente, su punto fuerte es que establece las reglas del juego y todo el mundo sabrá lo que se puede y no se puede hacer y, en los casos permitidos, las medidas a aplicar, que requieren de un cierto nivel de control, aunque en un principio no parecen tan complejas. Como puntos débiles, menciona la incertidumbre de no saber cómo se va a aplicar el régimen sancionador y dónde estará el límite de la figura que se denomina proveedor.

Diferente control de riesgo de los sistemas

En cuanto a la clasificación por nivel de riesgo de los sistemas de IA considera que es "necesaria". "A todos nos parecerá que no es lo mismo el control sobre un sistema que pueda gestionar un marcapasos o un coche autónomo, que otro que ayude a hacer ciertas predicciones, pero que posteriormente habrá un análisis de un usuario que podrá decidir si utiliza o no ese dato, y cómo", resalta 

Con respecto a los tres tipos de sistemas prohibidos, aclara que no se prohíben los sistemas de scoring social, sino aquellos que basándose en la información obtenida en determinadas fuentes, como pueden ser redes sociales, generen un scoring que luego conlleve decisiones que puedan perjudicar a la persona. "Esto es algo que ya se está haciendo en China y que, seguramente, no tenga cabida en la mentalidad europea", apunta.

Asimismo, señala que la propuesta de Bruselas es similar en lo referido a la vigilancia masiva de personas con identificación biométrica, "especialmente teniendo en cuenta que la norma ya establece una serie de excepciones, como es la lucha contra el terrorismo".

Por otro lado, Carpio considera que la regulación propuesta no desincentivará la inversión en IA en el Viejo Conteninte. De hecho, subraya que la ley dedica un bloque para anunciar las medidas paa fomentar la innovación, como son las sandboxes y centros de compartición de conocimiento, infraestructuras y datos con los que hacer el aprendizaje de estos sistemas y las pruebas. Además, hace mención especial a facilitar el acceso a estas infraestructuras y conocimiento para startup y pymes.

Por su parte, Teresa Rodríguez de las Heras, investigadora del grupo SOCITEC de la UC3M y miembro del Grupo de Expertos de la Comisión Europea sobre Responsabilidad y AI/robótica/IoT, señala en un documento elaborado por D+I que Europa se ha empezado a decantar por una inteligencia "ética, antropocéntrica y diseñada para producir un impacto social positivo".

Sin embargo, incide en que no podemos caer "en el casuismo". "Es difícil aunar una ley que se tiene que hacer por anticipado, con reglas generales abstractas y lo suficientemente versátil para que en ella quepa todo lo que genera la innovación, añadiendo otros elementos como el cambio permanente y la entrada de modelos de negocios disruptivos", advierte.