Brando Benifei: “La ley de IA será respaldada hasta el final”

Brando Benifei (La Spezia, Italia, 1986) es una de las voces más destacadas en la defensa de los derechos digitales en el Parlamento Europeo. Miembro del Partido Democrático de Italia, lleva casi una década sirviendo como europarlamentario. Es uno de los dos relatores sobre la Ley Europea de Inteligencia Artificial (IA) y forma parte de la Comisión de Mercado Interior y Protección del Consumidor.

El papel de Benifei fue clave en las negociaciones que concluyeron, el pasado 8 de diciembre, con un preacuerdo de AI Act. Su objetivo: que la ley se mantuviera lo más fiel posible a la versión aprobada el 14 de junio por el Europarlamento, alineada en buena medida con las demandas de la sociedad civil. Él cree haberlo logrado. En esta entrevista revela por qué y qué significa la ley de IA para la innovación, y aclara los puntos más conflictivos de la norma.

Pregunta: ¿Está contento con el contenido del preacuerdo alcanzado?

Respuesta: Sí, estoy feliz. Este es el mejor acuerdo al que pudimos llegar. Está muy cerca del texto del Parlamento y muy lejos del texto del Consejo en muchos puntos importantes. Esto traerá aún cierta tensión de cara a la aprobación final de la ley. El Consejo ha perdido en casi todos los puntos. Aceptaron muchas de las obligaciones y prohibiciones de nuestra propuesta. Agradezco su predisposición para llegar a un compromiso.

P: Hablando de esa tensión que menciona, varios países han expresado incertidumbre sobre si votarán a favor o en contra de la ley, a la espera de la revisión del texto final.  ¿Es posible que haya enmiendas o que incluso no se apruebe?

R: Hay que dejar muy claro que no hay manera de que podamos reabrir el acuerdo ni el texto. Cada vez que tenemos este tipo de acuerdos importantes hay cierta tensión posterior. Creo que será necesario que la presidencia española, y posteriormente la belga, trabajen para impulsarlo, pero soy absolutamente optimista. Creo que estas resistencias se superarán porque necesitamos el reglamento. El acuerdo será respaldado hasta el final.

P: Los gobiernos de estos países y algunos actores corporativos aseguran que la AI Act no apoya a los líderes de la IA en la Unión Europea (UE) ni promueve la innovación.

R: No estoy de acuerdo. Esto es más bien un lobby de unos pocos jugadores que no quieren reglas, algo que quedará de manifiesto y superado. Hemos establecido algunas obligaciones de transparencia y controles de seguridad para los sistemas de IA de propósito general, con cierta flexibilidad para que se incluyan modelos nuevos que planteen riesgos sistémicos. Afectarán principalmente a los modelos estadounidenses, y tal vez más adelante a empresas europeas.

[Artigas: "Hemos medido muy bien la prohibición de que la IA segmente por raza, creencia u orientación sexual"]

Esto es algo que beneficia a la competitividad europea porque, si una empresa quiere utilizar uno de estos modelos para desarrollar su propio sistema, no será esta quien deba cumplir con dichas obligaciones. Por ejemplo, si una compañía A desarrolla un sistema para optimizar el trabajo de determinados empleados, será esta quien tendrá que realizar la evaluación de la conformidad, y no la compañía B que lo vaya a utilizar. Sin estas reglas, la empresa B correría muchos más riesgos, al no saber si la empresa A está cumpliendo con la ley, ni si su seguridad está garantizada.

La ley construye una cadena de responsabilidad que evita que la carga recaiga sobre la empresa B. Es decir, que las pymes no solo tendrán toda la información sobre cómo funcionan dichos modelos (dadas sus obligaciones de transparencia y de reportes sobre diferentes aspectos) sino que también estarán protegidas y liberadas de unas cargas que no deberían asumir.

P: ¿Cuáles son esas "descargas" en el caso de las tecnologías de código abierto?

R: Este es un punto muy importante. Si son realmente de código abierto y no se venden para uso comercial, no tendrán obligaciones salvo que sean modelos sistémicos o que entren en la categoría de alto riesgo. No queremos desincentivar a los desarrolladores de código abierto en Europa ni que tengan miedo de que si desarrollan modelos de IA, tendrán que ser responsables de los usos que terceros hagan de ellos. Al mismo tiempo, debemos estar seguros de que las grandes tecnológicas no utilizarán el código abierto para evitar cumplir con las obligaciones del reglamento. Por eso, los modelos fundacionales que sean de código abierto seguirán teniendo que cumplir con las leyes de derechos de autor y otras obligaciones que afectan a la IA de propósito general.

P: Siguiendo con la IA generativa, hay quienes critican que el umbral para calificarla como de alto riesgo sea de 10 elevado a 25 flops, por carecer de principios y ser fácilmente evadido.

R: Estamos de acuerdo. El parlamento insistió en contar no solo con ese criterio. Este se utilizará como base, pero la Oficina de IA -que tendrá la tarea específica de supervisar la aplicación del reglamento- tendrá flexibilidad para identificar una combinación de criterios que, en ciertos casos, puedan indicar que un modelo plantea un riesgo sistémico, incluso si tuviera una potencia menor que 10 elevado a 25 flops.

P: ¿Cuándo se creará dicha oficina y con qué presupuesto?

R: La oficina se establecerá inmediatamente después de la aprobación de la AI Act, tras la votación prevista para febrero o marzo. El presupuesto todavía está por verse, pero tendrá su propia línea presupuestaria.

P: ¿Cómo se coordinará dicha oficina con otras autoridades nacionales de supervisión y autoridades de vigilancia del mercado?

R: Tendrá un papel preeminente en la supervisión de los modelos más potentes y la inteligencia artificial de propósito general, además de en sus obligaciones de transparencia relacionadas con el cumplimiento de los derechos de autor y en la identificación de contenido generado por IA. Sin embargo, en los casos de uso prohibidos y de IA de alto riesgo habrá una responsabilidad mixta.

Las autoridades nacionales de supervisión seguramente tendrán un papel importante para verificar la clasificación de los sistemas, y para comprobar que no se estén usando aquellos que prohíbe la ley. En estos casos, la Oficina de IA coordinará las investigaciones a un nivel superior. Por ejemplo, para violaciones transnacionales de la regulación que afectan a más estados miembros.

P: Hablemos de esas prohibiciones. Una de ellas afecta a los sistemas de policía predictiva. Usted aseguró en la conferencia de prensa posterior al acuerdo que no se permitirá ningún uso de este tipo, pero la nota de prensa del Consejo de la UE asegura que dicho veto aplica a "algunos casos de policía predictiva para individuos".

R: No es así. Puedo confirmarlo porque esto fue lo último que acordamos y tuvimos que lucharlo mucho. El texto contiene una prohibición total de la vigilancia policial predictiva, es decir, de los sistemas que se usan para predecir quién cometerá un delito. No creemos que estos sistemas funcionen, y aunque lo hicieran, creemos que usarlos sería completamente contrario a cualquier forma de respeto de los derechos fundamentales, incluida la presunción de inocencia.

Lo que sí se permite es el empleo de tecnologías de análisis criminal. Es decir, con los datos de los delitos que se están cometiendo, se pueden tener modelos para entender en qué zonas de un país o de una ciudad hay más riesgo de que ocurran determinadas infracciones. Esto es algo que ya se hace con estadísticas, incluso sin IA.

P: Este tipo de sistemas en países como EEUU ya han demostrado discriminar, por ejemplo, en barrios habitados mayoritariamente por personas de color.

R: Estoy de acuerdo, pero la AI Act también prohíbe usar sistemas de categorización biométrica que utilizan características sensibles como la raza. Estas prohibiciones combinadas impiden el uso de la IA con esos fines. También en Estados Unidos están dejando de hacerlo porque no está funcionando.

P: Otro punto conflictivo es la eliminación de la prohibición de usar sistemas de reconocimiento de emociones en la aplicación de la ley y en inmigración, a pesar de que no hay evidencia científica de que estos sistemas funcionen en la práctica.

R: En efecto, nuestra preocupación es que estos sistemas no funcionen. Por eso nuestra intención era prohibir las cuatro áreas de uso, y así lo aprobó el Parlamento. Sin embargo, tanto la Comisión Europea como el Consejo propusieron no tener ni siquiera una clasificación de riesgo para ninguna de ellas. Estábamos en el extremo opuesto, y al final lo que acordamos fue casi lo mismo que había acordado el Parlamento. Les convencimos de que era necesario cambiar su posición y aceptar la prohibición del uso de estas tecnologías en el lugar de trabajo y en educación.

Los otros dos usos, aunque no estén prohibidos, serán de alto riesgo. Eso significa que deberán realizarse muchas comprobaciones para que puedan usarse, incluidos los datos utilizados para capacitar al sistema, y en materia de ciberseguridad y supervisión humana. Creemos que esto evitará cualquier uso abusivo y, obviamente, revisaremos cómo se implementa. Es una de nuestras grandes victorias.

P: ¿Cómo se evaluará la protección y monitoreo de la ciberseguridad?

R: Habrá normas y estándares para respetar estas obligaciones que se desarrollarán después de que se apruebe la ley.

P: Supongo que sucederá lo mismo con los informes sobre el consumo energético de la IA.

R: Sí, necesitamos desarrollar los estándares. Sin embargo, para las obligaciones que afectan a la inteligencia artificial de propósito general acordamos que la entrada en vigor sería después de solo 12 meses aproximadamente. Queríamos que las obligaciones y salvaguardas fueran aplicables antes que el resto, dados los riesgos sistémicos de estos modelos.

[Ibán García del Blanco: "La ley de inteligencia artificial es el colofón al ecosistema legislativo digital europeo"]

Es importante señalar que las autoridades supervisoras examinarán cómo se realiza todo esto. También es muy importante comentar que hubo una gran lucha con el Consejo para permitir que los ciudadanos puedan denunciar abusos y violaciones de la norma, o si han sufrido algún daño causado por estos, de modo que pueda haber un control directo por parte de la autoridad supervisora. Es una posibilidad de reparación que no estaba en el texto original.

P: Eso se complementará con la propuesta de Directiva sobre responsabilidad de la IA.

R: Sí. Todavía se está debatiendo. Con suerte, se aprobará en los próximos mandatos una directiva integral sobre responsabilidad de la IA.

P: ¿Va a tener la AI Act carácter retroactivo en sistemas que hayan sido comercializados con anterioridad a su aplicación, aunque esto implique cambios sustanciales?

R: Sí, estos tendrán algo de tiempo para adaptarse, pero igualmente deberán cumplir la ley.

P: ¿Qué impacto espera que tenga esta ley en el mundo?

R: Estamos seguros de que este reglamento allanará el camino hacia un esfuerzo internacional para regular la IA que pueda hacer que esta tecnología esté realmente al servicio de las necesidades de la humanidad a mayor escala, desde la lucha contra el cambio climático hasta la seguridad global.

*Nota: Esta entrevista ha sido realizada por videoconferencia. El texto ha sido editado por razones de cohesión y claridad.