El uso y comercialización de sistemas de reconocimiento y análisis facial por parte de las empresas plantea preocupación y dudas entre la sociedad ante los riesgos que estas herramientas pueden presentar para el respeto de los derechos fundamentales de las personas. Así, persiste el debate de si los efectos negativos sobre cuestiones como la igualdad o la privacidad que acarrean pueden superar a los beneficios que podrían generar.
Por este motivo, un grupo de alrededor de 70 expertos y académicos ha enviado una carta al Gobierno solicitando la puesta en marcha de una comisión de investigación que estudie la necesidad de establecer una moratoria "urgente e imprescindible" en el uso de estos sistemas por parte de las empresas, tanto del sector privado como del público.
Su propuesta es que esta moratoria esté en vigor hasta que las Cortes Generales y las instituciones legislativas debatan "cuáles, de qué manera, en qué condiciones, con qué garantías y con qué objetivos" debe permitirse el uso de estos sistemas, si es que cabe autorizar su utilización.
Los expertos no ocultan su preocupación por los "potenciales efectos perniciosos" que estos sistemas pueden tener sobre el bienestar, los intereses y las necesidades y derechos fundamentales de la población española. Además, advierten de que están en juego cuestiones "fundamentales" de justicia social, dignidad humana, equidad, igualdad en el trato e inclusión.
"Por ello, nos parece necesario que el Gobierno intervenga de manera rápida antes de que estos sistemas continúen expandiéndose y se conviertan en estándares de facto, a pesar de la intromisión que supone en el esfera privada de las personas sin su consentimiento explícito", recoge la carta.
Asimismo, los firmantes resaltan que, dadas las graves deficiencias y los riesgos que muestran estos sistemas, los beneficios que podrían aportar no compensan "de ninguna manera" sus potenciales efectos negativos, especialmente en aquellos grupos que suelen padecer injusticias o tratos discriminatorios.
Aunque la carta se centra en aspectos relacionados con la justicia y la igualdad, los firmantes mencionan otros problemas interrelacionados con estos sistemas, como cuestiones de privacidad, seguridad o consentimiento para la regocida de datos o el "profundo condicionamiento coercitivo que trae aparejada una vigilancia ubicua".
Problemas de los sistemas de reconocimiento facial
Los expertos argumentan su petición en que los sistemas de reconocimiento y análisis de imágenes de personas y, por extensión, los algoritmos de aprendizaje automático que los sustentan computacionalmente, tienen "problemas graves" que han sido "ampliamente documentados y discutidos" por la comunidad científica y entidades gubernamentales y civiles.
Por ejemplo, exponen que es "altamente problemático" asociar a una persona una determinada característica o tendencia a partir de estadísticas poblacionales. Así, otorgar una puntuación a un individuo con estos criterios podría calificar de moroso al cliente de un banco o de tramposo a un estudiante solo por el hecho de que otros "similares" a ellos lo hayan sido.
Los expertos consideran que incluir a una persona en un perfil o categoría completa no determina su futuro y viola la idea fundamental de que los seres humanos tienen libre albedrío y su comportamiento no está determinado de antemano, sino que disfrutan de libertad de decisión y propósito.
En esta línea, también advierten de que asociar posturas, gestos, rasgos faciales, colores de piel, peinados o prendas de vestir a posibles comportamientos problemáticos o a capacidades intelectuales o económicas puede resultar en clasificaciones "racistas, clasistas y/o sexistas", que no cuentan con base científica y están asociadas a experimentos "nefastos" pasados, como la eugenesia, la frenología o la criminalística de Lombroso.
Opacidad de los algoritmos
Por otro lado, los expertos alertan de que los algoritmos de aprendizaje que necesitan estos sistemas suponen "cajas negras" cuya opacidad dificulta saber como toman sus decisiones y en qué criterios las basan. Así, inciden en que, aunque técnica y teóricamente es posible desarrollar sistemas más transparentes, los actuales no están diseñados para rendir cuentas de forma que se ajusten a lo que se requiere en una sociedad democrática.
En esta línea, también argumentan que estos sistemas son "poco robustos", ya que la calidad de sus resultados depende en gran medida de cuestiones contextuales. Por ello, existe el riesgo de que los resultados no sean correctos cuando las condiciones de su uso son distintas a las utilizadas durante su entrenamiento.
Los firmantes aluden además en su carta al caso recientemente publicado sobre Renfe, que tuvo que retirar una licitación para el desarrollo de un sistema de reconocimiento y análisis que debía permitir identificar el género, la etnia o incluso el estado emocional de los usuarios. Sin embargo, agregan que este no es un caso único, ya que existen sistemas similares para entornos educativos, laborales, sanitarios o de ocio, entre muchos otros, tanto el ámbito público como privado.
Por todo esto, los expertos concluyen su carta defendiendo que existe una "variada gama de razones" que justifican la creación de una comisión para investigar la necesidad de la moratoria propuesta. Una comisión que debe ser independiente y estar formado por científicos, juristas, expertos en ética y en inteligencia artificial y por miembros de la sociedad civil, especialmente aquellos que se ven más afectados por estos sistemas.