Uno de los comentarios más racistas que se puede hacer es el de comparar a una persona de color con un mono, que es precisamente lo que se descubrió que hacía un algoritmo de reconocimiento facial de Google en 2015. Pero, aunque se sabe desde hace tiempo que estos algoritmos se asocian graves errores discriminatorios, ha hecho falta un gran levantamiento social para que las empresas que los crean y comercializan se replanteen su postura hacia ellos.

La semana pasada, medio de las protestas masivas en EEUU contra la brutalidad policial y el racismo institucional, IBM anunció que dejaría de trabajar por completo en la tecnología (aunque es cierto que el reconocimiento facial casi no tiene peso en su negocio). A raíz de este movimiento y consumidas por la presión, Microsoft anunció que dejaría de vender su sistema a organismos se seguridad hasta que la ley lo regule, mientras que Amazon ha establecido una moratoria de un año para sus usos policiales.

Para entender lo importante que es esta noticia hay que en cuenta que desde que se descubrió el fallo en el algoritmo de Google, tecnología no solo no ha dejado de ser racista, sino que cada vez se usa más.

Facebook utiliza reconocimiento facial para identificar quién es la persona que aparece en una imagen, Apple lo tiene integrado en Face ID como clave biométrica para desbloquear un teléfono y en China lo usan prácticamente para todo, desde comprar billetes de tren hasta acceder a oficinas. Y, por supuesto, también es utilizado por organismos como departamentos policiales para labores de vigilancia.

La misión de la tecnología consiste en identificar el contenido de una fotografía o un vídeo (caras incluidas) de forma automática mediante un algoritmo de inteligencia artificial. Aunque hay varios enfoques para lograrlo, el básico consiste en entrenar al sistema con un montón de imágenes etiquetadas hasta que aprende a distinguir cada elemento: un perro de un gato, un hombre de una mujer, y por supuesto, una persona negra de cualquier cosa que tenga un color parecido.

Ahí reside uno de los principales problemas del reconocimiento de imágenes: los sesgos en los datos de entrenamiento. Por mucho que un algoritmo 'se esfuerce' en identificar los patrones que distinguen a una persona real de un maniquí, los datos con los que trabaja suelen ser facilitados por humanos, quienes, ya sea de forma voluntaria o involuntaria, tienen sus propios sesgos.

En el caso del algoritmo de Google, queda claro que recibió muchos más datos de entrenamiento de gente de piel clara. En aquel momento, la compañía se declaró "consternada" ante el suceso. Pero, aunque tomó medidas para solucionarlo, el problema se ha ido repitiendo en todos los algoritmos de reconocimiento facial que han podido ser estudiados.

Por mucho que un algoritmo 'se esfuerce' en identificar los patrones, los datos con los que trabaja suelen ser facilitados por humanos

Uno de los casos más graves es el de Amazon y su popular algoritmo Rekognition. Una investigación de 2019 descubrió que, frente a su precisión del 100% para identificar a hombres de piel clara, la cifra baja hasta el 68,8% en el caso de las mujeres de piel oscura.

Este sesgo es responsable, por ejemplo, de que al probarlo con fotos de miembros del Congreso de EEUU, 28 de ellos fueran confundidos con personas arrestadas por delitos, y que los fallos se centraran de forma desproporcionada en congresistas no blancos.

Una forma de solucionar estos sesgos sería someter a los algoritmos a auditorías externas antes de ser comercializados. Lamentablemente, aunque funcionaran a la perfección, cualquier tecnología puede usarse de forma perversa.

Del mismo modo que un policía puede parar en la calle a muchas más personas no blancas por criterios racistas, también puede utilizar el reconocimiento facial para hacer vigilancia intensiva sobre determinados colectivos y barrios. Por eso, en el caso de sus usos policiales, la exigencia generalizada es que la tecnología no se use de ninguna manera, por muy bien diseñada que esté.

Más allá de sus usos discriminatorios por parte de las fuerzas del orden, cabe recordar que cada vez hay más algoritmos que regulan las ofertas de empleo que nos llegan, los seguros o hipotecas a los que podemos acceder y las promociones que recibimos. Y dado que sus creadores son empresas privadas regidas por criterios comerciales, lo que les interesa lanzar sus tecnologías cuanto antes y captar al mayor número posible de clientes. Por eso, debemos ser conscientes del impacto cada vez mayor que tienen sobre nuestras vidas y exigir transparencia en sus usos y ética y precisión en sus rendimientos.

Los recientes cambios de postura de Amazon, IBM y Microsoft podrían marcar el comienzo del debate público que la tecnología tanto necesita. El reconocimiento facial se ha colado en nuestras vidas casi sin que nos hayamos dado cuenta, y la falta de control ha provocado que replique algunos de nuestros mayores defectos. Si el asesinato de George Floyd dejó claro que todavía hay personas racistas, debemos entender que los algoritmos que nos gobiernan también lo son.