¿Puede un algoritmo ser racista, pese a ser "sólo matemáticas"?

Cada vez más aspectos de nuestras vidas están dominados por algoritmos. No sabemos cómo funcionan ni qué hacen exactamente, pero notamos su influencia en todo lo que hacemos, y va mucho más allá del orden en el que aparecen los resultados de Google.

Los algoritmos también se están usando para tareas cada vez más delicadas. Como por ejemplo, elegir qué candidatos pueden pasar al siguiente proceso de selección para un puesto de trabajo. O decidir si una zona tiene un problema de crimen y precisa más atención. O incluso si un inversor debería arriesgarse con tu startup.

Los algoritmos, ¿son perfectos por ser matemáticas?

Las posibilidades son enormes, sobre todo con la llegada del aprendizaje automático y la Inteligencia Artificial. No importa la pregunta que tengas, probablemente exista un algoritmo que te la responda. Pero ¿es la respuesta correcta? Es fácil asumir que sí; al fin y al cabo, estos algoritmos han sido desarrollados por algunos de los mayores expertos del planeta. Y en el fondo, son matemáticas. Nadie discute que dos más dos sea cuatro, ¿por qué discutir el resultado de una operación matemática que sólo es más compleja?

ocasio-cortez

Son las críticas que está recibiendo la congresista estadounidense Alexandria Ocasio-Cortez, después de unas declaraciones en las que acusaba a ciertos algoritmos de ser “racistas”. La respuesta de todos los frentes no se hizo esperar; al fin y al cabo, Ocasio-Cortez es la mujer política del momento, una demócrata que gracias a su juventud y a sus polémicas propuestas, ha conseguido ganarse rápidamente la enemistad de todos los republicanos y buena parte de sus compañeros de partido.

Las declaraciones de una congresista despiertan la ira

En concreto, las declaraciones provienen de una entrevista en la que afirma que los sistemas de reconocimiento facial tienen “desigualdades raciales”. El mayor crítico de estas declaraciones fue el periodista conservador Ryan Saavedra; su tuit, en el que se burla de las declaraciones de Ocasio-Cortez afirmando que “los algoritmos son matemáticas”, ha recibido miles de retuits y “Me Gusta”. Y una simple búsqueda en redes sociales confirma que miles de usuarios están repitiendo la misma idea.

Y parece lógico. Excepto que no lo es. Aunque no lo parezca, la de Saavedra es una visión algo simplista de los algoritmos, de su función y su propósito. Porque los algoritmos son algo más que matemáticas, y sin duda pueden dar lugar a resultados erróneos. Es algo más fácil de comprender cuando te acuerdas de que los algoritmos no salen de la nada: han sido creados por seres humanos, y por lo tanto, son tan imperfectos como estos.

matematicas

Los algoritmos no existen en un vacío, aislados del mundo real. Están limitados tanto por sus creadores como por los datos de los que parten. Pongamos un ejemplo: un algoritmo que coge la variable X y la suma a la variable Y. El resultado es una variable Z. Por lo tanto, si X es igual a 2, y Y es igual a 3, el resultado Z siempre será 5.

Pero, ¿y si resulta que X no valía 2? ¿Y si alguien no ha contado bien? ¿Y si alguien ha añadido una suma al final para compensar por la pérdida en X? Z puede ser una variable que no representa absolutamente nada, porque estás sumando dos variables que representan dos cosas diferentes. ¿Podemos decir entonces que hay que aceptar los resultados del algoritmo, “porque son matemáticas”?

Los algoritmos pueden ser racistas

Ahora imagina eso, pero a gran escala. Imagina que para calcular los crímenes de inmigrantes a nivel nacional se usen los datos obtenidos de una sola localidad. O que para saber si las personas negras reciben menos oportunidades laborales, se usen datos de sólo las rentas más altas. O que para saber si las mujeres están discriminadas en el trabajo, se analizan sólo las compañías que han aportado esos datos.

programacion algoritmo

No hace falta que imagines: es algo que pasa constantemente. La falta de datos es una de las principales razones por las que los algoritmos fallan; también es la razón por la que compañías como Facebook y Google quieren saberlo todo de ti, para que sus algoritmos funcionen.

Y no es sólo que falten datos. Es perfectamente posible crear algoritmos imperfectos, sin tener en cuenta detalles importantes. El ejemplo del reconocimiento facial es el más famoso. Se ha dado el caso de desarrolladoras sin personas de color en su plantilla, que han desarrollado programas incapaces de diferenciar entre todas las tonalidades de piel que puede tener una “persona negra”.

En definitiva, los algoritmos pueden ser racistas, si sus creadores lo son o han subestimado los desafíos que conllevan.