Fotomontaje con la imagen de una chica usando Lense AI Twitter
El lado oscuro de Lensa, la app que hace retratos de IA con tu cara: desnudos, racismo y otros sesgos
Una periodista ha remarcado cómo al usar la aplicación frente a sus compañeros hombres ha recibido avatares claramente pornográficos.
13 diciembre, 2022 19:04La inteligencia artificial y su potencial está en boca de todos en España. Los últimos modelos de aprendizaje automático están dando lugar a herramientas y aplicaciones que pueden desde crear textos de la nada hasta imágenes hiperrealistas. El problema es que la IA, como cualquier cosa en este mundo, tiene su vertiente oscura y no es la primera vez que se mete en terrenos empantanados con el tema de las razas. Es lo que le ha ocurrido a la periodista Melissa Heikkilä, que ha vivido en sus carnes esta problemática.
Quizás conozcas Lensa, la aplicación del momento para convertir tu propia cara en un retrato por IA. Usando una foto de tu rostro, crea avatares de todos los estilos y artes que te puedas imaginar con inteligencia artificial. Heikkilä, según recoge en un artículo de MIT Technology Review, usó la app para conseguir retratos tan impresionantes como los de sus compañeras. En su caso, aparecieron desnudos y avatares sexualizados.
Y es que Heikkilä no solo es mujer, sino que además tiene rasgos asiáticos debido a su ascendencia. Esto provocó que se aplicara un sesgo de género en sus resultados y que además, recibieran un deje racista. La periodista, afirma, generó al menos 100 avatares y de los cuales, 16 directamente tenían el pecho al aire y 14 tenían poses sexualizadas y ropa provocativa.
Racismo y sexualización
Todo comienza con Magic Avatars y los filtros de inteligencia artificial que convierten tu cara en un retrato anime, que se han popularizado enormemente en redes como TikTok. Esto ha provocado que Lensa, una app para generar retratos de IA lanzada en 2018 suba muchísimo en popularidad. El uso que Heikkilä le dio a la aplicación dio resultados completamente desoladores.
Afirma que usó la aplicación para sus compañeros en la redacción, y en prácticamente todos la app generó avatares de carácter varonil, con profesiones de alto calado como astronautas, guerreros y portadas de discos de éxito. Heikkilä obtuvo todo lo contrario; poses sexualizadas, ropa diminuta, y nada que se considerara glorioso en absoluto.
Algunos de los retratos que Heikkilä obtuvo. Omicrono
Pero su ascendencia asiática también tuvo un efecto en los retratos generados. Personajes de anime o videojuegos, así como pornografía o fetiches relacionados con mujeres asiáticas coparon gran parte de los resultados. En general, casi todos los avatares que generó Heikkilä estaban desnudos o mostraban mucha piel. Los menos lesivos, directamente, aparecían en situaciones de tragedia, incluso llorando.
Heikkilä probó con una de sus compañeras, caucásica, y aunque obtuvo desnudos e imágenes sexualizadas, la cantidad fue menor. Eso sí, un compañero suyo chino no tuvo la misma suerte; le pasó exactamente lo mismo que a ella, incluso teniendo en cuenta que dicho compañero era hombre.
Hombre sexualizado con Lense AI Alek Maximus
Pero ¿por qué ocurre esto? Lensa basa su funcionamiento en Stable Diffusion, un modelo de inteligencia artificial de código abierto, que genera imágenes basadas en texto. Este se basa, como la mayoría de modelos de inteligencia artificial, en un conjunto de datos masivo que se ha compilado en base a imágenes de Internet. En dicho caso se trata de LAION-5B, también de código abierto.
Por ende, no es difícil determinar de dónde aparece esta sexualización; la hipersexualización que la mujer sufre constantemente y los estereotipos sexistas y racistas que sufren personas que no son caucásicas, sino que provienen de otras razas (personas racializadas, por ejemplo). En definitiva, LAION-5B contiene montones de estereotipos de este estilo.
[Porno generado con inteligencia artificial: ya hay quien está ganando dinero con ello]
Heikkilä cita a los investigadores Abeba Birhane, Vinay Uday Prabhu y Emmanuel Kahembwe, que descubrieron que LAION-5B albergaba no solo imágenes racistas, sino una ingente cantidad de pornografía e incluso material ilegal ligado a violaciones. Y consiguieron acceder a este conjunto precisamente porque LAION-5B es de código abierto; otros modelos no son ni mucho menos abiertos y se basan en conjuntos de datos también provenientes de información de Internet.
La periodista ya recogió el pasado mes de septiembre cómo la primera versión de Stable Diffusion usaba un conjunto de datos que adolecía de estos problemas. Pese a que dicha versión estaba supuestamente equipada con un filtro de seguridad, Lensa ha usado una que no aprovecha dichas medidas. Posiblemente, usa versiones sin filtros de seguridad de Stable Diffusion compiladas por otros usuarios.
Un ejemplo de las imágenes creadas por la IA por Stable Diffusion. Omicrono
En noviembre, se lanzó una versión que eliminaba imágenes que seguían ciertos patrones repetidos. Y es que cuanto mayores eran las imágenes que perpetuaban estos estereotipos, más a menudo aparecían en el modelo. Es el caso de la unión de la raza asiática con los estereotipos sexuales. En definitiva, expertos consultados por Heikkilä afirman que las mujeres reciben asociaciones con contenido sexual y los hombres, con posiciones de poder y similares.
No es la primera vez
Todos recordamos el caso de Tay, un modelo de inteligencia artificial convertido en bot de conversación que sobre el papel buscaba interactuar con jóvenes de entre 14 y 16 años. De nuevo, la IA se retroalimentaba de sus interacciones en sus conversaciones para aprender. La idea era, según Microsoft, que imitase los patrones de lenguaje de una joven de 19 años.
Logo de Tay en Twitter. Omicrono
Tay tuvo que ser suspendida menos de un día después, a las 16 horas. Y es que pese a que Tay tenía ciertos temas censurados, las interacciones con los usuarios provocaron que Tay acabase lanzando mensajes racistas, misóginos, antisemitas e incendiaros a las pocas horas. En ese período, lanzó mensajes de apoyo a Hitler, se sexualizó a sí misma y cuestionó el Holocausto.
Otro caso famoso tuvo lugar en 2020, con PULSE (Photo Upsampling Via Latent Space Exploration). Dicha inteligencia artificial era capaz de convertir imágenes pixeladas en fotografías realistas. Ciertas personas racializadas como personas de color o de otras razas vieron como sus fotografías acababan modificando sus rostros, hasta el punto de volver blanco a Barack Obama o caucásica a Lucy Liu.
Obama se convierte en un hombre blanco con esta IA
Meta también pasó por algo parecido. En su red social estaba implementada una inteligencia artificial que detectaba el contenido para ayudar al usuario a buscar más sobre el tema de dicho contenido. Dicho sistema reconoció a hombres negros que aparecían en el vídeo como primates.
