La llegada de una inteligencia artificial cada día más capaz de generar con realismo cualquier imagen que se le pida a suscitado muchos miedos, tanto por su uso para desinformar sobre la actualidad como por relación con el sexo. Pornografía generada con inteligencia artificial e incluso deepfakes de celebridades son solo algunos ejemplos. Una filtración habría revelado las peticiones de los usuarios a una web que genera novias generadas por IA.

El medio 404Media informa del hackeo de una plataforma dedicada a crear chatbots sin censura. La web Muah.ai se utiliza principalmente para crear novias y novios falsos, como ellos mismos promocionan, también terapeutas. "Como jugador puedes enviar fotos de lo que deseas, con buena intencionalidad" se puede leer en la página web.

La filtración de una gran cantidad de datos de los usuarios ha expuesto las prácticas sexuales que estos demandan a la IA. Según el artículo, algunos pedían a la que interpretara el papel de niños pequeños, incluso bebes.

404media se ha puesto en contacto con los responsables de la página web mediante correo electrónico en el que han confirmado la filtración de datos. Una vez detectado el ataque, advirtieron a sus usuarios en un mensaje por Discord. "Hemos sido atacados por piratas informáticos que aparentemente no tenían nada que hacer más que piratear un proyecto impulsado por la comunidad que tiene como objetivo proporcionar Al sin censura y gratuito para todos. Desperdiciando su talento derribando pequeñas empresas en lugar de mejorarse a sí mismos en beneficio de la sociedad”, decía ese mensaje.

Aunque aseguran que "sus mensajes de chat nunca se guardan, todo se borra al restablecer el chat", el artículo asegura que la información filtrada recoge bastantes datos sobre las prácticas de cada usuario. Los mensajes están vinculados a direcciones de correo electrónico y muchas de las cuentas parecen ser personales con los nombres reales de los usuarios.

El medio y la filtración no aclaran si la plataforma cumplió en todo momento con las peticiones de los usuarios. Muah.ai afirma ser una plataforma de chatbot de IA "sin censura", que permite crear conversaciones y fotos explícitas. No obstante, aseguran contar con "un equipo de moderación que suspende y elimina todos los chatbots relacionados con niños en nuestra galería de tarjetas, discord, reddit, etc." Turquía ha bloqueado Discord esta semana por contenido de abuso sexual, según informa Reuters.

The Internet Watch Foundation ya advirtió en octubre de 2023 del uso de la IA para crear imágenes sexualizadas de menores y adultos. Advierten del realismo que esta tecnología está alcanzando y dando paso a "fantasías por encargo. Todo lo que necesitas es el idioma para decirle al software lo que desea ver" denunciaba m Susie Hargreaves, directora ejecutiva de Internet Watch Foundation.