FakeCatcher, la herramienta los personajes falsos de un vídeo con 90% de acierto

Investigadores de Intel y la Universidad de Binghamton han unido sus fuerzas para saber identificar a los personajes falsos que aparecen en un vídeo, cada vez más indistinguibles de los reales. La herramienta que han creado se llama FakeCatcher, que cuenta con una tasa de precisión superior al 90% para detectar estos deepfake. 

Esta herramienta funciona analizando las sutiles diferencias en el color de la piel causadas por los latidos del corazón humano. La fotopletismografía (PPG por sus siglas en inglés) es la misma técnica que se usa en un oxímetro de pulso que se coloca en la punta del dedo, así como en los relojes Apple o en los dispositivos wearable para el fitness que miden los latidos durante el ejercicio.

"Extraemos varias señales PPG de diferentes partes de la cara y observamos la consistencia espacial y temporal de esas señales", explica el investigador senior de Intel Ilke Demir. Mientras en los videos reales, "el flujo de sangre en las mejillas izquierda y la derecha coinciden con su pulso", pero en los deepfake no existe esta "consistencia entre los latidos del corazón y la información del pulso".

Este trabajo se basa en los 15 años de trabajo de Lijun Yin del Graphics and Image Computing Laboratory, quien ha creado múltiples bases de datos en 3D de rostros humanos y expresiones emocionales. Los cineastas de Hollywood, los creadores de videojuegos y otros han utilizado las bases de datos para sus proyectos creativos.

En este laboratorio, se ha trabajado para "construir la configuración de captura fisiológica más avanzada de Estados Unidos", con sus 18 cámaras e infrarrojos. Para su consecución se han realizado múltiples análisis de datos fisiológicos y investigaciones sobre el procesamiento de señales para comenzar con la primera base de datos multimodal. "Capturamos datos no sólo con imágenes visibles en 2D y 3D, sino también con cámaras térmicas y sensores fisiológicos. La idea de usar la fisiología como otra firma para ver si es consistente con los datos anteriores", detalla Yn.

Una de las claves es entender cómo se hacen estas falsificaciones: "Aprendemos los trucos e incluso usamos algunos de ellos en nuestra propia creación de datos", señalan desde el equipo de investigación. Desde que se publicaron los hallazgos de FakeCatcher, 27 investigadores de todo el mundo ya han estado usando su algoritmo y conjunto de datos en sus propios análisis.

Al recopilar los datos de FakeCatcher y hacer ingeniería inversa, Intel Studios espera hacer renderizaciones más realistas que incorporen el tipo de marcadores biológicos que tienen los humanos con latidos reales. "La visión de Intel está cambiando de ser una compañía que utiliza el chip a poner en primer lugar la inteligencia artificial, la computación y los datos", puntuailza Demir de Intel.