El principio del fin del croma verde: cambiar el fondo de una imagen con inteligencia artificial

La técnica del croma consiste en la sustitución de un color de una imagen por otra imagen. Es muy habitual su uso en cine y en televisión, y suele requerir para ello fondos de color verde, en ocasiones enormes. Ahora, investigadores de la Universidad de Washington han diseñado una técnica que consiste en tomar dos fotografías, con y sin persona física en la imagen, y hacer el intercambio de fondos mediante un sistema de aprendizaje profundo, aunque el objetivo de sus autores es seguir trabajando para que este método sea "más preciso, más robusto y fácil de usar".

Hasta la fecha, realizar este tipo de 'operaciones' de imagen no era una buena idea porque el resultado no tenía una calidad comparable al imagen con el uso de un croma bien ejecutado en un buen estudio audiovisual. El gran problema siempre ha sido el siluetado de la persona para separarla del fondo original y 'transportarla' a otro totalmente diferente. Es un efecto visual, que el usuario de a pie puede comprobar, por ejemplo, al hacer una vídeollamada con Zoom poniendo un fondo virtual.

Para evitar este temido efecto, los investigadores de la Universdidad Washington ha optado por usar un fondo capturado para estimarlo como un fondo verdadero. "Esto facilita la resolución del primer plano. Lo llamamos un fondo 'capturado casualmente' porque puede contener movimientos leves, diferencias de color, sombras leves o colores similares a los del primer plano", explica Vivek Jayaram, uno de los investigadores del proyecto

En el trabajo de campo de esta investigación, el usuario ha realizado una foto con una persona en la imagen y los investigadores le han pedido que realice la misma foto, pero sin la persona protagonista de la anterior captura de imagen. En este punto, reconocen que es cierto que este modelo requiere cierto carácter de previsión, ya que necesitas la imagen con la persona física como protagonista y la misma imagen sin ella, pero también es cierto que no se necesita el tiempo que se gasta en un croma.

No obstante, los investigadores matizan que hay que hacer ciertas mejoras en el modelo. Por ejemplo, no funciona bien cuando hay un color de primer plano, un fondo similar o cualquier movimiento en el fondo. "Si fuera fácil usar cualquier fondo para la composición, la industria del cine no hubiera gastado miles de dólares en pantallas verdes de croma", puntualizan.

Así, en este estudio publicado con el título Background Matting: The World is Your Green Screen? se pueden observar los resultados obtenidos por el estudio en una amplia variedad de fotos y videos, en los que se puede comprobar "una mejora significativa sobre el estado del arte" de esta investigación. Por ejemplo, se han grabado 50 vídeos de personas realizando diferentes movimientos con cámara fija y de mano, tanto en entornos interiores como en exteriores. En estos casos también se capturó el fondo cuando el sujeto abandona la escena.

Uno de los siguientes objetivos de este proyecto es buscar fórmulas para que este sistema funcione "en tiempo real" y "con menos recursos de computación", porque, de este modo, permitiría "una amplia variedad de casos de uso en áreas como transmisión de video o aplicaciones móviles", apostilla Vivek Jayaram.