Personajes salen andando de sus cuadros gracias a este nuevo algoritmo

El uso de aprendizaje automático e IA en el arte y la creación de contenido ya es realidad; los últimos avances demuestran el potencial que esta tecnología. Por ejemplo, no hace mucho explicábamos cómo una IA es capaz de integrar cualquier elemento en un cuadro, copiando el estilo del artista.

La innovación que han conseguido investigadores de la Universidad de Washington avanza en otra dirección; han conseguido usar visión artificial para crear animaciones en 3D a partir de cuadros y fotografías, para que los personajes salgan de sus imágenes y echen a andar.

Personajes que salen de los cuadros gracias a la visión artificial

El efecto es increíble en algunos casos, especialmente con dibujos y obras de arte; aunque el sistema también funciona con fotografías de personas reales, por el momento brilla más cuando anima elementos que no son reales. El logro no deja de ser impactante; la persona de la foto de repente echa a andar o a correr, como si realmente estuviese saltando de la imagen.

animacion cuadro 3

A esto, sus creadores lo llaman “despertar”, o “Photo Wake-Up”; es un algoritmo que es capaz de reconocer la figura central de una foto o cuadro, aplicar una malla tridimensional y una animación que concuerde con su cuerpo. Esto es más difícil de lo que parece por una sencilla cuestión: una fotografía está en dos dimensiones, por lo que el algoritmo no sabe qué es lo que hay “detrás”.

animacion cuadro 2

La mayor parte del trabajo está en asociar la figura en 2D a una figura en 3D; eso implica saber dónde están las extremidades (por ejemplo, si tiene los brazos cruzados), sino también ser capaz de animarlo de manera realista, dependiendo de la morfología del personaje o persona.

La solución que han encontrado los investigadores consiste en alinear una malla tridimensional, usada en animación, al espacio 2D; el algoritmo se encarga de modificar la imagen para que tanto la malla como la imagen 2D encajen. Al hacerlo, tiene en cuenta los elementos más importantes de la figura, como la cabeza; ya que los investigadores sabían que es ahí donde se centra nuestra vista.

Aunque en algunos casos los resultados son algo extraños, en otros realmente parece como si los personajes hubieran cobrado vida.