El algoritmo que traduce un partido de fútbol 2D en 3D

Un vídeo de YouTube, por ejemplo, de cualquier partido de fútbol. Es la base que se necesita para “convertir” un campo de juego y 24 futbolistas de 2D a 3D. Todo gracias a una red neuronal que ha aprendido a estimar la profundidad con el videojuego de EA FIFA 2018.

Una forma de crear esta experiencia es equipar el campo con muchas cámaras, sincronizarlas, y después reconstruir el campo y los jugadores en 3D, usando técnicas geométricas de multivisión. Sin embargo, poder disponer de este gran equipo es un poco improbable. Para solventarlo, los investigadores de la Universidad de Washington se han decantado por los videojuegos.

Este equipo de investigación ha presentado una alternativa de realidad aumentada, que trabaja con un algoritmo propio de aprendizaje automático capaz de transformar estos vídeos de fútbol en 2D en reconstrucciones 3D. Para lograrlo, esta red neuronal calcula la profundidad de píxel de cualquier jugador de fútbol y lo compara con las estimaciones de sus posturas técnicas y la profundidad de su cuerpo. 

En el caso del fútbol, uno de los problemas a los que han tenido que enfrentarse los investigadores es que la ropa, las posturas de los jugadores, las vistas de la cámara y las posiciones en el campo son “muy limitadas”. Por ello, tuvieron que echar mano del EA FIFA 2018 porque proporciona datos adicionales a los de una cámara convencional y, de este modo, es posible extraer nueva información para configurar mapas de profundidad más precisos.

Además, con los datos que se consiguen al analizar y renderizar a cada jugador, se obtiene información adicional para aprender sobre la evolución del juego tanto de un equipo como de un futbolista.

Cómo fue el proceso

Primero se estima un plano vertical virtual que pasa por el medio del jugador y se calcula así su profundidad. Después, se tiene que calcular la distancia entre un jugador y el plano de la trayectoria, para poder obtener un punto de referencia común. Durante las pruebas se pueden aplicar una serie de compensaciones para poder levantarlo en 3D.

En un principio solo se reconstruye un mapa de profundidad por jugador, lo que proporciona una gran experiencia de visualización gracias a las mejoras en la detección de jugadores, el seguimiento y la estimación de la profundidad, a pesar de que las partes ocultas (tanto geometría como textura) del jugador no se reconstruyen, sobre todo si solapan algunos jugadores.

Sin embargo, esto es una de las limitaciones del proyecto, ya que puede dar lugar a errores en las estimaciones de profundidad, de las posturas de algunos jugadores, trayectorias incorrectas, entre otros. La baja calidad de la imagen del vídeo en 2D o la borrosidad del mismo puede afectar también a la estimación de la profundidad. Son trabajos para un futuro, junto con la reconstrucción del balón.

Con este proyecto se puede ver un partido de forma holográfica en la mesa, sobre la que te puedes inclinar para observar un detalle, usando unas gafas de realidad aumentada, como las HoloLens de Microsoft o cualquier otro dispositivo. En este caso, además, se necesitaría de un método eficiente de reconstrucción en tiempo real y otro para la compresión y transmisión de datos.