Una IA convierte partidos de fútbol a 3D a partir de un simple vídeo, para verlos en todos los ángulos

Nvidia ha presentado una Inteligencia Artificial que permite convertir partidos de fútbol a 3D para comprobar todos los ángulos.

La Copa del Mundo se acerca, la competición más importante (según a quién preguntes), una ocasión especial que se celebra sólo cada cuatro años. Y ese tiempo, en el mundo de la tecnología, es toda una generación.

Es inevitable que el fútbol y otros deportes cambien gracias a las nuevas tecnologías; como la repetición instantánea, que permite a los árbitros comprobar las acciones desde un ángulo diferente al que las vieron para tomar una decisión más acertada.

Convertir partidos de fútbol a 3D, el objetivo de este proyecto

Eso es sólo un adelanto de lo que nos espera; en el futuro, podríamos ver partidos de fútbol en tres dimensiones, como si fuera un videojuego. Nvidia ha demostrado cómo sería posible esto, en colaboración con investigadores de la Universidad de Washington, Facebook y Google.

Este sistema de aprendizaje automático es capaz de transformar un vídeo cualquiera de un partido de fútbol y convertirlo en un holograma tridimensional.

partido futbol 3d 3

Esto, como os podéis imaginar, es complicado porque el vídeo es en dos dimensiones; un sistema que escanee la imagen no sabrá ni la profundidad ni qué hay detrás de una figura. Por eso, los investigadores usaron la que realmente es la única referencia viable que tenían: el campo de juego; programaron el sistema para que estimase la posición de la cámara en relación al campo de juego.

A partir de ahí, el sistema detecta a cada uno de los jugadores presente en la imagen, y los rastrea conforme se mueven en el vídeo; a partir de estas imágenes, es capaz de reconstruir la forma de su cuerpo y la posición de sus miembros en cada momento.

partido futbol 3d 1

Pero el verdadero as en la manga estaba en los videojuegos; concretamente, en la saga FIFA. Usando gráficas GTX 1080 y Titan Xp, el sistema entrenó a una red neuronal para que analizase horas y horas de datos de partidas del FIFA; lo hicieron interceptando la comunicación entre el motor gráfico del juego y la GPU, extrayendo los mapas de profundidad de cada frame.

Aprendiendo de los videojuegos

De esa manera, el sistema comprendió aspectos como la profundidad o la posición de los jugadores en el campo. Y pudo aplicar esos conceptos que había aprendido con los videojuegos a los vídeos reales.

Entre el análisis del vídeo y el entrenamiento en videojuegos, la IA es capaz de detectar los jugadores, el campo de juego, y su posición en un entorno tridimensional para crear una escena 3D. Una escena que es posible ver en todos los ángulos con una aplicación 3D, o mejor aún, con un dispositivo de realidad aumentada.

Aunque este sistema presenta un gran potencial, hasta sus propisos creadores reconocen que está lejos de ser perfecto. Por ejemplo, el balón es un elemento que aún está dando muchos problemas a su IA; también tienen que trabajar mejor los ángulos que no están directamente a la vista en el vídeo original.

Quién sabe, puede que para la próxima Copa del Mundo este sistema ya esté terminado.