Imágenes 2D convertidas en modelos 3D con el nuevo software de Nvidia

Realizar modelos 3D incluso de los elementos más básicos de nuestra naturaleza puede ser todo un reto. Es cierto que la tecnología ha ayudado a que el proceso sea mucho más liviano que en épocas pasadas, pero intentar recrear estos modelos con la mayor exactitud posible sigue siendo un pequeño desafío paa muchos.

Nvidia ha presentado en la conferencia anual Neural Information Processing Systems una IA capaz de predecir propiedades 3D de modelos 2D. Es decir, a efectos prácticos, es capaz de trasladar imágenes 2D a modelos 3D. Lo más impresionante de esta IA es su capacidad de funcionamiento, ya que no requiere de entrenamiento a base de datos 3D.

Una IA necesita datos para entrenarse en su tarea. La que la firma ha presentado en la conferencia no necesita este tipo de datos, de tal forma que con una simple imagen puede crear un modelo 3D basado en ella.

Transformar imágenes 2D en modelos 3D precisos

Este trabajo ha sido desarrollado por investigadores del Vector Institute, la Universidad de Toronto, Nvidia Research y la Universidad de Aalto y se ha desarrollado en el documento "Aprender a predecir objetos 3D con un renderizador diferenciable basado en interpolación".

Este es solo el inicio, tal y como cuenta el director de la división de Inteligencia Artificial de Nvidia, Sanvid Fidler. Esperan poder extender el marco de representación diferenciable (DIB-R) a tareas todavía más complejas, como por ejemplo renderizar modelos 3D de escenas o de múltiples objetos a la vez. Las posibilidades en caso de conseguir dicha meta son infinitas; aplicaciones en realidad aumentada y virtual, videojuegos, sistemas de seguimiento de objetos, robótica... En declaraciones a VentureBeat:

"Imagina que puedes tomar una foto y sale un modelo 3D. Esto significa que podrás ver esa escena de la cuál has tomado una foto con multitud de puntos de vista diferentes. Puedes introducirte en él, verlo desde diferentes ángulos: puedes tomar fotografías antiguas de tu colección de fotos y convertirlas en una escena 3D e inspeccionarlas como si estuvieras allí, básicamente".

Nvidia no es la primera empresa en tocar el aprendizaje profundo dedicado al 3D. Por ejemplo, Facebook Research y Deepmind de Google también han desarrollado IAs similares a la que presenta hoy Nvidia, pero con una diferencia importante: DIB-R es una de las primeras arquitecturas de aprendizaje neuronal que puede tomar imágenes 2D y luego predecir varias propiedades 3D clave, como la forma, la geometría 3D, la textura o incluso el color. Todo ello, de nuevo, sin necesitar datos 3D para entrenarse.