Copiar y pegar con objetos de la vida real permite poner cualquier cosa en Photoshop

La realidad aumentada ha cobrado mucha fuerza en los últimos años por una sencilla razón: hoy en día cualquiera tiene un smartphone con la cámara y la capacidad de procesamiento suficiente como para ejecutar apps en realidad aumentada con relativa calidad.

Aún así, da la sensación de que sólo hemos raspado la superficie en lo que respecta al potencial de la realidad aumentada. Por ejemplo, hasta ahora hemos visto muchas apps que nos permiten poner objetos virtuales en la "realidad", usando la cámara del móvil, pero ¿y al revés?

En el futuro muy cercano, será posible pasar objetos de la "realidad" al mundo virtual; aunque es verdad que ya hay apps con funcionalidades similares, el mejor ejemplo que hemos visto de lo que es posible lo ha presentado el desarrollador y diseñador Cyril Diagne en Twitter.

Copiar y pegar con objetos de la vida real

Su concepto de app consiste en copiar objetos de la vida real y pegarlos en un programa en nuestro ordenador, como puede ser Photoshop. Para ello, lo único que tendríamos que hacer es apuntar con la cámara de nuestro móvil, dejar que escanee el objeto y a continuación apuntar a la pantalla; el objeto aparece en el programa, como si fuera magia.

Por supuesto, de fondo hay mucho más trabajo. La app no solo tiene que reconocer el objeto, sino distinguirlo del resto del escenario; para ello se usa BASNet, una herramienta de detección de objetos capaz de distinguir sus bordes. El modelo usado por este algoritmo es tan avanzado que no solo es capaz de distinguir entre objetos, sino también agrupar los objetos que sean similares en uno solo; por ejemplo, de una maceta queremos que se capturen todas las hojas.

Esto es lo que Diagne ha calificado como la "salsa secreta", pero una vez que hemos capturado el objeto, ¿cómo lo soltamos en Photoshop?; para ello, también usa la tecnología OpenCV SIFT para detectar si estamos apuntando a la pantalla de nuestro ordenador. En ese momento, es una "simple" cuestión de transmitir el objeto escaneado por la red hasta el ordenador, y pegarlo en la imagen que estamos creando como una capa más.

Posibilidades de la realidad aumentada

El resultado es poco menos que mágico, aunque curiosamente para Diagne esto no iba a ser gran cosa, y compartió su logro más como una curiosidad que otra cosa; pero la gran respuesta que tuvieron sus mensajes en Twitter le ha hecho replanteárselo.

La app es capaz de saber dónde pegar el objeto en nuestro ordenador Cyril Diagne Omicrono

Por ejemplo, aunque en la demostración Diagne usa un móvil Android con un portátil MacBook, en realidad no está usando ARCore ni ARKit, las plataformas de realidad aumentada de Google y Apple; las posibilidades serían incluso mayores si las usasen, como ha reconocido el propio Diagne.

Así que, por ahora, esto es una prueba de concepto; pero es perfectamente realizable con la tecnología actual, así que no podemos esperar a que alguien lo intente con una app disponible de manera pública.