Así se ha desarrollado MariSilicon X, el chip que mejora la foto y el vídeo de los OPPO Find X5

Los OPPO Find X5 y Find X5 Pro, que se lanzaron en España el pasado febrero, destacan por muchas virtudes pero si hay una que sobresale por encima de las demás es su apuesta por la videografía nocturna. Lo hace de la mano de una innovación que debuta este año en los teléfonos del marca: MariSilicon X, un chip propio de procesamiento de imagen con el que la compañía china muestra músculo en innovación y desarrollo.

El nuevo chip llega para resolver ciertos retos que el procesamiento de imagen era incapaz de hacer en sus móviles hasta la fecha. Un cuello de botella que encontró alrededor de 2019, cuando los teléfonos OPPO usaban técnicas como la reducción avanzada de ruido por IA, tomas nocturnas de exposición múltiple y reconocimiento facial.

Técnicas exigían que se realizara una gran cantidad de trabajo de forma simultánea, lo que provocaba un aumento considerable del consumo de energía. Este año se ha solucionado con MariSilicon X que lleva la experiencia a un nuevo nivel gracias a su diseño sobre la base de la fotografía computacional y de la Inteligencia Artificial. 

Para conocer un poco más a fondo qué es lo que exactamente esta nueva unidad de procesamiento de imagen, de lo que es capaz y el reto que ha supuesto para OPPO, en EL ESPAÑOL - Omicrono entrevistamos a Simon Liu, OPPO Imaging Director, con respecto a MariSilicon X.

¿Qué permite hacer MariSilicon X que sería imposible sin él?

Bienvenido a la noche. Queremos ayudar a los usuarios a capturar cada momento especial, fácilmente y con la más alta calidad posible. Sin embargo, los momentos increíbles no sólo suceden en condiciones de iluminación perfectas. Diseñamos MariSilicon X para transformar la fotografía computacional. Encargamos a nuestros ingenieros que ofrecieran un buen rendimiento de imagen, donde lo que ves es lo que obtienes.

Oppo Find X5 Pro. C.F.Q. Omicrono

MariSilicon X no solo incluye los componentes informáticos más potentes disponibles en la actualidad, sino que también ejecuta un algoritmo de reducción de ruido de IA diseñado por OPPO Research Institute. Para ser exactos, estamos hablando de una mejora de 4 veces en la resolución de vídeo nocturno y la mitad de consumo de energía sobre los tradicionales conductores de imagen.

¿Cómo mejora exactamente la fotografía?

Juega un papel crucial en la fotografía nocturna de la serie Find X5, es decir, con 4K Ultra Night Video, ejecutando algoritmos avanzados como AINR (reducción de ruido de Inteligencia Artificial), fusión HDR, etc. Una vez los usuarios activan el botón de IA al grabar vídeos, MariSilicon X entra en juego. Como los smartphones ya hicieron un gran trabajo en la fotografía diurna, lo que realmente marca la diferencia es en la fotografía nocturna.

¿Cómo ha sido el proceso de desarrollo de un chip de este tipo?

MariSilicon X es el resultado de una década de investigación y desarrollo en sistemas de cámaras de móviles. Comenzó en los primeros días de los experimentos de algoritmos de visión por computadora, rompiendo con el modelo tradicional para averiguar cómo debe "pensar" una cámara de móvil tradicional.

Desde 2014 hasta 2018, vimos la tecnología píxel binning, el auge de OIS y la fotografía computacional para capturar fotos nocturnas claras. Sin embargo, encontramos un cuello de botella dado que todavía es difícil obtener un vídeo con poca luz con un detalle y claridad que sea comparable a una foto fija en modo nocturno. En la segunda mitad de 2019, descubrimos que solo un procesador dedicado puede brindar la potencia y eficiencia necesarias en la captura de vídeo nocturno.

Nuevos Oppo Find X5 C.F.Q. Omicrono

Al mismo tiempo, la NPU mostró su superioridad en estos escenarios. Después comenzó oficialmente el Proyecto Mariana (código internacional para MariSilicon X). En primer lugar, contratamos proveedores externos para que proporcionaran la IP del algoritmo correspondiente y diseñaran la NPU internamente, utilizando tecnología de proceso de 12nm.

Rápidamente descubirmos que los 12nm no eran lo suficientemente potentes y el vídeo nocturno de 4K de resolución estaba fuera de su alcance, sin mencionar otros efectos como la fusión de multi sensores. Finalmente actualizamos a 6nm a medida que la compañía dedicaba más recursos a la tecnología de imágenes.

¿Por qué se ha puesto tanto énfasis en el desarrollo del vídeo nocturno 4k?

La captura de vídeo nocturno 4K siempre ha sido la parte más desafiante en la fotografía móvil durante años. Y queremos ayudar a los usuarios a capturar cada momento especial, incluso en condiciones de iluminación difíciles. Con el Ultra Night Video 4K es la primera vez que es posible que cada fotograma sea tan limpio como una foto fija.

El potente ISP con MariSilicon X permite capturar vídeo HDR en un increíble rango dinámico de 20 bits y 120db, que es 4 veces mejor que el OPPO Find X3 Pro con una relación de contraste de un millón a uno, entre las áreas más claras y más oscuras, reflejando mejor la escena frente a tus ojos.

Grabación nocturna en 4K con el OPPO Find X5 Pro C.F.Q. Omicrono

Cuando aplicamos AINR al vídeo, MariSilicon X puede detectar y reducir el ruido en cada fotograma, pixel por pixel, mientras conserva todos los detalles, el tono de la piel, color, precisión y mucho más. Este tipo de informática pesada generalmente llevaría demasiado tiempo para lograrlo. Pero nosotros no queremos que los usuarios sientan el peso de esta potencia de procesamiento.

Grabar vídeos por la noche debería de ser sencillo y sin problemas. OPPO Find X5 Pro logra esto al integrar MariSilicon X algoritmos AINR avanzados al nivel más profundo posible, ofreciendo la velocidad de procesamiento más rápida y la mejor eficiencia energética.

¿Es el video el gran reto en el procesamiento de imagen?

Sí, como el cuello de botella que nos encontramos en 2019, en general, grabar videos nocturnos puede ser un poco decepcionante. Es demasiado oscuro, hay demasiado ruido o los colores pueden verse apagados. El procesamiento de video es más exigente, tanto en potencia como en eficiencia, para generar transmisiones de video uniformes y estables con 24 fotogramas por segundo o incluso una velocidad superior.

Hagamos una simple comparación. Con tanta potencia en los teléfonos insignia actuales, generalmente se tarda unos segundos en conseguir una foto nocturna bien definida. ¿Qué tal generar 24 o 30 fotos nocturnas en un segundo, solo con una resolución ligeramente más baja en cada foto, digamos 3840x2160, más de 8 megapíxeles?

Por lo tanto, nuestros ingenieros tienen que diseñar meticulosamente tanto la NPU como los algoritmos de imagen que se ejecutan en él, para liberar el gran poder del hardware y software integrados.