Te has preguntado alguna vez cómo los de Netflix son capaces de seleccionar el fotograma perfecto para promocionar la nueva temporada de tu serie favorita? Hay un potente factor humano (los editores que hacen la selección final), pero hay un conjunto de algoritmos detrás que es clave para el éxito.

Netflix ha desvelado cómo son los entresijos de AVA, esa colección de herramientas y algoritmos diseñados para seleccionar las mejores imágenes de sus series y películas. Una temporada media, es decir la que cuenta con 10 episodios, puede llegar a tener casi 9 millones de fotogramas. ¿Cómo seleccionar el grano, de oro, entre tanta paja?

Los editores son los encargados de seleccionar el fotograma definitivo, el que captará la atención de la audiencia, pero una persona no puede visualizar 9 millones de fotogramas, porque sería un proceso “tedioso, además de ineficaz”, señalan desde Netflix.

Por ello crearon AVA, para que sea un conjunto de algoritmos los que hagan la principal criba, al identificar de manera rápida y efectiva qué imágenes son las mejores para promocionar la nueva temporada de una serie, por ejemplo.

En el primero visionado, un algoritmo recopila toda la información necesaria para poder realizar las primeras “anotaciones”. Se trata de una fase de automatización en la que “procesamos y anotamos muchas variables diferentes en cada fotograma para describir lo que contiene y así entender por qué es o no importante para la historia”.

Para generar este catálogo se utiliza Archer, una plataforma de computación distribuida a gran escala para el procesamiento de vídeos. Esta herramienta permite “dividir los videos en escenas más cortas para que puedan procesarse en paralelo”, si fuera necesario. Gracias a este paso, Netflix ha podido aumentar su “eficiencia en el procesamiento al integrar más algoritmos inteligentes”.  

Sin embargo, para poder clasificar estas “anotaciones”, y cumplir con unos “objetivos estéticos, creativos y de diversidad”, es necesario contar con una serie de información específica: visual, de composición y contextual. Netflix ha desarrollado un nuevo paquete de algoritmos a partir de unos metadatos.

Entre los metadatos visuales, el algoritmo clasifica las propiedades visuales, como el brillo, el color, el contraste o el desenfoque de movimiento, y lo hace “a nivel de pixel”. Mientras que los metadatos contextuales analizan las acciones y movimientos de los actores y de la cámara… Así, detecta rostros, poses e incluso analiza sentimientos que se reflejan en los mismos. Por último, también se analiza la composición de cada fotograma: la profundidad de campo, la simetría, el diseño estético visual…

Tras esta fase de procesamiento de cada uno de los fotogramas de la temporada, es el momento de hacer la selección de las “mejores” imágenes para promocionar la serie. Gracias a las anotaciones que tiene cada uno, los algoritmos pueden elegir cuáles son los que más adaptan a las necesidades marcadas previamente al trabajo.

El último paso es hacer llegar a los editores creativos esta selección final para que puedan elegir la imagen que será la estrella de la temporada. Esa que te hará desear que empiece la nueva temporada para engancharte a la serie.