Twitter usa aprendizaje automático para mostrar las imágenes centradas en lo importante

Una buena imagen puede ser la diferencia entre un tuit del montón y uno legendario. Aunque ahora podamos escribir más que nunca en Twitter, las imágenes siguen ocupando un lugar importante en la red social.

Lamentablemente, a veces es fácil perderse imágenes interesantes, y todo por la manera en la que la app y la web las recortan; como hay imágenes de todos los tamaños y proporciones, Twitter recorta automáticamente la foto a un tamaño estándar, para que la interfaz sea siempre consistente. Si queremos ver la imagen completa, tenemos que pulsar en ella.

En Twitter se han dado cuenta de que esto supone que, a veces, la parte más interesante de la foto queda oculta; y por lo tanto, no nos molestamos en verla completa. Inicialmente, los ingenieros de la compañía pensaron en usar algoritmos de reconocimiento de caras, para mostrar la foto centrada en la cara de la persona, pero eso no era suficiente.

Cómo consiguieron mostrar imágenes más interesantes en Twitter

twitter imagen 1

Pronto empezaron a investigar y experimentar con métodos que detectasen la parte más “prominente” de la imagen; en otras palabras, la parte más interesante de la imagen, aquella a la que nuestros ojos se van sin pensarlo.

Twitter investigó el uso de sistemas que siguen la mirada, con los que crearon una base de datos con las partes más “prominentes” de cada tipo de imagen; desde caras, a texto, animales, u objetos y regiones. A continuación, entrenaron sus redes neuronales con esta información, para que aprendiesen a encontrar automáticamente las partes más importantes de una imagen.

Claro, que este proceso es muy costoso desde el punto de vista computacional; serían necesarios muchos servidores trabajando a marchas forzadas para analizar todas las imágenes que se suben a Twitter. Por eso, los ingenieros usaron una técnica llamada “destilado de conocimiento”.

twitter imagen 3

Consiste en entrenar a una red neuronal pequeña para que imite a una más grande; las predicciones que genera a su vez se usan para entrenar a otra red más pequeña, y así hasta que se consigue una red neuronal pequeña y rápida. Además, también se optimizó el proceso.

twitter imagen 4

El resultado ya está llegando poco a poco a todos los usuarios, tanto de la web de Twitter como de las apps para iOS y Android. Como podéis ver, las imágenes ahora están recortadas mostrando las partes más importantes; en vez de mostrar una pared, se muestra el objeto que estaba más abajo, o la persona que estaba posando, por ejemplo.