El nuevo modelo de IA de Google es capaz de manejar ventanas de contexto de hasta 1 millón de palabras
MADRID, 17 (Portaltic/EP)
Google ha presentado su nuevo modelo de Inteligencia Artificial (IA), Reformer, capaz de comprender el contexto de contenidos de hasta un millón de palabras utilizando tan solo un acelerador y 16 GB de memoria, y de procesar novelas enteras.
Para poder entender los datos secuenciales, como el lenguaje, la música o los vídeos, es importante conocer el contexto que lo rodea. El principal problema con el que se encontraba Transformer, la red neuronal de comprensión de lenguaje de Google, que no era eficaz con textos largos y hacía que no fuera práctico extenderlo a ventanas de contexto más grandes.
Esto se debe a que Transformer tiene que considerar todos los pares de palabras posibles dentro de la ventana de contexto para ser capaz de comprender las conexiones entre ellos. Por ello como ha explicado Google desde su blog, han desarrollado Reformer.
Reformer es un modelo que utiliza la IA para manejar ventanas de contexto de hasta un millón de palabras. Este modelo, que solo usa un acelerador y 16 GB de memoria, combina dos técnicas para resolver los problemas de atención y asignación de memoria que afectan al modelo Transformer.
Para solucionar esto, Reformer utiliza 'hashing' sensible a la localidad (LSH) con el fin de reducir la complejidad de asistir a secuencias largas. Para conseguirlo LSH utiliza una función hash- función que se puede utilizar para asignar datos de tamaño arbitrario a valores de tamaño fijo- que coincide con vectores similares.
Cada vector correspondiente a la misma palabra en diferente idioma puede obtener el mismo 'hash'. Cada 'hash' tiene asignado un color que reúne palabras similares. Una vez se asigna el 'hash', la secuencia se reorganiza para reunir elementos que tengan el mismo 'hash'. Posteriormente, el modelo aplica la atención en fragmentos más cortos para facilitar el trabajo.
Para resolver el problema de memoria, Reformer vuelve a calcular la entrada de cada capa bajo demanda durante la retropropagación en vez de almacenarla en la memoria como hacía el anterior modelo. Para ello utiliza capas reversibles que recuperan las activaciones de cualquier capa intermedia.
Los investigadores probaron este modelo para la generación de imágenes, comprobaron que a partir de fragmentos de imágenes Reformer era capaz de crear fotogramas completos, píxel por píxel. Pero donde destaca es en la comprensión de textos, llegando a procesar novelas completas.
