Alinia, la startup española fundada por ‘ex’ de Twitter y HuggingFace para evitar el 'desmadre' de la IA generativa

¿Qué tienen en común un chatbot que vende un Chevrolet nuevo por un dólar y uno que ofrece uno que recomienda pegar la pizza con pegamento? No es un chiste, ni hay truco: los dos tienen un problema de "alucinaciones". Es decir, que fallan mucho (hasta un 88%, en el peor de los casos) y a lo grande.

Estos errores han traído más de un problema legal y de reputación a muchas empresas. De un día para otro, su nombre aparece en los periódicos por una IA generativa fuera de control. Para tratar de evitarlo, nace Alinia: una plataforma que busca hacer el despliegue de esta tecnología más seguro, efectivo y accesible.

Sus creadores son los españoles Ariadna Font Llitjós y Carlos Muñoz Ferrandis, exdirectivos globales en Twitter y HuggingFace. Han recaudado un total de 2,2 millones de euros, en una ronda presemilla liderada por Speedinvest y Precursor, y respaldada por KFund, Tom Preston-Werner Ventures, directivos de Google y Deepmind, y fundadores de Github y HuggingFace.

Tras años de dedicación a la IA responsable en sus respectivos puestos, ambos decidieron montar algo por su cuenta. "En Twitter, vi de primera mano el impacto que los sesgos en los datos de entrenamiento y los algoritmos pueden tener en poblaciones vulnerables. He traído estas experiencias y aprendizajes a Alinia para que otras empresas puedan desplegar la IA generativa de una manera responsable, para sus empleados y sus clientes", afirma Font Llitjós.

Ella y Carlos se encontraron por casualidad en un curso en el que ambos eran profesores, y decidieron sumar experticia y esfuerzos. Font Llitjós venía de dirigir la plataforma de IA de Twitter y su área de transparencia algorítmica y rendición de cuentas. Muñoz Ferrandis lideraba el área de regulación y gobernanza de HuggingFace.

Ambos querían crear un producto que ayudase a escalar y a automatizar, al menos en parte, la IA responsable. Decidieron enfocarse en un reto en concreto: evitar que los llamados 'modelos fundacionales' se desmadren, una de las principales barreras en la adopción de la IA generativa en empresas y organizaciones.

Su misión es ayudar a todo tipo de organizaciones que quieran implementar y poner en producción aplicaciones con IA generativa para que cumplan con los comportamientos esperados y con las políticas y requisitos regulatorios. Lo hacen mediante un proceso conocido como "alineamiento", poniendo una serie de guardarraíles "para evitar que se salgan del guion", explican los fundadores de Alinia en entrevista con DISRUPTORES.

Cómo funciona la plataforma

Alinia aborda este desafío mediante una plataforma automatizada combinada con una técnica de IA llamada 'aprendizaje reforzado a partir de la retroalimentación humana'. El primer paso para validar y asegurar un buen alineamiento es saber cómo se comporta el sistema, es decir, una evaluación completa dentro del contexto de uso final.

Una parte del proceso de evaluación facilitado por la plataforma de Alinia es lo que se conoce como red teaming, una técnica de ciberseguridad que consiste en atacar el sistema para detectar sus debilidades y protegerse contra ellas. En este caso, la técnica del 'equipo rojo' se aplica a modelos de IA. El objetivo es prevenir respuestas o comportamientos dañinos, como respuestas inadecuadas o sesgadas, o filtraciones de datos confidenciales, entre otros.

Alinia se basa en una técnica de ciberseguridad que consiste en atacar el sistema para detectar sus debilidades y protegerse contra ellas, el conocido como 'red teaming'

En esta primera fase, una vez definido el caso de uso, la plataforma de Alinia sugiere algunos ejemplos de input prompts. A partir de ellos, Alinia usa lA generativa para generar de forma sintética prompts adicionales con los que testear el sistema corporativo, tanto el uso real como de forma adversaria.

Esta prueba permite a la plataforma medir el porcentaje de exactitud, inocuidad, toxicidad y otras variables relativas al modelo evaluado. No solo eso, sino que también permite comparar diferentes modelos de IA generativa disponibles en el mercado para identificar cuál sería más conveniente para cada caso de uso.

Ariadna Font Llitjós y Carlos Muñoz Ferrandis en MOB Barcelona. Esther Paniagua

Una vez obtenidos los resultados, comienza la parte de "alineación" que da su nombre a la startup. Esta incluye tanto orientación en cuanto a estrategias de mitigación de las variables peor puntuadas como una intervención directa en el modelo.

Para la intervención emplean un método llamado 'generación aumentada por recuperación' (RAG, por sus siglas en inglés). Consiste en optimizar el resultado que ofrece un sistema de IA generativa para que este provenga de una fuente de información fiable, en lugar de generar cualquier cosa en base a los millones de datos con los que ha sido entrenada.

"Es una herramienta que se anexa al LLM para que cada vez que vaya a generar información basada en ciertos prompts no responda lo que le da la gana, sino que lo extraiga del contexto específico que se le ha insertado", explican los fundadores de Alinia.

Llegados a este punto, la herramienta corporativa ya está lista para ser desplegada. La siguiente fase es la de monitoreo de cómo se está comportando cuando ya está en uso. De ese modo, Alinia cubre desde la etapa predespliegue hasta la postdespliegue, incluyendo la preparación, evaluación previa, optimización y control posterior.

Usuarios, retos y modelo

Por el momento, la plataforma solo funciona con modelos de lenguaje, y no con imágenes o vídeos, que anuncian que será lo próximo. También se plantean la opción de usar otros métodos de optimización de modelos LLM diferentes al RAG.

En concreto, Alinia planea trabajar en lo que se conoce como fine tuning, que consiste en volver a entrenar el modelo pero con nuevos datos, para lograr ajustar su resultado. Esto es más complicado de lo que suena. Para ello, la startup está probando técnicas de aprendizaje por refuerzo con retroalimentación humana (RLHF).

La plataforma plenea trabajar en lo que se conoce como 'fine tuning', es decir, volver a entrenar el modelo pero con nuevos datos para ajustar su resultado

Otro reto es el de los casos no previstos. Por muchos prompts contra los que testeen la plataforma, siempre habrá otros que no se hayan probado y puedan generar resultados dañinos. "Es imposible garantizarlo. Lo que hacemos -como en ciberseguridad- es añadir una capa más para reducir y mitigar el riesgo", dicen los fundadores de la startup.

Estos aseguran que su prioridad es poner al usuario en el centro, "poniendo al volante a los empleados que están en primera línea, que tienen que poder opinar y aprovechar su experiencia para evaluar las herramientas que estarán a su servicio". Es decir, a los expertos en el dominio donde se va a desplegar la herramienta, ya sea legal, finanzas, ventas, atención al cliente, contenido, etc., dependiendo del sector del que se trate.

Los creadores de la plataforma conversan en MOB Barcelona. Esther Paniagua

Su producto se dirige sobre todo a grandes corporaciones, "que son las que más tienen que perder en cuanto a riesgo reputacional". Font Llitjós y Muñoz Ferrandis, aseguran tener ya clientes en el ámbito financiero, de seguros, legal y de tecnología.

Su modelo de negocio es el de la típica suscripción de software como servicio (SaaS), al que añaden servicios de consultoría, por ejemplo para definir criterios específicos de alineación, por ejemplo para cumplir con la regulación existente o con la que está por entrar en vigor, como la Ley de IA de la UE.

"La plataforma -dicen sus fundadores- es una parte muy importante pero lo que ofrecemos es un servicio holístico, ayudar a resolver un problema".

Transparencia y supervisión humana

En cuanto a dónde van a parar los datos del cliente, los fundadores de Alinia destacan que por encima de todo están sus principios de transparencia. "Ambos venimos del ámbito de la gobernanza y de la IA responsable, por lo que esto es muy importante para nosotros. Sabemos qué nos ha dado el cliente, qué es suyo y qué hemos generado nosotros con ello, y eso queda muy claro en cada acuerdo", señalan.

Además, aclaran que Alinia cuenta con "procesos de documentación muy estrictos, además de un informe personalizado". También destacan que cada etapa del proceso incluye supervisión y validación humana.

"La ventaja es que venimos del campo de la IA responsable y es nuestra pasión. La adopción de la IA puede hacerse bien o mal. Nosotros queremos ayudar a las organizaciones a hacerlo bien, ser sus socios en la adopción de la IA responsable", concluyen.