Auditorías de algoritmos para asegurar la ética de los datos

La inteligencia artificial (IA) está presente en la mayoría de los ámbitos de nuestra vida. A veces solo de forma rudimentaria y otras a través del empleo de técnicas muy sofisticadas. Para su ejecución se emplean algoritmos que, tras un proceso de aprendizaje, ofrecen las claves para la toma de decisiones acerca de qué anuncios nos muestra una web, si nuestro perfil se ajusta a una oferta de empleo, si cumplimos los requisitos para un préstamo o qué paciente tiene prioridad cuando llega al servicio de urgencias de un centro hospitalario.  

Lo deseable es que los datos que se empleen para esos cálculos sean de calidad y libres de sesgos. Sin embargo, hay sobradas muestras de que esto no es así, a pesar de las normativas sobre su tratamiento y uso aprobadas en los últimos años. Esto ocurre, en parte, porque "la regulación plantea que los algoritmos tienen que ser explicables, pero nadie ha determinado cuáles son las herramientas para garantizarlo", apunta Gemma Galdon, experta en ética de la tecnología y fundadora de Eticas Consulting, en conversación con INNOVADORES. 

Esta compañía española trabaja desde 2012 en el desarrollo de un servicio de auditoría de algoritmos para identificar de qué manera impacta la tecnología en los procesos sociales y comprobar que las garantías legales que ya existen se aplican al mundo digital. "Nuestros clientes nos preguntaban cómo podían traducir en especificaciones técnicas principios como la equidad y la no discriminación dentro de sus soluciones de IA".

Eticas fue la primera empresa que, junto con la Comisión Europea, incorporó un paquete de trabajo de ética de la tecnología dentro de un gran proyecto de I+D industrial liderado por Indra. "Fuimos pioneros y seguimos siendo, por desgracia, los únicos", afirma Galdon, quien sostiene que «tendría que emerger ya un ecosistema que consiga hacer lo que hacemos nosotros para sacar lo mejor de la técnica y de las ciencias sociales para optimizar el uso de la tecnología".

Colaboran desde hace dos años con empresas del ámbito privado y público para testear diferentes atributos en sistemas de inteligencia artificial y desarrollar su propia metodología. Han aprendido que una auditoría ética ha de pasar por tres fases. Una inicial para entender cómo un desarrollador, organización o gobierno ha convertido un tema social complejo en inputs de datos. «Muchas veces las entidades no utilizan los inputs que necesitan, sino los que tienen, generando una mala planificación de ese desarrollo algorítmico», cuenta la experta.

La segunda fase es puramente técnica para averiguar cómo funciona el algoritmo y así "identificar cuáles son los grupos vulnerables y el impacto sobre ellos". En la tercera, y última etapa, tienen en cuenta cómo se produce la interacción entre el resultado algorítmico y la aportación humana. "En Europa la ley obliga a que se produzca esa mediación (conocida como human in the loop) y nos hemos encontrado con decisiones muy disfuncionales. Suele concurrir lo peor del sesgo algorítmico con lo peor del sesgo humano", explica Galdon.

Entre sus proyectos figura su colaboración con Alpha, la instalación para la innovación creada por Telefónica en 2016. Involucrados desde el principio en la rama de salud y bienestar, su trabajo fue limitar los datos que recogían, asegurar que daban lugar a una toma de decisiones lo más justa posible y que no había riesgos. "Hay que garantizar, por ejemplo, que las patologías médicas de las mujeres, históricamente infraestudiadas e infravaloradas, tienen visibilidad".

El de género es el sesgo preeminente, pero no el único. También los hay de geografía y renta, o de discriminación de personas mayores o modos de vida. En un sistema de reconocimiento facial, su auditoría detectó que la falta de datos raciales diversos producía fallos en el entrenamiento de la IA elevando la tasa de falsos positivos a más del 30%.

"Los algoritmos actuales son de muy mala calidad porque el proveedor no ha tenido en cuenta las particularidades del colectivo al que van dirigidos", advierte Galdon. "Cuando se emplean para recomendar un producto, no tiene implicaciones importantes; pero si se trata del acceso a servicios públicos y sociales, no nos lo podemos permitir".