La responsabilidad algorítmica se ha convertido en una preocupación de creciente importancia.  Se han expuesto numerosas discriminaciones de sistemas de inteligencia artificial (IA) hacia mujeres, o hacia personas mayores, de color o con capacidades diferentes. Ello ha conducido a un debate sobre cómo garantizar que estos sistemas sean justos y cómo regularlos.

Se habla mucho, y con motivo, sobre cómo las máquinas juzgan a los humanos, pero no tanto de cómo los humanos juzgamos a las máquinas. ¿Reaccionaríamos de manera diferente a los actos de discriminación, de vigilancia o de daño físico en función de si los realiza una máquina o un humano? ¿Nuestro juicio en este sentido se ve afectado por las dimensiones morales de un escenario? ¿Existen condiciones en las que juzgamos injustamente -o de manera demasiado benevolente- a las máquinas?

Son las “cuestiones urgentes” a las que trata de responder el chileno César Hidalgo, profesor de la Universidad de Harvard y director del grupo de Aprendizaje Colectivo del Instituto Toulouse de Inteligencia Artificial y Natural (ANITI). Meses de investigación y experimentos que han cristalizado en el libro How humans judge machines (MIT Press) que hace escasas horas se publicó online de forma gratuita y cuya versión en papel verá la luz hacia febrero de 2021.

En el libro, Hidalgo y sus colaboradores -entre ellos los españoles Jordi Albó y Natalia Martín- tratan de comprender las consecuencias éticas de la IA. Su postulado inicial es que, si bien los avances recientes en inteligencia artificial han estimulado un creciente debate sobre la ética de las máquinas semiinteligentes, este ha carecido de medidas contrafácticas que comparen el juicio de las personas sobre las máquinas con el juicio de acciones humanas equivalentes.

“Queríamos entender esas diferencias de acuerdo a las cinco dimensiones de la teoría de los fundamentos morales: daño, justicia, autoridad, lealtad y pureza”, explica Hidalgo en una videoentrevista entre Boston y Barcelona con INNOVADORES. Para ello, él y sus colaboradores realizaron docenas de experimentos con más de 80 escenarios diferentes, sobre cuestiones de sesgo algorítmico, privacidad, aplicación de la ley, vehículos autónomos y empleo.

Cuestión de intención

 La conclusión, grosso modo, es que las personas tienden a ver las acciones de las máquinas como más dañinas e inmorales en escenarios que implican violencia o daño físico. Sin embargo, son más indulgentes con las máquinas que con otros humanos en escenarios de injusticia. Por ejemplo, somos más duros con un humano que discrimina en un proceso de selección laboral que con una máquina que también lo hace. “En escenarios de injusticia las personas ponen mucha intencionalidad a un humano injusto y poca a una máquina”, comenta Hidalgo.

Al contrario sucede con la dimensión moral de la pureza. En uno de los escenarios se planteó cómo una máquina excavadora perpetraba una cripta con restos humanos al hacer un agujero para un nuevo edificio. A 200 personas se les presentó como que la acción de una excavadora autónoma y a otras 200 como una máquina conducida por un humano. Era una cuestión de pureza porque nadie había sufrido ningún daño, pero en este caso las personas también juzgaron más duramente a la máquina autónoma. ¿Por qué? “Cuando juzgamos a las personas lo hacemos en función de la interacción entre intención y daño y, en el caso de las máquinas lo hacemos de acuerdo a los resultados”, afirma Hidalgo.

¿Qué pasa si entran en conflicto dos dimensiones morales? Esto sucede en otro de los escenarios planteados, en el que un gran tsunami se acercaba a una ciudad costera de 10.000 habitantes, con consecuencias potencialmente devastadoras. El político o el algoritmo responsables de la seguridad de la ciudad podía decidir evacuar a todos, con un 50% de posibilidades de éxito, o salvar al 50% de la ciudad, con un 100% de éxito.

Con dicha premisa, se plantearon tres escenarios diferentes con similar resultado: en todos sobrevivía, de media, un 50% de las personas. Sin embargo, la evaluación de dichos resultados dependió del proceso que llevó a ellos y de si fueron ejecutados por una persona o por una máquina. En el caso de que la acción implique asumir un riesgo y fallar, la gente evaluó al político que asumió riesgos de manera mucho más positiva que al algoritmo que se arriesgó. Por el contrario, los participantes en el experimento consideraron que la acción del algoritmo fue más dañina. Sin embargo, evaluaron tanto la acción del algoritmo como la del político como igualmente intencionales.

Esa, la intencionalidad, es otra de las claves de la variabilidad de los resultados en diferentes escenarios. Cuando el escenario es muy accidental, donde la causa es exógena, las personas juzgan a la máquina de manera más dura aunque sin atribuir intención. Por ejemplo, si un vehículo autónomo se ve obligado a girar de manera repentina por una causa imprevista y atropella a una persona, se le juzga duramente aunque no lo haya hecho de forma intencional. Al tiempo, esa no intencionalidad hace que las personas excusen al humano sobre la base de que no hay nada que este hubiera podido hacer para evitar el accidente.

Uno de los resultados más inesperados para Hidalgo se dio en un experimento relacionado con la privacidad. “Presentamos escenarios donde las personas estaban siendo observadas por una máquina o por un humano en contextos distintos y encontramos que, en este caso, no había una preferencia universal de ser observado por máquinas o por humanos sino que dependía de la situación”, comenta el investigador. Por ejemplo, en escenarios que involucraban a niños, las personas preferían a los observadores humanos. Lo contrario sucedía en entornos más institucionales como un aeropuerto, donde se prefería una vigilancia algorítmica versus la policial o militar. En un centro comercial, sin embargo, las personas resultaron ser más o menos indiferentes a un tipo u otro de observación.

También se hizo obvio el sesgo humano contra a los inmigrantes en un escenario sobre pérdida de empleo. Ante la posibilidad de hacerlo por ser reemplazado por la tecnología, por un extranjero o por una relocalización del negocio, las personas reaccionaron “menos mal” cuando la pérdida se debía a la tecnología que cuando el reemplazo se producía por un foráneo, salvo en puestos que requerían un mayor nivel de capacitación.

Debate ético

Una de las conclusiones de los experimentos del libro -sometido a un proceso de evaluación por pares- es que los sesgos humanos a la hora de evaluar a las máquinas se mueven en tres ejes. Uno es la dicotomía entre daño y justicia. Otro es la componente accidental del suceso. El tercero es el rasero por el que se juzga a las personas en base a sus intenciones y a las máquinas en función de los resultados.

¿Se puede extrapolar el resultado de dichos experimentos a la realidad? Gemma Galdon, experta en ética de la tecnología y fundadora de Eticas Research Consulting y Fundación Eticas, resalta que es “muy relevante y útil” hablar de la interacción entre humanos y máquinas. “En general no estamos incorporando a la ecuación cómo las máquinas interactúan con formas de trabajar humanas”, afirma. Sin embargo, considera que la aproximación de la investigación del libro es una “perspectiva muy teórica y alejada de la práctica”. “En ese tipo de escenario, lo que pasa en el laboratorio y en el mundo real no tienen –por lo general- nada que ver. Por tanto, las conclusiones no sirven para planificar impactos reales”, sostiene.

Hidalgo especula en su libro con los límites de la ética y las implicaciones de los resultados de la investigación en un contexto de máquinas sociales. Pone el ejemplo de las burocracias, que técnicamente son máquinas por el modo en que han sido diseñadas y en el que operan, y como tales esperamos que se comporten (de forma exacta, predecible y eficiente). Por tanto, se pregunta si el hecho de automatizar esa máquina ayudaría a interpretar mejor el sistema y los resultados.

Lorena Jaume-Palasí, fundadora de Ethical Tech Society y experta en filosofía del derecho, considera peligroso entrar en este tipo de pensamiento mecanicista. “Es problemático porque plantea la posibilidad de contradecir y trascender a la naturaleza, al externalizar la razón del ser humano a una máquina”, sostiene. Esto desemboca -dice- en la idea de que las máquinas son mejores, y en cosas “absurdas” como pretender sustituir a un panadero por un horno. Entre otras cosas, porque incluso en un proceso de automatización integral se requieren meses, sino años, de trabajo manual.

Si bien es posible codificar las leyes en algoritmos -señala- la administración es mucho más que eso. El aparato burocrático no solo tiene la tarea de tratar a todos por igual según en esa receta sino que debe considerar hasta qué punto esas reglas se aplican en ese contexto o no. Es lo que hacen los jueces, cuya función es interpretar, contextualizar y adaptar la ley a cada caso.

Aquí entra en juego el concepto de equidad de Aristóteles, que asume que a veces la ley no es capaz de captar la realidad y por eso aquella debe ser flexible e inclusiva. Asume que las estandarizaciones no son perfectas y crea procesos para entender a quién se está excluyendo. “Eso es lo que legitima este tipo de estructura, y ese trabajo de contextualización no lo puede hacer una máquina. Ello no significa que las administraciones no deban digitalizarse, pero tampoco que los algoritmos vayan a poder sustituir el factor humano ni al proceso en sí”.

Galdon añade que ya hay muchos algoritmos y automatizaciones integradas en los procesos de gobierno que “están haciendo más mal que bien”. Reconoce que en teoría suena bien: introducir un sistema matemático haría más transparente el proceso. Pero esa teoría ignora el escenario de aplicación real del algoritmo. “La realidad es que el código casi nunca es público y que, como hemos visto en numerosas ocasiones, ni siquiera sus creadores saben cómo el sistema toma las decisiones”, comenta. Otro problema que conoce por su experiencia trabajando con diferentes administraciones en una variedad de países es que estos sistemas “introducen nuevas ineficiencias”.

Hidalgo asegura que no se trata de si los algoritmos lo hacen bien o mal sino de quién lo hace mejor, y de si dicho sistema contribuye a mejorar el actual. “Creo que no debemos de tener una estética de que las personas son buenas o las máquinas son buenas. Las personas juzgan la tecnología sin comparar. Asumir que el incluir a un humano en un proceso hace este sea mejor es un supuesto que no es siempre cierto”, dice.

Tanto Galdon como Palasí coinciden en que el debate no debe centrarse en elegir máquina o persona. “La clave es cómo combinamos lo mejor de humanos y máquinas”, dice Galdón. Palasí añade que humanos y máquinas cometen errores diferentes porque sus limitaciones lo son: la máquina es un artefacto, no piensa ni actúa como una entidad libre sino que aprende y depende de las personas que introducen en ella los datos.

 ¿Sesgos fuera?

Tanto esos datos como los resultados que ofrece la máquina pueden estar sesgados, como se ha visto ya en numerosas ocasiones. Hidalgo cree que la aproximación a este problema es a menudo equivocada, si la estrategia es ocultar a los algoritmos información como el género, la edad o la raza de una persona. Eso, dice, hace al sistema “matemáticamente subóptimo” y puede discriminar precisamente a los más vulnerables. Por ejemplo, si un sistema de selección de estudiantes universitarios tiene en cuenta las notas pero no sabe de dónde proceden los estudiantes (grupos de entornos privilegiados versus personas en riesgo de exclusión) no podrá discriminar positivamente a estos últimos.

Galdon coincide en parte: “Requerir ese tipo de datos solo estaría justificado si el fin es proteger a dichas personas”, asegura. También comenta que a veces ocultar dichos datos es inútil porque se pueden inferir por otras vías (por ejemplo, pueden saber el género de una persona si su currículo está escrito en femenino).  No obstante, estas posibles interferencias no justifican de por sí incluir esos datos.

Palasí evalúa el planteamiento detrás del abordaje de los sesgos bajo el prisma del pensamiento mecanicista: “Hay un cóctel de tres elementos que intentamos captar en los algoritmos y que siempre ha llevado al sesgo. Estos son la pretensión de neutralidad, el esencialismo y la universalidad”, dice. La neutralidad porque no reconoce la diferencia y reduce al estándar; el esencialismo porque trata de captar y convertir la esencia del ser humano en matemática, y la universalización porque se basa en ofrecer una imagen antropológica del ser humano y aplicarla de forma universal.

Palasí sostiene que esto lleva a las categorizaciones y a tratar de encajonar a las personas. “Los cajones son formas de restricción, no hay suficientes cajones posibles para meter a cada cual”, afirma. No, al menos, teniendo que todos somos de alguna manera diferentes, con nuestras especificidades, sentires, vivencias y aspectos que nos definen. El hecho de sistematizar, además, lleva a una mecánica reduccionista. “Esa tríada es la forma perfecta para crear una sistematización discriminatoria de la forma más sutil y a la mayor escala imaginable”, argumenta.

Otra de las reflexiones de Hidalgo es que “a menudo hemos aprendido cosas que consideramos como parte de la humanidad de manera más precisa cuando hemos tenido que expresarlas en forma matemática”. En el caso de la justicia, por ejemplo, no es lo mismo hablar de ella usando palabras –dice- que cuando hay que implementarla en una herramienta que obliga a definir las cosas de manera precisa. “Ese rigor que exige la computación lleva a ver esos detalles y a cosas que quizá era difícil comprender usando solo el lenguaje natural”, sostiene.

Palasí responde que, si bien el proceso puede ayudar a hacer preguntas para conocer lo que aún no se sabe, hay más de una explicación plausible para una correlación y muchas veces la elegida no es la correcta. “Con ello no vamos a entender ni más ni menos. Es una forma más de sistematización. Además, hay otros métodos no matemáticos que son igualmente válidos y corremos el riesgo de perderlos si tratamos de sustituir unos por otros”, afirma.

La fundadora de Ethical Tech Society defiende que los postulados mecanicistas pueden conducir a una dictadura algorítmica. “Como ya anticipó Hannah Arendt, estos son reduccionistas. Compartimentalizan los procesos, que se reducen a un número finito de pasos y se cree que la explicación de cada uno de ellos equivale a una explicación del proceso en sí”, señala. Es decir, se toma explicación del árbol como si fuera una explicación de cómo funciona el bosque. “Esto crea una distanciación: se pierde la perspectiva arquitectónica del proceso, que además diluye la responsabilidad”, añade.

En conclusión: debemos encontrar la forma óptima de interacción entre humanos y máquinas, conociendo nuestros sesgos (y los de los algoritmos) y las fortalezas de cada cual. Claro está que el camino hacia la tecnología ética requiere de profundidad y de retóricas que no dejen de lado la complejidad. Como dice Hidalgo: “Si es novedad este libro, que plantea una pregunta estructural de los cimientos del edificio, es que aún nos queda un largo recorrido para terminar de construirlo”.