La inversión en I+D+i del sector privado es bastante mediocre en España. No lo digo yo, lo dijo la semana pasada Pedro Duque, ministro de Ciencia, Innovación y Universidades, en un desayuno organizado por Europa Press. En el sector público la situación no es mejor. El gasto total en I+D lleva diez años estancado en el 1,2%, según un análisis del Instituto de Estudios Económicos (IEE) a partir de cifras de Eurostat. España se sitúa aún muy lejos del 2% de media en la UE, en la que ocupa el puesto 17.

Esto, el cuánto, es importante. Pero tanto, o más, lo es el qué -en qué se innova- y el cómo. Y también dónde va a parar, qué uso se hace de esa innovación y si realmente esta se incorpora al mercado y llega al usuario final. Es necesario un análisis más allá de las cifras y de la superficie de medidores que -sin negar su utilidad- pueden distraer la atención y desviar los objetivos de formas perversas. Un análisis que ponga el foco en lo que a menudo no se cuestiona, o ni siquiera se aprecia, a pesar de tener un enorme impacto.

Aquí entra en juego AlgorithmWatch, una organización sin ánimo de lucro cuyo fin es evaluar y dar a conocer los procesos algorítmicos y de automatización que tienen relevancia social. Su trabajo se centra en la filosofía del derecho y la ética de la digitalización. Y, dentro de él, tienen cabida investigaciones sobre cómo traducen los algoritmos las fórmulas matemáticas para crear el software. Es decir, si la traducción informática de esa fórmula es correcta o no, porque el efecto de que no lo sea puede ser devastador.

Un claro ejemplo de esto es el controvertido caso de análisis de ADN dudosos destapado en 2017 por ProPublica y The New York Times. Un trabajo conjunto de periodistas de ambos medios reveló las dudas científicas sobre la precisión de las pruebas realizadas por el laboratorio para el crimen de Nueva York, que presume de pionero a nivel nacional por sus análisis de muestras de ADN especialmente difíciles. Pruebas tomadas en escenas de crímenes capitales que podían suponer la pena de muerte para los acusados.

El problema, explica la cofundadora y directora de AlgorithmWatch Lorena Jaume-Palasí, es que este tipo de laboratorio no es el que produce el software de análisis sino que lo adquiere a un tercero. Los bioquímicos que lo usan no tienen forma de analizarlo para comprobar en qué medida es correcta su formulación, lo cual tiene un impacto directo en cuán acertados son sus resultados. Esto, a su vez, puede derivar en inculpar a personas inocentes.

Incentivos perversos

Otro área en la que estos errores pueden tener un gran impacto es la salud, que desde AlgorithmWatch están explorando. En concreto, los dispositivos de médicos de imagen (ecografías, ultrasonidos, TAC…). “Los aparatos convencionales que normalmente se usan tienen unos algoritmos bastante simples, no aprenden de la experiencia”, afirma. Al contrario que los sistemas inteligentes, estos no tienen en cuenta ni se adaptan a las correcciones que sobre sus resultados hacen los especialistas médicos.

Jaume-Palasí explica que esto tiene especial relevancia, por ejemplo, para pacientes con varias patologías que toman medicamentos que pueden afectar a otros órganos y, por tanto, a los resultados de estas pruebas. Es el caso de algunos fármacos para tratar ciertas enfermedades psíquicas, que pueden afectar al corazón o a la presión sanguínea. Si el paciente no lo advierte -explica- el cardiólogo pasará por alto esta condición cuando analice la prueba. Y, al contrario, si el psiquiatra no advierte el riesgo y no pide la prueba para valorar una posible afección cardíaca, la situación podría llegar a ser irreversible.

La abogada critica que esto es algo que se podría resolver y que no se hace porque la industria de tecnología sanitaria “tiene determinados incentivos para progresar en según qué campos y este no es uno de ellos”. “Los afectados responden a un perfil estigmatizado y no relevante en términos de negocio. No hay interés porque no hay mercado”, añade. Innovar o introducir mejoras incrementales en esto sistemas cuesta dinero y encarece el producto final. Otro obstáculo añadido para la adquisición de tecnología punta, sobre todo en el sector público.

Cambio de perspectiva

A menudo el problema no supone un reto de desarrollo tecnológico sino de planteamiento. Requiere tener múltiples factores en cuenta. Por ejemplo, en las Unidades de Cuidados Intensivos las falsas alarmas de los monitores de los pacientes pueden alcanzar el 90%, como señala Stuart Russell, eminencia en inteligencia artificial. Esto provoca en los pacientes el llamado ‘síndrome de fatiga por alarmas’. Las enfermeras, por su parte, se acostumbran al sonido constante y acaban ignorándolas. Por ello, Russell y su grupo de investigación en la Universidad de Berkeley (EEUU) han desarrollado un sistema basado en algoritmos de aprendizaje que “reduce considerablemente el índice de falsas alarmas en las UCI”.

Este problema, sin embargo, podría haberse evitado -señala Jaume-Palasí- si a la hora de plantear y desarrollar los monitores los ingenieros no hubieran pensado solo en el paciente sino en todo el ecosistema que le rodea. La abogada señala la necesidad de empezar a analizar estas dimensiones, que hasta ahora no han sido evaluadas. Por suerte -comenta- casos como los anteriores están llevando a la comunidad científica a cuestionar cada vez más estos procesos.

A mayor escala, en AlgorithmWatch buscan cartografiar servicios de automatización, el derecho que se está aplicando al respecto y este cómo restringe o determina qué se puede hacer o no. “Hemos encontrado cosas sorprendentes, como leyes que son, de facto, aunque con otro nombre, regulación algorítmica”, señala Jaume-Palasí. “Nos ha sorprendido porque, ahora que tanto se habla de cómo regular los algoritmos, resulta que ya hay mucho avanzado pero con otras palabras clave”.

Silos ineficientes

Jaume-Palasí asegura que su propósito con todo este trabajo no es la tecnología en sí sino el aspecto social: cómo la estructura legal de un país rige cada tipo de procedimiento jurídico y, en general, los procesos de automatización en el sector público. “Esto permite ver cómo las sociedades son estructuradas por el derecho y dónde hay agujeros jurídicos y políticos”, afirma. Y pone varios ejemplos que muestran el impacto de la compartimentalización, la organización de cada departamento en silos aislados, a su vez compuestos de diferentes módulos.

Uno de los casos que cita es la identificación de sospechosos y su transferencia al sistema de justicia. Si la base de datos de la policía está separada de la de la fiscalía y no hay un proceso que exija a esta que transfiera a la primera el estatus jurídico de los arrestados, puede que alguien declarado inocente sea tratado como detenido. Otro ejemplo tiene que ver con los servicios públicos de empleo, donde la “excesiva compartimentalización” de estos organismos puede provoca fallos en los cálculos de prestaciones, o registros dobles que modifican el cómputo estadístico global, que a su vez guía la toma de ciertas decisiones.

El problema es que el sistema de licitaciones que se requiere a nivel público, con desarrollos de compañías diferentes, formatos y antigüedades distintas -en una cadena de transmisión compleja entre los diferentes módulos- multiplica las opciones de fallo. “Los países que no tienen una arquitectura unificada tienen un alto riesgo de error, y esto es grave porque los usuarios no tienen herramientas para detectarlo y saber si les están dando las ayudas que le corresponden o les están llegando todas las ofertas que encajan”, enfatiza Jaume-Palasí.

¿Hay forma de solucionarlo? La tarea se antoja mastodóntica. La abogada ve una oportunidad en las exigencias de digitalización de la UE hacia los diferentes gobiernos. “Ya que hay que hacerlo, evitemos la compartimentalización. También señala que aunque parezca inviable afrontar el cambio sistémico necesario para crear mecanismos de automatización para homogeneizar datos, es peor mantener la infraestructura actual. “No nos engañemos, está costando más tiempo y más dinero que lo que requeriría crear un sistema consistente”, concluye.