Las revistas científicas afrontan una crisis de credibilidad

Ulrich Dirnagl es un investigador alemán especializado en infartos cerebrales. Un día, revisando la literatura médica, se percató de que muchos estudios realizados con ratones y publicados en revistas científicas terminaban con menos animales de los que habían empezado, es decir, no reflejaban la tasa de abandono de los roedores.

Por supuesto, no es lo mismo que un nuevo medicamento contra el infarto cerebral funcione en 75 ratones que en 90, y mucho menos cuando se oculta en un artículo científico el número inicial. Esta fraudulenta pero arraigada costumbre desvirtúa los resultados en ensayos posteriores, y es una de las razones para que un medicamento prometedor -en el que se han invertido millones- acabe no funcionando jamás. "Miles de estudios preclínicos con muchos tipos de fármacos han mostrado efectos espectaculares en nuestros modelos, pero ninguno de ellos ha funcionado al ser probado en animales", reconoce a EL ESPAÑOL Dirnagl, director del Centro de Investigación del Ictus en la Charité Universitätsmedizin de Berlín.

Este científico, que también dirige una revista científica llamada Journal of Cerebral Blood Flow and Metabolism, se dio cuenta entonces de que "muchos de los estudios enviados carecen de transparencia, o contienen muchos signos de alerta de que los resultados pueden estar inflados o incluso ser falsos positivos". Los resultados de sus pesquisas aparecen publicados esta semana en PLOS y no son halagüeños: "Recientemente, varios estudios han tratado de reproducir sistemáticamente resultados de investigaciones, y encontraron que sólo una tristemente pequeña fracción de ellos soportaba la prueba de repetir el experimento".

Más allá de la psicología

En agosto de 2015, Nature ya alertó de que dos tercios de los artículos publicados en tres revistas de psicología no pasaban las pruebas de reproducibilidad, esto es, no podían ser repetidos para obtener los mismos resultados. Ahora, un nuevo estudio extiende la sospecha a otras áreas de la ciencia, como la biomedicina.

La mente detrás de todos estos esfuerzos, que forman parte de una iniciativa llamada Proyecto Reproducibilidad, es John Ioannidis, investigador en la Universidad de Stanford que ha dedicado gran parte de su carrera a obligar a los científicos a ser más exigentes consigo mismos para recobrar el aura infalible de sus disciplinas.

"Mi preocupación con la credibilidad viene de atrás, llevo más de dos décadas batallando con asuntos de transparencia, reproducibilidad, precisión y credibilidad de los resultados científicos", dice Ioannidis a EL ESPAÑOL. "Aunque los datos que
tenemos sobre estos problemas, y cómo resolverlos, han aumentado mucho en los dos últimos años, es cierto que hoy en día no hay muchos más científicos interesados en estos asuntos".

En su revisión, Ioannidis y sus compañeros escogieron al azar 441 artículos científicos publicados entre 2000 y 2014. Ninguno de ellos ofrecía sus datos en crudo para poder ser analizados por otros científicos. También el porcentaje de estudios que declaraban un conflicto de intereses pasó del 94,4% en 2000 a un 36,4% en 2014.

Para rematar la faena, sólo cuatro de los 441 eran estudios de replicación, destinados a validar o refutar los resultados de trabajos anteriores. "Sólo hay un puñado de revistas científicas que animen a enviar este tipo de trabajos; tradicionalmente ha sido muy difícil publicarlos, principalmente porque los editores no creen que sean algo nuevo o lo suficientemente interesante", dice a este periódico Stavroula Kousta, editora en la célebre revista PLOS Biology. "En el panorama actual, un tema recurrente es la presión, cada vez mayor, para publicar trabajos de mucho impacto cada vez más rápido para satisfacer cosas como la contratación, la antigüedad académica o a los comités de subvenciones".

Atajar el problema desde dentro

Para tratar de solucionar este problema desde dentro, revistas como la editada por la Biblioteca Pública Científica de Estados Unidos han inaugurado secciones de meta-análisis: investigación científica sobre la investigación científica.

"La meta-investigación es un campo relativamente nuevo, científicos como Ioannidis fueron los primeros, pero creo que crecerá en importancia en el futuro", reflexiona Dirnagl. "Lo que sería importante es que las revistas científicas no publicaran sólo cosas espectaculares, sino también réplicas de artículos, resultados neutros o negativos, así como revisar bien las estadísticas de los trabajos publicados".

Ioannidis, que ya en 2005 hizo mucho ruido con un artículo titulado Por qué la mayoría de resultados científicos publicados son falsos quita importancia a haber sido pionero en denunciar estos fallos en el proceso y el daño que hacen, tanto a la ciencia como a la economía. "En cierto modo, investigar sobre la investigación es probablemente la disciplina científica más antigua que hay, dado que las preguntas que surgen están en el núcleo de cómo hacemos la ciencia, cómo diseñamos los estudios, analizamos los datos, los interpretamos y diseminamos los resultados... es sólo que ahora podemos tratar estas cuestiones de forma más eficiente, ya que tenemos una gran cantidad de datos empíricos", dice el científico de origen griego.

En los últimos años, los movimientos open access, con mayores requisitos de transparencia y accesibilidad a los datos, han ayudado a suavizar un poco el problema de la credibilidad. Pero, como apunta Koustas, "hay que hacer muchas más cosas para establecer y promover prácticas sólidas de investigación y evaluación". Para empezar, que existan estándares de publicación comunes para todas las disciplinas de la ciencia.