El servicio de Anestesiología del Hospital Universitario de Valme de Sevilla ha desarrollado un estudio para determinar la fiabilidad de la información que puede prestar a sus profesionales la Inteligencia Artificial generativa. Para ello han usado el conocido sistema ChatGPT versión 3.5.

Los resultados han sido positivos, incluso "sorprendentes", aunque con ciertos matices. Advierten, de hecho, que el estudio no pretendía demostrar que la IA sea capaz de "sustituir" a los médicos anestesiólogos en la práctica de su especialidad.

Con todo, gracias a este estudio el centro hospitalario sevillano ha sido reconocido con el premio a la Mejor Comunicación en formato Póster presentada en el último congreso andaluz y extremeño de anestesiología.

El estudio, aclaran desde el hospital, fue "observacional". Lleva por título 'Inteligencia Artificial Generativa como herramienta en situaciones clínicas de Anestesiología'. Su objetivo concreto era comprobar el grado de exactitud de una herramienta IA en esta especialidad médica.

Para ello, lo compararon con los conocimientos de dos anestesiólogos con experiencia reconocidos por el Edaic (Diploma Europeo en Anestesiología y Cuidados Intensivos). En total, en el estudio han intervenido cinco profesionales: la jefa del servicio, Mercedes Echevarría, junto a los especialistas Álvaro San Antonio y María Ruano más los residentes Carlos del Boz y Belén Estero.

Metodología y resultados

La Inteligencia Artificial generativa, explican desde el hospital, produce contenido nuevo de texto coherente en base a una información entrenada y procedente de una amplia base de datos. En base a esta premisa, el estudio consistió en lanzar preguntas aleatorias a la herramienta, todas ellas elaboradas por residentes en temprana formación.

La muestra preliminar se compuso de hasta 96 ejecuciones, sin que se utilizaran datos sanitarios de pacientes para el estudio. Después, las respuestas del ChatGPT se entregaron a los dos expertos citados.

Ellos, tras analizar los resultados en cada una de las categorías que componían el estudio -fórmulas matemáticas, farmacología, práctica clínica y algoritmos preestablecidos- acordaron recomendar el uso de la herramienta en 66 de las 96 ejecuciones. Esto es, en un 68 por ciento.

"Ayuda en la toma de decisiones"

En conversación con este periódico, la jefa del servicio de Anestesiología de este hospital sevillano, Mercedes Echevarría, admite ser optimista con el estudio. Sin embargo, advierte de que "esta herramienta podría utilizarse como una ayuda cognitiva en situaciones de estrés", pero "en ningún caso sin supervisión de un médico especialista". 

"En Anestesiología", continúa explicando la especialista, "el término 'ayuda cognitiva' se utiliza para englobar herramientas que apoyan el proceso de toma de decisiones, reducir el estrés cognitivo y mejorar el rendimiento de las personas que se enfrentan a una situación crítica".

Estas ayudas "deben trabajar simplificando la información compleja para que las personas tomen decisiones más efectivas y eficientes", señala.

Y, aunque Echevarría no cree que una herramienta de IA "pueda resolver problemas prácticos por sí misma", ya que "no tiene acceso a la monitorización del paciente ni su historia clínica", sí cree que "puede ser una herramienta de apoyo que mejore el acceso a la información". 

De ahí que sea un estudio de "máximo interés" en el ámbito médico, apunta, al aportar una "visión actual" sobre la utilidad de la herramienta en esta especialidad.

Principal limitación

Aún con ello, el aspecto que más limita el uso de ChatGPT en la práctica de la anestesiología, reconoce Echevarría, es la imposibilidad de consultar y corroborar las fuentes de las que extrae la información.

De hecho, que la herramienta no permita "verificar sus fuentes en cada respuesta" fue una de las motivaciones principales del estudio. Es la razón, explica Echevarría, de que se realizase "una verificación independiente mediante la corroboración de la información con dos expertos anestesiólogos"

Ellos, afirma, "utilizaron fuentes confiables como guías clínicas, artículos o bases de datos médicas" durante la prueba. Todas actualizadas.

Las respuestas de ChatGPT, por el contrario, aclara la especialista, no recogen la información "en tiempo real", y "se elaboran a partir de información pre entrenada de una gran cantidad de libros, artículos científicos, sitios web y otros recursos disponibles públicamente hasta un año determinado". Actualmente "hasta 2023".

Esto hace "que no se pueda comprobar si una afirmación específica es actual o respaldada por evidencia científica reciente".

Profesionales "insustituibles"

Dicho esto, Echevarría recuerda que les "sorprendió la exactitud obtenida en casi todas las preguntas", a destacar "en la categoría de los algoritmos preestablecidos". La utilidad de esta herramienta, insiste, "reside en la rapidez de acceso a la información, pero la interpretación en el contexto clínico con la información del paciente y todas las variantes, la realiza el médico anestesiólogo".

Y es que, "por muy exactas que fueran la mayoría de sus respuestas", la jefa de este servicio del Hospital de Valme destaca que "también existieron ejecuciones con respuestas no viables". Por ello, y al menos "de momento" las respuestas de la herramienta "deben contrastarse con fuentes más fiables". 

El objetivo del estudio, concluye Echevarría, no era determinar si una herramienta IA como ChatGPT podría "sustituir" a los médicos anestesiólogos. 

"En el día a día nos enfrentamos a gran cantidad de situaciones que resolvemos gracias a nuestros conocimientos y habilidades, aprendidas y entrenadas mediante años de estudio, trabajo y simulación", afirma. 

En definitiva, Echevarría explica que, "visto el creciente uso de herramientas de IA generativa en otros ámbitos" como "la educación", quisieron "ponerla a prueba en nuestra materia para comprobar la fiabilidad de sus respuestas".

También para saber "si nuestros médicos residentes en formación, que a veces utilizan la herramienta, saben a lo que se exponen".