Desde que OpenAI anunció que se podía solicitar acceso a una versión beta de ChatGPT Health para subir datos médicos y consultar al chatbot, numerosas personas han hecho precisamente eso.
Entre ellas figuran el columnista de tecnología del Washington Post, Geoffrey Fowler, y la hija de Amy Gleason —administradora interina del Servicio DOGE de EE.UU. y asesora estratégica de los Centros de Servicios de Medicare y Medicaid—, quien lucha contra una enfermedad rara. Sus experiencias con ChatGPT Health —compartidas esta semana en línea y en un evento presencial— son diametralmente opuestas en cuanto a la precisión de las declaraciones de los bots.
El lunes, Fowler publicó un extenso relato sobre cómo se inscribió en la lista de espera, subió una década de datos de pasos y mediciones cardíacas —29 millones de pasos y 6 millones de latidos— recopilados por su Apple Watch y almacenados en la app Apple Health, y luego preguntó al bot: “Dame una puntuación simple (A-F) de mi salud cardiovascular en la última década, con componentes y una evaluación global de mi longevidad”.
Obtuvo una F. ChatGPT Health se negó a predecir su esperanza de vida. Y cada vez que subía la misma información, recibía una calificación distinta.
La historia es fascinante y todos deberían leerla. Fowler relata que consultó a su médico y a cardiólogos reconocidos como el Dr. Eric Topol, defensor de que los médicos adopten tecnología innovadora. Ambos coincidieron en que ChatGPT Health estaba completamente equivocado y que Fowler gozaba de buena salud. El mensaje es claro: estos productos se lanzan antes de estar listos y pueden causar daños reales a los pacientes.
Más adelante, Fowler explica que el bot aclaró que la calificación se basaba únicamente en los datos del Apple Watch, y que podría ofrecer una evaluación más útil si subía también sus historiales médicos. Así lo hizo, y su nota pasó de F a D.
Al parecer, parte del análisis se fundamentó en “la evaluación de una medición del Apple Watch conocida como VO2 máx., la cantidad máxima de oxígeno que el cuerpo puede consumir durante el ejercicio”, y el método de Apple para medir el VO2 parece ser insuficiente. ChatGPT Health también consideró otras métricas imprecisas. En otras palabras, se centró en aspectos equivocados y, por tanto, asignó las calificaciones de F y D. Según el artículo, Claude de Anthropic no fue mucho mejor.
Posteriormente, el médico personal de Fowler, para evaluar más a fondo su salud cardíaca, le solicitó un análisis de sangre que incluía la medición de la lipoproteína (a). Esta prueba detecta un tipo específico de partícula transportadora de grasas en la sangre, permitiendo una evaluación del riesgo cardiovascular más allá del panel de colesterol y pudiendo revelar riesgos ocultos de infarto, ictus y aterosclerosis. Fowler señaló que ni ChatGPT Health ni Claude le habían sugerido hacérsela —un punto razonable, dado que los bots le habían dado calificaciones tan bajas. No obstante, cabría preguntarse: “¿Era necesaria esta prueba?”. Después de todo, como el mismo Fowler indicó, su médico había reaccionado a la nota F diciendo que tenía “un riesgo tan bajo de sufrir un infarto que probablemente su seguro ni siquiera cubriría una prueba de fitness cardíaco adicional para demostrar que la inteligencia artificial estaba equivocada”.
¿Podría el médico haber solicitado la prueba por precaución y para tranquilizar al paciente?
Por otro lado, Fowler observó señales preocupantes en sus interacciones con ChatGPT Health. Actualmente, nos preocupan las alucinaciones en la IA —que el software “vea” cosas que no existen—. Fowler reporta senilidad —ChatGPT Health olvidó su edad, género e incluso sus signos vitales recientes.
En resumen, Fowler y sus fuentes parecen concluir que estas herramientas no fueron desarrolladas para “extraer análisis personales precisos y útiles de los complejos datos almacenados en los Apple Watch y en los historiales médicos”. En una palabra, son decepcionantes y los consumidores deberían ser conscientes de ello.
Para la experiencia diametralmente opuesta con ChatGPT Health, volvemos a Gleason de DOGE y CMS. Gleason tiene formación en enfermería y su hija ha luchado durante años contra una enfermedad rara. El martes, Gleason estaba en San Francisco para hablar sobre el Ecosistema de Tecnología Sanitaria de CMS en un evento organizado por la empresa de inteligencia de datos de salud, Innovaccer.
Compartió la desgarradora historia de su hija, una gimnasta y animadora que pasó de hacer volteretas y piruetas a sufrir fracturas solo por caminar, hasta que finalmente no pudo ponerse de pie ni subir escaleras. Un año y tres meses después, una biopsia de piel reveló su verdadera afección: dermatomiositis juvenil, una enfermedad vascular sistémica, crónica y autoinmune, poco común en niños, en la que el sistema inmunitario ataca los vasos sanguíneos, causando inflamación muscular y erupciones cutáneas. La hija de Gleason tenía entonces unos 11 años.
“Ha tomado 21 medicamentos diarios y recibido dos infusiones mensuales durante 15 años, así que estaba muy ilusionada con este ensayo de terapia CAR-T porque podría eliminar todos sus medicamentos”, contó Gleason al público.
Pero a Morgan, que ahora tiene 27 años, la esperaba una decepción.
“Entró en el ensayo, [pero] la rechazaron porque tiene superposición de colitis ulcerosa”, explicó Gleason. “Dijeron que el riesgo de retirarle toda la medicación era demasiado alto. Podría tener una reacción adversa con su CU”.
Morgan, tan frustrada, recopiló el voluminoso historial médico que Gleason había acumulado a lo largo de los años y lo subió a ChatGPT Health. Pidió al bot de salud que “encuentre otro ensayo” y ChatGPT le mostró exactamente el mismo ensayo CAR-T, pero aportando un dato crucial.
“ChatGPT dijo: ‘En realidad, creo que eres elegible para ese ensayo porque no creo que tengas colitis ulcerosa. Creo que tienes una ligera variante llamada colitis linfocítica microscópica, una forma de colitis de reacción mucho más lenta, y no es un criterio de exclusión para el ensayo’”, relató Gleason.
Al parecer, ChatGPT no se detuvo ahí.
La investigadora Gleason señaló que, al revisar los historiales médicos, se encontró que en la biopsia de sus amígdalas —realizada durante ese difícil período de un año y tres meses— aparecía la anotación ‘evaluar por enfermedad autoinmune’, algo que nadie había detectado y que pasó totalmente desapercibido durante todo su proceso.
Claramente impresionada por esta interacción con ChatGPT Health, añadió que “los profesionales que se adapten a este nuevo contexto serán quienes triunfen y sobrevivan, mientras que aquellos que se resistan e intenten disuadir a los pacientes de utilizarlo se perderán este fenómeno”.
A su derecha, en el panel de discusión, se encontraba el Dr. Robert Wachter, médico, autor y catedrático del Departamento de Medicina de la Universidad de California en San Francisco. El Dr. Wachter ofreció una advertencia para los consumidores que utilizan inteligencia artificial, tomando como ejemplo el caso mencionado de Fowler.
“Las herramientas son útiles y beneficiosas en muchos aspectos, pero considero que la herramienta definitiva para pacientes deberá ser más específica y personalizada que un ChatGPT genérico o una plataforma como Open Evidence”, afirmó.
Gleason, quizás, tuvo la última palabra al respecto.
“También pienso que hoy es el momento en que estos modelos son más limitados. Seguirán mejorando con el tiempo, y creo que definitivamente deben usarse en conjunción con un profesional médico en la actualidad”.
Foto: Olena Malik, Getty Images