Las alucinaciones son un tema frecuente de inquietud en las conversaciones sobre la IA en el ámbito sanitario. Pero, ¿qué significan realmente en la práctica? Este fue el tema de debate durante un panel celebrado la semana pasada en la MedCity INVEST Digital Health Conference en Dallas.
Según Soumi Saha, vicepresidenta sénior de asuntos gubernamentales en Premier Inc. y moderadora de la sesión, las alucinaciones de la IA ocurren cuando esta “usa su imaginación”, lo que a veces puede dañar a los pacientes ya que podría estar proporcionando información errónea.
Una de las panelistas —Jennifer Goldsack, fundadora y CEO de la Digital Medicine Society— describió las alucinaciones de la IA como el “equivalente técnológico a las chorradas”. Randi Seigel, socia de Manatt, Phelps & Phillips, la definió como cuando la IA inventa algo, “pero suena a hecho verídico, por lo que no lo cuestionas”. Por último, Gigi Yuen, directora de datos e IA de Cohere Health, dijo que las alucinaciones ocurren cuando la IA está “desconectada de la realidad” y “no es humilde”.
Pero, ¿son siempre malas las alucinaciones? Saha planteó esta pregunta a los panelistas, preguntándose si una alucinación puede ayudar a las personas a “identificar una posible laguna en los datos o en la investigación” que muestre la necesidad de profundizar más.
Yuen afirmó que las alucinaciones son malas cuando el usuario no sabe que la IA está alucinando.
Sin embargo, “yo estaría completamente encantada de tener una lluvia de ideas con mi chatbot de IA, si estuviera dispuesto a compartir conmigo su nivel de confianza en lo que dice”, señaló.
Goldsack equiparó las alucinaciones de la IA con los datos de los ensayos clínicos, argumentando que los datos faltantes en realidad pueden decirles algo a los investigadores. Por ejemplo, al realizar ensayos clínicos en salud mental, la ausencia de datos puede ser una señal de que a alguien le está yendo muy bien porque está “viviendo su vida” en lugar de registrar sus síntomas a diario. No obstante, la industria sanitaria a menudo usa un lenguaje de culpa cuando hay datos faltantes, afirmando que hay una falta de adherencia entre los pacientes, en vez de reflexionar sobre lo que realmente significan esos datos ausentes.
Añadió que la industria tiende a proyectar muchos “juicios de valor sobre la tecnología”, pero la tecnología “no tiene sentido de los valores”. Por lo tanto, si la industria experimenta alucinaciones con la IA, corresponde a los humanos ser curiosos sobre el porqué de la alucinación y utilizar el pensamiento crítico.
“Si no podemos hacer que estas herramientas funcionen para nosotros, no veo claro cómo podremos tener un sistema sanitario sostenible en el futuro”, dijo Goldsack. “Así que creo que tenemos la responsabilidad de ser curiosos y estar alerta ante este tipo de cosas, y pensar en cómo comparamos y contrastamos con otros marcos legales, al menos como punto de partida”.
Por su parte, Seigel, de Manatt, Phelps & Phillips, subrayó la importancia de incorporar la IA en el currículo de los estudiantes de medicina y enfermería, incluyendo cómo entenderla y hacerle preguntas.
“Desde luego, no va a ser suficiente hacer un curso en tu formación anual, en el que ya inviertes tres horas, para enseñarte cómo formarte en IA. … Creo que tiene que ser iterativo, y no solo algo que se enseñe una vez y luego sea parte de un curso de refresco que pasas por encima durante todas las demás formaciones anuales”, afirmó.