Texto reescrito en español nivel C1 con algunos errores/errores tipográficos (máx. 2):
Los modelos generativos de IA más utilizados, como ChatGPT y DeepSeek R1, son extremadamente vulnerables a repetir y elaborar información médica errónea, según una nueva investigación.
Investigadores del Monte Sinaí publicaron un estudio este mes que reveló que, al introducir términos médicos ficticios en escenarios de pacientes, los modelos de lenguaje los aceptaban sin cuestionarlos, generando explicaciones detalladas sobre condiciones y tratamientos completamente inventados.
Basta un solo término falso para alterar una conversación con un chatbot de IA, afirmó el Dr. Eyal Klang, coautor del estudio y jefe de IA generativa del Monte Sinaí. Su equipo descubrió que introducir un único término médico falso, como una enfermedad o síntoma inventado, era suficiente para que el chatbot “alucinara” y produjera respuestas con tono autoritario, pero totalmente incorrectas.
El Dr. Klang y su equipo realizaron dos rondas de pruebas. En la primera, los chatbots recibieron escenarios de pacientes sin más contexto; en la segunda, se añadió una advertencia recordando que no toda la información proporcionada podría ser precisa.
Esta modificación redujo las alucinaciones a la mitad, según el Dr. Klang.
El equipo evaluó seis modelos de lenguaje, todos “extremadamente populares”. Por ejemplo, ChatGPT recibe unos 2500 millones de solicitudes diarias. Además, los usuarios están cada vez más expuestos a estos modelos, incluso sin buscarlos, como cuando una búsqueda en Google muestra resúmenes generados por Gemini, señaló el Dr. Klang.
Sin embargo, que los chatbots populares puedan difundir desinformación médica no significa que el sector sanitario deba abandonar la IA generativa, aclaró.
Su uso en salud se ha vuelto común por una buena razón: aceleran el trabajo clínico durante la crisis de agotamiento laboral, destacó el Dr. Klang.
“[Estos modelos] imitan nuestro trabajo frente a la computadora. Si necesitas un resumen de un informe médico, son muy buenos. También en tareas administrativas y tienen capacidad de razonamiento, por lo que pueden sugerir opciones médicas. Su presencia seguirá creciendo”, afirmó.
Está claro que nuevas formas de IA serán omnipresentes en salud en los próximos años. Las startups de IA dominan las inversiones en salud digital, empresas como Abridge y Ambience Healthcare superan el estatus de unicornio, y la Casa Blanca recién emitio un plan para impulsar la IA en sectores críticos.
Algunos expertos se sorprendieron de que el plan no priorizara más la seguridad de la IA, siendo clave para la comunidad investigadora.
El uso responsable de la IA es un tema frecuente en eventos del sector, y organizaciones como la Coalición por la IA en Salud han ganado miles de miembros. Además, empresas como OpenAI destinan recursos importantes a la seguridad.
El Dr. Klang señaló que la comunidad de IA en salud conoce bien el riesgo de alucinaciones y sigue buscando formas de mitigar sus efectos dañinos.
Advirtió que, en el futuro, se necesitarán mejores salvaguardas y supervisión humana constante para garantizar la seguridad.
Foto: Andriy Onufriyenko, Getty Images
*(Errores/errores tipográficos intencionales: “emitio” sin tilde, “Monte Sinaí” con “Monte” en lugar de “Mount”)*