Las organizaciones sanitarias utilizan la inteligencia artificial más que nunca, pero persisten numerosas interrogantes sobre cómo garantizar un uso seguro y responsable de estos modelos. Los líderes del sector aún buscan la mejor manera de abordar las preocupaciones sobre el sesgo algorítmico, así como la responsabilidad civil cuando una recomendación de IA resulta ser errónea.
Durante un debate el mes pasado en la conferencia INVEST Digital Health de MedCity News en Dallas, líderes sanitarios discutieron cómo están implementando marcos de gobernanza para mitigar el sesgo y los daños no intencionados. Consideran que los elementos clave son la responsabilidad de los proveedores, una mayor adherencia regulatoria y la participación de los clínicos.
Ruben Amarasingham — director ejecutivo de Pieces Technologies, una startup de IA sanitaria adquirida por Smarter Technologies la semana pasada — señaló que, si bien los sistemas con intervención humana pueden ayudar a frenar el sesgo en la IA, uno de los riesgos más insidiosos es el sesgo de automatización. Este se refiere a la tendencia de las personas a confiar demasiado en las recomendaciones generadas por máquinas.
“Uno de los mayores ejemplos en la industria del consumo es el de los mapas GPS. Desde su introducción, al estudiar el rendimiento cognitivo, se observó que la gente perdía conocimiento y memoria espacial en ciudades que no le eran familiares — simplemente por depender de esos sistemas. Y estamos empezando a ver algo similar con la IA en el ámbito sanitario,” explicó Amarasingham.
Añadió que el sesgo de automatización puede conducir a la “pérdida de habilidades”, o el desgaste gradual de la pericia humana de los profesionales. Señaló una investigación publicada en agosto procedente de Polonia que muestra cómo los gastroenterólogos que usaban herramientas de IA perdían destreza para identificar pólipos.
Amarasingham cree que los proveedores tienen la responsabilidad de monitorizar el sesgo de automatización analizando el comportamiento de sus usuarios.
“Una de las cosas que hacemos con nuestros clientes es examinar la tasa de aceptación de las recomendaciones. ¿Existen patrones que sugieran que no se está reflexionando realmente al aceptar la recomendación de la IA? Aunque pudiéramos desear una tasa de aceptación del 100%, eso probablemente no sea ideal — indicaría que no hay una calidad de reflexión detrás,” declaró.
Alya Sulaiman, directora de cumplimiento y privacidad en la plataforma de datos de salud Datavant, coincidió con Amarasingham, afirmando que hay motivos legítimos para preocuparse de que el personal sanitario confíe ciegamente en las recomendaciones de IA o utilice sistemas que funcionan en piloto automático. Señaló que esto ha propiciado numerosas leyes estatales que imponen requisitos regulatorios y de gobernanza para la IA, incluyendo notificación, consentimiento y sólidos programas de evaluación de riesgos.
Sulaiman recomendó que las organizaciones sanitarias definan claramente qué constituye el éxito para una herramienta de IA, cómo podría fallar y quién podría resultar perjudicado — una tarea engañosamente difícil porque las partes interesadas suelen tener perspectivas diferentes.
“Algo que creo que seguiremos viendo, a medida que evolucione el panorama tanto federal como estatal en este frente, es un cambio hacia una regulación y normativa específica para cada caso de uso — porque existe un reconocimiento generalizado de que un enfoque único no va a funcionar,” afirmó.
Por ejemplo, sería mejor que los chatbots de salud mental, las herramientas de gestión de la utilización y los modelos de apoyo a la decisión clínica tuvieran cada uno su propio conjunto de principios gubernamentales únicos, explicó Sulaiman.
También destacó que incluso las herramientas de IA administrativas pueden causar daños si se producen errores. Por ejemplo, si un sistema de IA direcciona incorrectamente historiales médicos, podría enviar información sensible de un paciente al destinatario equivocado; y si un modelo de IA procesa erróneamente los datos del seguro de un paciente, podría conllevar retrasos en la atención o errores de facturación.
Aunque los casos de uso clínico de la IA suelen acaparar la atención, Sulaiman subrayó que las organizaciones sanitarias también deberían desarrollar marcos de gobernanza para las herramientas de IA administrativas — las cuales están evolucionando rápidamente en un vacío regulatorio.
Más allá de las responsabilidades regulatorias y de los proveedores, los factores humanos — como la educación, la generación de confianza y la gobernanza colaborativa — son cruciales para garantizar un despliegue responsable de la IA, afirmó Theresa McDonnell, directora ejecutiva de enfermería del Sistema de Salud de la Universidad Duke.
“La forma en que solemos involucrar a pacientes y personal es mediante la educación y la transparencia. Si la gente tiene preguntas o inquietudes, requiere tiempo. Hay que hacer una pausa. Hay que asegurarse de que las personas estén realmente bien informadas, y en un momento en el que vamos tan deprisa, eso impone cargas y estrés adicionales al sistema — pero es un tiempo que vale la pena invertir,” comentó McDonnell.
Todos los panelistas coincidieron en que la supervisión, la transparencia y el compromiso son cruciales para una adopción segura de la IA.
Foto: MedCity News