Un mundo tan solitario que los jóvenes prefieren hablar de sus sentimientos con un algoritmo en vez de con un amigo cercano. Un bot sin rostro que puede alentarte a hacerte daño a ti mismo o a otros. Estos escenarios, que antes solo eran imaginables en películas de ciencia ficción, son hoy realidades a las que se enfrentan reguladores y proveedores de salud.
Cada vez más personas recurren a chatbots de IA —como ChatGPT de OpenAI, Gemini de Google o Claude de Anthropic— para tratar sus preocupaciones de salud mental. Esto ha llevado a algunos legisladores y expertos a exigir salvaguardias que prevengan una sobredependencia emocional de tecnologías no probadas y, en ciertos casos, peligrosas.
Investigaciones recientes demuestran que estos modelos de IA pueden difundir información médica errónea muy convincente y proporcionar instrucciones detalladas sobre cómo autolesionarse.
A principios de mes, el gobernador de Illinois, J.B. Pritzker, firmó una nueva ley que prohibe que los sistemas de IA proporcionen servicios directos de salud mental en todo el estado. Nevada aprobó una normativa similar en junio.
Nueva York y Utah también han regulado estos chatbots. Nueva York exige que los bots de compañía informen claramente a los usuarios que no están hablando con un humano al inicio de cada interacción y, luego, al menos una vez cada tres horas si la conversación se prolonga. Bajo la ley de Utah, los chatbots también deben revelar constantemente que no son humanos.
Sin embargo, el impacto legal de estas regulaciones es limitado y probablemente no serán muy efectivas para mitigar daños. Esto se debe a que la mayoría de los chatbots ya incluyen advertencias de que no están proporcionando terapia técnicamente, lo que socava cualquier posibilidad real de hacer cumplir las prohibiciones.
Estas nuevas medidas señalan que los gobiernos están prestando atención al papel de la IA en la salud mental, pero también subrayan lo difícil que es regular una tecnología que evoluciona más rápido de lo que los humanos podemos comprender.
Consejos ‘perturbadores’
Annika Marie Schoene, científica investigadora de la Universidad Northeastern, advirtió que los chatbots de IA pueden pasar rápidamente de ofrecer líneas de ayuda a dar instrucciones detalladas y personalizadas sobre cómo autolesionarse o suicidarse.
Schoene es la autora principal de un estudio publicado el mes pasado que demostró este hecho alarmante tras probar seis modelos de lenguaje disponibles públicamente.
El equipo de investigación observó que la mayoría de las empresas implementan algunas barreras de seguridad para evitar que sus modelos den información sobre cómo hacerse daño. No obstante, los hallazgos del estudio mostraron que estas medidas son fáciles de eludir.
Tras insistir en que sus preguntas eran hipotéticas, los modelos le proporcionaron información sobre métodos e incluso respondieron a sus preguntas sobre diferentes tipos de armas de fuego y pesticidas.
En uno de los intercambios, el chatbot ofreció un desglose detallado para una mujer de 185 libras, incluyendo información sobre dónde cortar y con qué herramienta.
“Lo realmente espeluznante fue que usaron emojis durante toda la conversación. Como si fuera un tema feliz”, declaró.
Schoene señaló que esto es especialmente preocupante debido a la epidemia de soledad y la escasez de profesionales de salud mental. Incluso si alguien intenta buscar ayuda, las listas de espera suelen ser largas y las citas, costosas.
Se estima que alrededor de una cuarta parte de los adultos estadounidenses vive con una enfermedad mental. Sin embargo, el tiempo promedio de espera para una cita psiquiátrica presencial es de 67 días.
Además, Schoene apuntó que existe un doble estándar: en la atención médica, los proveedores están obligados legalmente a actuar si un paciente expresa pensamientos suicidas. Los modelos de lenguaje no tienen tales obligaciones.
Falta de notificación obligatoria
Un artículo de opinión reciente en el New York Times, escrito por una madre en duelo, destacó la complejidad de este dilema ético.
Laura Reiley escribió sobre el suicidio de su hija Sophie Rottenberg. Tras su muerte, sus padres encontraron extensas discusiones sobre su ideación suicida en sus registros de chat con ChatGPT. Había nombrado a su terapeuta de IA “Harry”, y “él” había escuchado en múltiples ocasiones su deseo de quitarse la vida.
El chatbot la instó a buscar ayuda y le hizo saber que su vida tenía un valor inmenso. Pero eso no impidió que Sophie tomara su irreversible decisión. Sus seres queridos se preguntan si el modelo de IA debería haber estado programado para reportar el peligro que detectaba.
En este caso, el chatbot no le dijo explícitamente a alguien que se hiciera daño, sino que simplemente no reportó las intenciones del usuario porque no está construido para hacerlo.
Todavía no se sabe cómo sería ese tipo de notificación obligatoria. Las principales salvaguardias generalmente solo llegan después de que ha ocurrido un daño grave, señaló Schoene.
Un portavoz de OpenAI declaró que consultan con expertos en salud mental y están desarrollando herramientas para detectar cuando alguien puede estar angustiado, así como para comprender el impacto emocional de las respuestas de ChatGPT.
Persiguiendo un blanco móvil
Los recientes esfuerzos legales para abordar este problema son en gran medida inútiles, dijo John Torous, director de psiquiatría digital en el Beth Israel Deaconess Medical Center de Boston.
“Ningún chatbot de IA dice legalmente que está brindando terapia. Si lees los términos y condiciones, casi todos dicen: ‘Somos una herramienta de bienestar. Apoyamos emocionalmente, pero no estamos aquí para enfermedades mentales o terapia’”, afirmó.
La ambigüedad en las definiciones da paso a vacíos regulatorios. Hay demasiada confusión sobre dónde está el límite entre el apoyo emocional, el apoyo en salud mental y la terapia para enfermedades mentales. Como las leyes aprobadas se dirigen a algo que los chatbots dicen no hacer, la aplicación se vuelve imposible, explicó Torous.
Sin embargo, el hecho de que los estados aprueben estas regulaciones significa que los legisladores están prestando más atención a la seguridad de los chatbots, lo cual es positivo.
Torous también señaló que los chatbots pueden dar consejos peligrosos sobre preguntas médicas genuinas. Citó el caso de un hombre de 60 años que preguntó a ChatGPT cómo reducir su consumo de sal. El motor de IA le dijo que reemplazara la sal de mesa con bromuro de sodio, algo que ningún profesional médico recomendaría. Seguir el consejo lo llevó a estar hospitalizado tres semanas.
Los proveedores son cada vez más conscientes de este problema. Investigadores de Mount Sinai publicaron un estudio que muestra que los chatbots populares son muy capaces de generar información médica falsa pero convincente.
Los modelos de IA mejorarán continuamente, pero Torous cree que ningún modelo puede ser 100% seguro, ya que las personas siempre encontrarán nuevas formas de explotar los vacíos.
Los estados intentan legislar de forma fragmentada, pero es difícil crear barreras efectivas cuando “el uso va muy por delante de la comprensión”. En otras palabras, los legisladores intentan regular un blanco móvil.
Equilibrando la promesa y el peligro
La necesidad de un diseño ético y salvaguardias se vuelve especialmente crucial cuando la IA interactúa directamente con pacientes, señaló Amy Bucher, directora de comportamiento de Lirio.
En escenarios de salud mental, las apuestas son increíblemente altas. “Estas personas pueden lidiar con distorsiones cognitivas que afectan su capacidad para evaluar críticamente las respuestas del chatbot, haciéndolas especialmente vulnerables a contenido dañino o engañoso. Por eso los desarrolladores deben priorizar la seguridad y la precisión”, explicó.
Dijo que eso incluye salvaguardias para evitar que los modelos de IA entren o escalen conversaciones peligrosas.
Pero no todas las aplicaciones de IA conllevan el mismo nivel de riesgo. Por ejemplo, la IA generativa puede ser una herramienta útil para clínicos que tienen la formación para validar el contenido generado por IA, typically con un humano en el circuito.
Bucher añadió que, para que los esfuerzos regulatorios tengan éxito, primero debe haber más consenso sobre términos y definiciones. Su equipo encontró difícil categorizar los tipos de IA utilizados en salud digital debido a descripciones poco claras y una terminología inconsistente por parte de los investigadores.
“Sin un vocabulario compartido, es difícil evaluar qué funciona y escalar los enfoques exitosos”, explicó. El campo necesita este vocabulario para alinear a científicos del comportamiento y clínicos con ingenieros de IA, así como una mejor comunicación entre estas partes.
La promesa de la IA en la atención médica es real, pero también lo son los riesgos. Hasta que la supervisión se ponga al día, los pacientes —especialmente aquellos con problemas de salud mental— seguirán expuestos a herramientas que pueden tanto ayudar como dañar.
Foto: Andriy Onufriyenko, Getty Images