Se estima que 1.2 millones de personas cada semana tienen conversaciones con ChatGPT que indican que estan planeando quitarse la vida.
Esta cifra proviene de su empresa matriz, OpenAI, que reveló que el 0.15% de los usuarios envían mensajes que incluyen “indicadores explícitos de posible planificación o intención de suicidio”.
A principios de este mes, el director ejecutivo de la compañía, Sam Altman, estimó que ChatGPT ahora tiene más de 800 millones de usuarios activos por semana.
Aunque la gigante tecnológica sí intenta dirigir a las personas vulnerables a líneas de ayuda en crisis, admitió que “en algunos casos raros, el modelo podría no comportarse como se espera en estas situaciones sensibles”.
OpenAI evaluó más de 1,000 “conversaciones difíciles sobre autolesión y suicidio” con su último modelo, GPT-5, y descubrió que fue conforme con los “comportamientos deseados” el 91% del tiempo.
Pero esto potencialmente significaría que decenas de miles de personas están expuestas a contenido de IA que podría empeorar sus problemas de salud mental.
La compañía ya había advertido que las salvaguardas diseñadas para proteger a los usuarios pueden debilitarse en conversaciones largas, y se está trabajando para solucionar esto.
“ChatGPT puede señalar correctamente una línea de ayuda para suicidas cuando alguien menciona por primera vez su intención, pero después de muchos mensajes durante un período largo, eventualmente podría ofrecer una respuesta que va en contra de nuestras protecciones”, explicó OpenAI.
Una publicación en el blog de OpenAI añadió: “Los síntomas de salud mental y el estrés emocional están universalmente presentes en las sociedades humanas, y una base de usuarios en crecimiento significa que una parte de las conversaciones con ChatGPT incluyen estas situaciones.”
Más información de Sky News:
Abuchean al Rey por el Príncipe Andrew
Aerolínea británica suspende operaciones
Una familia afligida está actualmente en el proceso de demandar a OpenAI, y alegan que ChatGPT fue el culpable de la muerte de su hijo de 16 años.
Los padres de Adam Raine afirman que la herramienta “le ayudó activamente a explorar métodos de suicidio” y se ofreció a redactar una nota para sus familiares.
Documentos judiciales sugieren que, horas antes de morir, el adolescente subió una foto que parecía mostrar su plan de suicidio, y cuando preguntó si funcionaría, ChatGPT se ofreció a ayudarle a “mejorarlo”.
La semana pasada, la familia Raine actualizó su demanda y acusó a OpenAI de debilitar las protecciones para prevenir autolesiones en las semanas previas a su muerte en abril de este año.
En una declaración, la compañía dijo: “Nuestro más sentido pésame para la familia Raine por su pérdida inimaginable. El bienestar de los adolescentes es una prioridad para nosotros; los menores merecen protecciones fuertes, especialmente en momentos sensibles.”
Cualquier persona que se sienta angustiada emocionalmente o suicida puede llamar a Samaritans al 116 123 o enviar un correo electrónico a [email protected] en el Reino Unido. En EE. UU., llame a la sucursal de Samaritans en su área o al 1 (800) 273-TALK.