California ha dado un paso significativo hacia la regulación de la inteligencia artificial. El SB 243 –un proyecto de ley que regularía los chatbots de IA de compañía para proteger a menores y usuarios vulnerables– fue aprobado por la Asamblea Estatal y el Senado con apoyo bipartidista y ahora se dirige al escritorio del gobernador Gavin Newsom.
Newsom dispone hasta el 12 de octubre para vetar el proyecto o firmarlo. De hacerlo, entraría en vigor el 1 de enero de 2026, convirtiendo a California en el primer estado en exigir a los operadores de chatbots de IA que implementen protocolos de seguridad para estos asistentes y que responsabilicen legalmente a las empresas si incumplen dichos estándares.
La normativa apunta específicamente a evitar que los chatbots de compañía –definidos como sistemas de IA que ofrecen respuestas adaptativas y humanizadas, capaces de suplir necesidades sociales– participen en conversaciones sobre ideación suicida, autolesión o contenido sexual explícito. El proyecto exigiría a las plataformas enviar alertas recurrentes, cada tres horas para menores, recordando que interactúan con un sistema de IA y sugiriendo tomar un descanso. También establece requisitos anuales de transparencia e informes para empresas como OpenAI, Character.AI y Replika, efectivos desde el 1 de julio de 2027.
Además, el proyecto permitiría a las personas que hayan sufrido daños debido a violaciones presentar demandas contra estas compañías, buscando medidas cautelares, indemnizaciones (hasta $1000 por infracción) y cobertura de honorarios legales.
El impulso final del proyecto llegó tras el caso del adolescente Adam Raine, quien se suicidó después de mantener prolongedas conversaciones con ChatGPT de OpenAI donde se discutía y planificaba su suicidio y autolesión. La iniciativa también responde a documentos internos filtrados que revelaron que los chatbots de Meta podían mantener chats “románticos” y “sensuales” con menores.
Recientemente, legisladores y reguladores estadounidenses han intensificado esfuerzos para proteger a menores en plataformas de IA. La Comisión Federal de Comercio investigará el impacto de los chatbots en la salud mental infantil. El fiscal general de Texas, Ken Paxton, ha iniciado pesquisas contra Meta y Character.AI por publicidad engañosa en temas de salud mental. Asimismo, tanto el senador Josh Hawley (R-MO) como el senador Ed Markey (D-MA) han impulsado investigaciones separadas sobre Meta.
“El daño potencial es enorme, por lo que debemos actuar con rapidez”, declaró Padilla a TechCrunch. “Podemos establecer salvaguardas razonables para que, especialmente los menores, sepan que no hablan con un ser humano, que estas plataformas deriven a las personas hacia recursos apropiados cuando mencionen ideas de autolesión o angustia, y para evitar la exposición a material inadecuado”.
Evento de TechCrunch
San Francisco
|
27-29 de octubre de 2025
Padilla también recalcó la importancia de que las empresas compartan datos sobre cuántas veces derivan usuarios a servicios de crisis anualmente: “para entender mejor la frecuencia del problema, en lugar de solo enterarnos cuando alguien ya ha sido dañado”.
Inicialmente, el SB 243 incluía exigencias más estrictas, pero varias se suavizaron mediante enmiendas. Por ejemplo, se eliminó la obligación de evitar tácticas de “recompensa variable” que fomentan el uso compulsivo –empleadas por empresas como Replika y Character.AI–, las cuales ofrecen mensajes especiales, historias o personalidades exclusivas mediante desbloqueos. Tampoco exigirá rastrear con qué frecuencia los chatbots inician conversaciones sobre ideación suicida.
“Logramos el equilibrio adecuado: mitigar daños sin imponer cargas inviables técnica o burocráticamente”, afirmó Becker a TechCrunch.
El avance del SB 243 coincide con una ola de inversión de empresas de Silicon Valley en comités de acción política (PAC) pro-IA, que apoyan candidatos favorables a un enfoque regulatorio laxo en las próximas elecciones.
El proyecto se debate junto a otra iniciativa californiana, el SB 53, que impondría requisitos exhaustivos de transparencia. OperAI ha pedido públicamente a Newsom que deseche esta norma en favor de marcos federales e internacionales más flexibles. Meta, Google y Amazon también se oponen al SB 53. Solo Anthropic ha expresado su apoyo.
“Rechazo la premisa de que innovación y regulación sean excluyentes”, señaló Padilla. “Podemos y debemos hacer ambas: fomentar el crecimiento saludable de esta tecnología –que ofrece beneficios evidentes– y, al mismo tiempo, proteger a los más vulnerables con medidas razonables”.
Un portavoz de Character.AI declaró a TechCrunch: “Estamos monitoreando de cerca el panorama regulatorio y estamos abiertos a colaborar con legisladores en este espacio emergente”. La startup ya incluye descargos de responsabilidad prominentes que aclaran que su chatbot debe tratarse como ficción.
Meta declinó comentar. TechCrunch contactó a OpenAI, Anthropic y Replika para obtener su postura.