Un proyecto de ley en California que busca regular los chatbots de compañía basados en IA está a un paso de convertirse en ley.
El jueves, el Senado de California aprobó el SB 243, el cual ahora se enviará al escritorio del gobernador Newsom. Si se promulga esta ley, California sería el primer estado en obligar a los operadores a establecer protocolos de seguridad para los asistentes de inteligencia artificial y a responsabilizar legalmente a las empresas si sus chatbots no cumplen con dichos estándares.
California ha dado un paso significativo hacia la regulación de la inteligencia artificial con la aprobación de la SB 243, un proyecto de ley destinado a regular los chatbots de acompañamiento de IA para proteger a menores y usuarios vulnerables. Este proyecto ha sido respaldado de manera bipartidista y ahora se encuentra en la mesa del gobernador Gavin Newsom, quien tiene hasta el 12 de octubre para firmarlo o vetarlo. De ser aprobado, entraría en vigor el 1 de enero de 2026, posicionando a California como el primer estado en exigir a los operadores de chatbots de IA la implementación de protocolos de seguridad y la responsabilidad legal de las empresas si sus chatbots no cumplen con esos estándares.
La legislación define a los chatbots de acompañamiento como sistemas de IA que brindan respuestas adaptativas y similares a las humanas, capaces de satisfacer las necesidades sociales de los usuarios. La propuesta busca evitar que estos chatbots puedan participar en conversaciones sobre ideación suicida, autolesiones o contenido sexual explícito. Además, se requeriría a las plataformas enviar recordatorios periódicos a los usuarios —cada tres horas para los menores— indicándoles que están interactuando con un chatbot y no con una persona real, sugiriendo también que tomen descansos.
Asimismo, la ley establece requisitos de informes anuales y transparencia para las empresas de IA que operen chatbots de acompañamiento, afectando a actores importantes como OpenAI, Character.AI y Replika, que deberían cumplir con estas normas a partir del 1 de julio de 2027. Además, permitiría a las personas que crean haber sido perjudicadas por violaciones de la ley presentar demandas contra las empresas de IA, buscando medidas cautelares, compensaciones de hasta $1,000 por violación y gastos legales.
Este avance legislativo se produjo a raíz de la trágica muerte del adolescente Adam Raine, quien se suicidó tras intercambios prolongados con ChatGPT de OpenAI sobre su muerte y autolesiones. La legislación también responde a documentos internos filtrados que sugieren que los chatbots de Meta podían sostener conversaciones "románticas" y "sensuales" con menores. Recientemente, los legisladores y reguladores estadounidenses han intensificado su vigilancia sobre las plataformas de IA para garantizar la protección de los jóvenes, con la Comisión Federal de Comercio preparando investigaciones sobre el impacto de los chatbots en la salud mental infantil.
La senadora Padilla destacó la urgencia de implementar salvaguardas que informen a los menores sobre la naturaleza artificial de las conversaciones y que las plataformas dirijan a los usuarios hacia recursos de ayuda en momentos de crisis. A pesar de que SB 243 cuenta con una base sólida, algunas de sus disposiciones se han debilitado a través de enmiendas, eliminando requisitos que habrían restringido las tácticas que fomentan interacciones excesivas manifestadas por algunos chatbots.
El proyecto avanza en paralelo a un período en el que las empresas tecnológicas están invirtiendo millones de dólares en comités de acción política pro-IA, intentando influir en las elecciones intermedias en favor de una regulación más laxa. Al mismo tiempo, California evalúa otro proyecto de ley, SB 53, que exigiría mayores requisitos de transparencia, mientras OpenAI ha solicitado al gobernador que abandone esa propuesta en favor de marcos regulatorios más conciliatorios.
Padilla dejó claro que no se debe asumir que la innovación y la regulación sean mutuamente excluyentes, afirmando que es posible apoyar el desarrollo de tecnologías con beneficios mientras se implementan medidas de seguridad razonables para proteger a los más vulnerables.
