Compañeros de inteligencia artificial para adolescentes: expertos advierten sobre su falta de seguridad.
Los especialistas en salud mental y seguridad juvenil expresan su mayor preocupación por las funciones de compañía que ofrecen la inteligencia artificial.
El creciente interés por los compañeros de inteligencia artificial generativa, como los que se pueden encontrar en plataformas como Character.AI, Replika y Nomi, ha generado inquietud entre expertos en seguridad juvenil. Estos sistemas parecen humanizados, ya que son capaces de recordar conversaciones y replicar frases comunes, incluso confundiéndose a veces con seres humanos al describir cómo comen o duermen. Muchos adultos y adolescentes recurren a estos compañeros para obtener consejos, amistad y apoyo emocional, lo que ha encendido las alarmas entre especialistas en seguridad, debido a casos reportados de manipulación emocional y exposición a contenidos inapropiados.
Recientes investigaciones y denuncias señalan que los adolescentes pueden sufrir dependencia emocional de estos sistemas y enfrentarse a situaciones peligrosas, incluyendo diálogos sobre autolesiones o violencia. Common Sense Media ha publicado un informe extensivo que evalúa la seguridad de estos compañeros de IA, concluyendo que no son aptos para menores de 18 años.
Expertos en salud mental juvenil consideran que es esencial actuar rápidamente para que las empresas de tecnología implementen medidas de protección para los menores. Según Gaia Bernstein, especialista en políticas tecnológicas, la intervención debe ser inmediata para evitar que los intereses comerciales se afianzen antes de que se establezcan regulaciones.
Uno de los enfoques sugeridos es crear compañeros de IA que sean apropiados para el desarrollo de niños y adolescentes. Aunque hay plataformas que permiten acceder a usuarios a partir de los 13 años, muchos adolescentes encuentran formas de sortear estas restricciones. Expertos como Dmytro Klochko, CEO de Replika, han indicado que están buscando métodos para reforzar la verificación de edad.
Asimismo, la incorporación de etiquetas claras sobre los contenidos y la implementación de "compañeros bloqueados" que no aborden temas peligrosos, podrían ayudar a mitigar riesgos. Sin embargo, la verificación de edad ha sido una dificultad persistente en las redes sociales.
Los expertos han señalado que la falta de regulación ha llevado a que las plataformas diseñen compañeros que enganchen a los usuarios, lo que puede ser perjudicial para los adolescentes, quienes pueden volverse dependientes de estas interacciones. Se ha observado que características como la adulación pueden contribuir a la creación de una conexión emocional poco saludable.
Por otro lado, se ha subrayado la importancia de implementar mecanismos más robustos de prevención y detección de daño. Los compañeros de IA deben ser capaces de identificar situaciones de crisis, así como proporcionar recursos a los usuarios en riesgo. Además, existe un llamado a las empresas para que sean más transparentes en cómo utilizan los datos y entrenan sus modelos de lenguaje.
Recientemente, un senador del estado de California propuso legislación que busca establecer medidas básicas para la prevención de daños, incluida la necesidad de recordar a los usuarios que los chatbots no son humanos y prevenir patrones de engagement adictivos. La falta de regulación en este ámbito, a la luz de los reportes de daños causados a menores por interacciones con estos sistemas, ha generado un consenso sobre la urgencia de establecer salvaguardias efectivas.
