Roblox presenta su herramienta de inteligencia artificial para combatir los chats tóxicos en los juegos: ¿por qué es importante para los niños?

El chat en los juegos en línea ha sido conocido por su contenido vulgar, ofensivo e incluso delictivo. A pesar de que solo un pequeño porcentaje de las interacciones es problemático, el gran volumen de horas de conversación puede resultar en una acumulación de actos tóxicos, lo que representa un desafío tanto para los jugadores como para las empresas de videojuegos, especialmente cuando involucran a niños. Roblox, con su vasta experiencia en el manejo de estos aspectos, ha desarrollado un sistema de inteligencia artificial llamado Sentinel, diseñado para hacer cumplir las normas de seguridad entre sus más de 100 millones de usuarios diarios, en su mayoría jóvenes. Ahora, la compañía ha decidido hacer que Sentinel sea de código abierto, permitiendo que cualquier plataforma pueda utilizar la IA para identificar comportamientos peligrosos en los chats antes de que estos se escalen.

A diferencia de un simple filtro de lenguaje grosero, que es algo que Roblox ya implementaba, Sentinel analiza patrones a lo largo del tiempo. Este sistema puede seguir la evolución de las conversaciones, buscando indicios sutiles que puedan sugerir que alguien está intentando ganarse la confianza de un niño de manera problemática. Por ejemplo, podría señalar una conversación prolongada con un jugador de apariencia adulta que muestre un interés excesivo en la vida personal de un menor.

En lo que va del año, Sentinel ha permitido a los moderadores de Roblox presentar alrededor de 1,200 informes al Centro Nacional para Niños Perdidos y Explotados durante los primeros seis meses. Este avance es significativo, especialmente en comparación con los métodos de moderación más rudimentarios del pasado en salas de chat en línea.

El hecho de abrir el código de Sentinel ofrece la posibilidad a cualquier juego o plataforma en línea, desde grandes como Minecraft hasta pequeños títulos independientes, de adaptar y utilizar esta herramienta para aumentar la seguridad en sus propias comunidades. Esta acción también tiene implicaciones de relaciones públicas y potenciales beneficios comerciales a largo plazo para Roblox.

Para los niños y sus cuidadores, los beneficios son claros. Cuantos más juegos implementen chequeos similares a los de Sentinel, disminuyen las probabilidades de que depredadores escapen sin ser detectados. Los padres obtienen una red de seguridad adicional sin necesidad de crearla por sí mismos, permitiendo que los niños se concentren en jugar en lugar de resolver situaciones peligrosas.

Sin embargo, la implementación de herramientas basadas en inteligencia artificial presenta sus propios desafíos, especialmente en lo que respecta a la privacidad. Este tipo de sistema funciona escaneando en tiempo real las conversaciones, buscando señales de alerta. Roblox asegura que utiliza instantáneas de un minuto de las charlas y mantiene un proceso de revisión humana, pero sigue siendo una forma de vigilancia. Además, al hacer que la herramienta sea de código abierto, no solo se facilitan los recursos a quienes buscan proteger a los menores, sino que también se corren riesgos al permitir que actores malintencionados analicen el sistema para eludirlo.

El lenguaje es otro aspecto complicado, ya que la forma en que las personas se comunican en línea cambia constantemente. Un sistema entrenado para detectar intentos de grooming en un año podría no ser efectivo en los años siguientes. Aunque Roblox actualiza Sentinel regularmente, las plataformas más pequeñas podrían no tener los recursos necesarios para mantenerse al día.

A pesar de las preocupaciones sobre el uso de inteligencia artificial en la seguridad en línea, la decisión de hacer Sentinel de código abierto representa un avance que podría generar un impacto positivo inmediato. Si bien no se puede garantizar que detenga a todos los depredadores ni que reemplazará la supervisión parental y la educación de los niños sobre la seguridad en línea, Sentinel puede ser una línea de defensa adicional valiosa para crear mejores experiencias en el entorno digital para los más jóvenes.