La inteligencia artificial propaga viejos estereotipos en nuevos idiomas y culturas.

Margaret Mitchell se ha destacado como pionera en la evaluación de herramientas de inteligencia artificial generativa para detectar sesgos. Fundó el equipo de Ética en Inteligencia Artificial en Google, junto a la reconocida investigadora Timnit Gebru, aunque ambas fueron despedidas en un momento posterior. Actualmente, lidera la ética de la inteligencia artificial en Hugging Face, una startup de software que se centra en herramientas de código abierto.

En una reciente conversación, se abordó un nuevo conjunto de datos creado para analizar cómo los modelos de IA pueden perpetuar estereotipos. A diferencia de otros esfuerzos que se centran en el inglés, este conjunto de datos es versátil e incluye traducciones humanas para evaluar un rango más amplio de idiomas y culturas.

El proyecto, llamado SHADES, fue concebido como parte de la iniciativa BigScience, que reunió a investigadores de todo el mundo para entrenar un modelo de lenguaje grande y abierto. Según Mitchell, este esfuerzo a nivel internacional facilitó la creación de Bloom, un modelo que simboliza el surgimiento de la "ciencia abierta". Sin embargo, la evaluación del impacto social de estos modelos resultó ser extremadamente compleja, incluso más que el proceso de entrenamiento del propio modelo.

SHADES se inspira en Gender Shades y busca explorar diferentes tipos de sesgos al cambiar características de identidad, como género o nacionalidad. A pesar de que existen recursos en inglés y algunas evaluaciones multilingües, muchas de estas se basan en traducciones automáticas, sin contar con las perspectivas de personas que realmente entienden las sutilezas culturales y los sesgos que surgen en cada idioma.

La importancia de diversificar la perspectiva hacia más idiomas y culturas es crítica, ya que los modelos de IA son implementados globalmente. Mitigar sesgos que solo se basan en el inglés no es suficiente, ya que podría llevar a la proliferación de estereotipos problemáticos en diferentes regiones. Además, si bien algunas evaluaciones pueden reducir los sesgos en inglés, el enfoque suele ser culturalmente limitado y puede amplificar puntos de vista dañinos en otros contextos.

En cuanto a los nuevos estereotipos que introduce la IA generativa en diversas culturas, Mitchell señala que ciertos estereotipos, como el de las personas rubias consideradas menos inteligentes, son comunes en algunos de los idiomas analizados. Este fenómeno se debe a que, al tener todos los datos en un espacio latente compartido, los conceptos semánticos pueden transmitirse entre idiomas, propagando estereotipos dañinos.

Uno de los hallazgos más inquietantes es que los modelos de IA a veces justifican estereotipos inventando referencias a literatura científica inexistente, sirviendo como base para ideas pseudocientíficas que perpetúan el racismo científico.

En la creación del conjunto de datos SHADES, uno de los mayores desafíos fue la diversidad lingüística. La metodología común para evaluar sesgos a menudo utiliza el inglés y requiere la adaptación de oraciones, lo que puede complicarse cuando se introducen cambios de género. Para abordar esta limitación, el equipo tuvo que desarrollar un enfoque innovador que permitiera realizar evaluaciones de sesgos de manera más efectiva y sintácticamente sensible en diferentes lenguajes.

A pesar del progreso significativo en otros campos de la investigación sobre IA, los sesgos extremos siguen siendo un problema poco abordado dentro de la cultura empresarial tecnológica. Mitchell comenta que muchas empresas creen erróneamente que estos problemas son simples de resolver, lo que ha llevado a soluciones superficiales que no cuestionan creencias profundamente arraigadas que no se expresan de manera clara.