Una nueva startup china de videos con inteligencia artificial parece estar restringiendo imágenes políticamente sensibles.

Una startup con sede en China, Sand AI, ha lanzado un modelo de inteligencia artificial para generación de videos que se ofrece bajo una licencia abierta, el cual ha recibido elogios de algunos emprendedores, como Kai-Fu Lee, director fundador de Microsoft Research Asia. Sin embargo, pruebas recientes indican que Sand AI podría estar censurando imágenes que podrían incomodar a los reguladores chinos en la versión alojada de su modelo.

Recientemente, Sand AI presentó Magi-1, un modelo capaz de generar videos mediante la predicción "autoregresiva" de secuencias de cuadros. La compañía afirma que este modelo puede crear imágenes en movimiento de alta calidad y controlables, logrando una representación física más precisa que otros modelos abiertos en el mercado.

Con un tamaño de 24 mil millones de parámetros, Magi-1 es incompatible con la mayoría de los dispositivos de consumo, requiriendo entre cuatro y ocho GPUs Nvidia H100 para funcionar. Para muchos usuarios, incluida la fuente de esta información, la plataforma de Sand AI es la única opción disponible para probar Magi-1. El funcionamiento del modelo requiere una imagen "promt" para iniciar la generación de video, pero no todas las imágenes son aceptables. Pruebas revelaron que Sand AI bloquea la carga de imágenes de Xi Jinping, la Plaza de Tiananmen, Tank Man, la bandera de Taiwán y símbolos que apoyan la liberación de Hong Kong. El filtrado se realiza a nivel de imagen, y simplemente renombrar archivos no evita el bloqueo. La plataforma devuelve un mensaje de error al detectar una imagen que probablemente esté prohibida.

Sand AI no es la única startup china que impedirá la carga de imágenes políticamente sensibles en su herramienta de generación de video. Hailuo AI, otra empresa con sede en Shanghái, también filtra fotos de Xi Jinping. Sin embargo, el filtrado de Sand AI parece ser más estricto, ya que Hailuo permite imágenes de Tiananmen. De acuerdo con un artículo de Wired, los modelos en China deben adherirse a estrictos controles de información; una ley de 2023 prohíbe a los modelos generar contenido que “dañe la unidad del país y la armonía social”, es decir, que contradiga las narrativas históricas y políticas del gobierno. Para cumplir con esta regulación, muchas startups chinas censan sus modelos, ya sea a través de filtros a nivel de "prompt" o ajustando su entrenamiento. Curiosamente, mientras que los modelos chinos suelen restringir el discurso político, tienen menos filtros que sus contrapartes estadounidenses en lo que respecta al contenido pornográfico.