La nueva herramienta de inteligencia artificial de Adobe convierte sonidos divertidos en efectos de audio realistas.
Crea efectos de sonido de inteligencia artificial utilizando tu voz.
Adobe ha anunciado el lanzamiento de nuevas herramientas de creación de películas mediante inteligencia artificial generativa, las cuales ofrecen formas innovadoras de crear efectos de sonido y controlar salidas de video generadas. Además de los habituales comandos de texto que permiten describir lo que los modelos de IA Firefly deberían crear o editar, los usuarios ahora pueden utilizar grabaciones de voz que imitan onomatopeyas para generar sonidos personalizados, así como emplear metraje de referencia para guiar los movimientos en los videos generados por Firefly.
El nuevo herramienta de Generación de Efectos de Sonido, que se encuentra en fase beta en la aplicación Firefly, puede ser utilizada tanto con metraje grabado como generado, y proporciona un mayor control sobre la generación de audio en comparación con la herramienta Veo 3 de Google. Su interfaz es similar a una línea de tiempo de edición de video, lo que permite a los usuarios sincronizar los efectos que crean con el metraje que han subido. Por ejemplo, se puede reproducir un video de un caballo caminando por una carretera mientras se graban ruidos como "clip clop" al compás de sus pasos, junto con una descripción de texto que indica "cascos sobre concreto". A partir de esto, la herramienta genera cuatro opciones de efectos de sonido para elegir.
Este avance se basa en el experimento Project Super Sonic que Adobe presentó en su evento Max en octubre. Aunque no puede trabajar con grabaciones de voz, sí admite la creación de sonidos de impacto como el quiebre de ramitas, pasos, efectos de cremalleras, entre otros, así como ruidos ambientales como sonidos de la naturaleza y el ambiente urbano.
Además, se introducirán nuevos controles avanzados en el generador de Texto a Video de Firefly. La funcionalidad de Referencia de Composición permite a los usuarios subir un video junto a su comando de texto, lo que ayudará a reflejar la composición del metraje en el video generado, facilitando así la obtención de resultados específicos en comparación con ingresar solo descripciones de texto repetidamente. El recorte de fotogramas clave permitirá a los usuarios recortar y subir imágenes del primer y último fotograma que Firefly puede utilizar para generar el video intermedio. También se ofrecerán nuevos preajustes de estilo visual, que incluirán opciones como anime, arte vectorial, claymation y más.
Sin embargo, estos preajustes de estilo solo están disponibles para utilizarse con el propio modelo de IA de video de Firefly. Los resultados, según la demostración en vivo a la que asistí, no fueron del todo óptimos; por ejemplo, la opción de "claymation" parecía más bien una animación tridimensional de principios de los años 2000. A pesar de estas limitaciones, Adobe continúa ampliando el soporte para modelos de IA competidores dentro de sus herramientas. Alexandru Costin, líder de IA Generativa de Adobe, mencionó que controles y preajustes similares podrían estar disponibles para usar con modelos de IA de terceros en el futuro. Esto sugiere que Adobe busca mantener su posición dominante en el ámbito del software creativo a medida que los herramientas de IA ganan popularidad, aunque actualmente se encuentra detrás de competidores como OpenAI y Google en cuanto a los modelos generativos.
