La nueva herramienta Modify Video de Luma Labs permite reinventar escenas sin necesidad de volver a grabar.
Transforma el movimiento descontrolado en el suelo en una experiencia de ingravidez en el espacio.
Luma Labs ha lanzado una nueva herramienta llamada Modify Video, diseñada para su producto Dream Machine, que utiliza inteligencia artificial para transformar cualquier metraje de video sin necesidad de volver a grabar. Esta función permite que tanto los personajes como los entornos mantengan sus movimientos y actuaciones originales, mientras se modifican elementos de la escena de manera sutil o radical.
La herramienta Modify Video se asemeja a un programa potente de edición de imágenes como Photoshop, pero para videos. Permite alterar el escenario, el estilo, e incluso a los personajes, sin necesidad de volver a filmar o animar. La empresa asegura que el sistema de edición de video con IA preserva aspectos cruciales de la grabación original, como el movimiento de los actores, la composición y el ritmo, permitiendo cambios en otros aspectos.
Por ejemplo, el atuendo que has decidido que no te gusta puede ser transformado en un conjunto completamente diferente. Un fuerte de mantas puede convertirse en un barco navegando en mares tormentosos, y un amigo en el suelo puede transformarse en un astronauta en el espacio, todo esto sin el uso de pantallas verdes o estudios de edición.
La combinación de captura de movimiento avanzada, estilización por IA y lo que Luma denomina "ajustes estructurados" hace posible ofrecer un amplio rango de videos reimaginados. Para comenzar, solo es necesario subir un video de hasta 10 segundos de duración y elegir entre los ajustes Adhere, Flex o Reimagine.
El ajuste Adhere ofrece cambios sutiles, como modificaciones en la vestimenta o variaciones en las texturas de los muebles. Flex permite esos cambios, además de ajustar el estilo del video, la iluminación y otros detalles más notables. Por su parte, Reimagine, como su nombre indica, puede rehacer por completo el video, llevándolo a otro mundo, transformando a personas en animales de dibujos animados o colocando a alguien en una carrera de hoverboards cyberpunk.
El proceso es más accesible y flexible, ya que no solo se basa en las indicaciones del usuario, sino también en imágenes de referencia y selecciones de fotogramas del video. Aunque modificar videos con IA no es exclusivo de Luma Labs, la compañía afirma que su tecnología supera a rivales como Runway y Pika gracias a su fidelidad en las actuaciones. Los videos alterados conservan el lenguaje corporal, las expresiones faciales y la sincronización labial del actor, resultando en una edición que se siente orgánica y coherente.
Aun así, la herramienta Modify Video tiene sus limitaciones, ya que los clips están restringidos a 10 segundos para facilitar los tiempos de espera. Si el usuario desea crear un proyecto más extenso, deberá planificar cómo combinar diferentes tomas. Sin embargo, la posibilidad de aislar elementos dentro de una escena resulta ser un avance significativo. Por ejemplo, si se cuenta con una actuación satisfactoria que requiere un personaje distinto en un entorno diferente, se puede preservar la actuación y sustituir un garage por el mar, y las piernas del actor por una cola de pez.
Es notable la rapidez y profundidad con la que estas herramientas de IA pueden reconfigurar un fragmento de video. Aunque actualmente hay limitaciones técnicas y éticas que impiden a Luma Labs recrear la industria cinematográfica por completo, estas herramientas son atractivas para muchos productores de video amateur o independientes. No se espera que se utilicen tan ampliamente como los filtros de foto comunes, pero hay ideas interesantes en las demostraciones de Luma que muchos querrán explorar.
