El pasado mes de abril Adobe adelantó que se encontraba trabajando en nuevas herramientas de generación de vídeo con inteligencia artificial para Premiere Pro, basadas en su modelo de IA. Ahora la compañía ha confirmado que las funcionalidades estarán disponibles en versión beta en su programa de edición de vídeo y también en Firefly a finales de este año.
Adobe amplía así su familia de modelos generativos de IA, que cuenta ya con modelo de imagen, modelo vectorial y modelo de diseño. El nuevo modelo de vídeo, según señala la compañía en un comunicado, ayudará a los profesionales en su trabajo, permitiéndoles hacer realidad su visión creativa con más facilidad. Apunta también que las mejoras en el modelo se han llevado a cabo a partir de feedback y en estrecha colaboración con la comunidad.
“Nuestro modelo de vídeo básico Firefly está diseñado para ayudar a la comunidad de profesionales del vídeo a abrir nuevas posibilidades, agilizar los flujos de trabajo y apoyar su ideación creativa”, ha comentado Ashley Still, Vicepresidenta Senior de Creative Product Group en Adobe, en un comunicado. “Estamos entusiasmados de aportar nuevos niveles de control creativo y eficiencia a la edición de vídeo con Firefly”.
El nuevo modelo contará con tres funciones principales:
- De texto a vídeo, para la generación de vídeo a partir de instrucciones de texto. Incluye también el acceso a controles de cámara como el ángulo, el movimiento y el zoom y la referencia a imágenes para generar B-Roll que rellenen los huecos en la línea de tiempo.
- De imagen a vídeo, para dar vida a imágenes fijas o ilustraciones transformándolas en clips de vídeo.
- Generative Extend, para agregar fotogramas de cara a hacer que los clips sean más largos, y así facilitar la sincronización en las ediciones y las transiciones.
En el comunicado, Adobe ha recalcado la confianza y seguridad de su modelo y destacado que sólo se entrena con contenido del que tiene permiso para utilizar, nunca con contenido de usuarios de Adobe. Comparte que, hasta la fecha, Adobe Firefly se ha utilizado para generar más de 12.000 millones de imágenes en todo el mundo.
El objetivo de Adobe con su modelo de vídeo Firefly es avanzar en una nueva era en la edición de video. Según explica, en un contexto en el que la demanda de contenido es creciente, se pide a los profesionales que hagan más en menos tiempo. Tareas de edición comunes, como navegar por los espacios en blanco en el metraje, eliminar objetos no deseados de una escena, suavizar las transiciones de cortes bruscos y buscar el b-roll perfecto, pueden llevar tiempo.
“Estamos aprovechando el poder de la IA para ayudar a los editores a expandir su conjunto de herramientas creativas para que puedan trabajar en estas otras disciplinas y entregar resultados de alta calidad en los plazos que requieren sus clientes”, explican desde Adobe.
La llegada del modelo de vídeo de Firefly encrudece la competencia en el terreno de la generación de vídeo con inteligencia artificial. Cabe recordar que OpenAI presentó Sora el pasado mes de febrero, mientras que Google también ha avanzado en este campo con Videopoet.
El modelo de vídeo Firefly se integrará en los flujos de trabajo de Creative Cloud, Experience Cloud y Adobe Express.