La IA de Adobe edita vídeos enteros a partir de un solo fotograma

Adobe, líder en software creativo, presentó recientemente en su conferencia Max avances de novedosas herramientas de IA que podrían cambiar la faz de la edición de vídeo y fotos y la corrección de audio. Lejos de las habituales actualizaciones o mejoras básicas, estas herramientas, conocidas como “sneaks”, están aún en fase de pruebas, pero muestran el enfoque innovador de Adobe para anticiparse a las necesidades de los usuarios.

Quizá el más asombroso visualmente de estos trucos sea Project Frame Forward. Esta herramienta permite a los editores de vídeo insertar o eliminar cualquier elemento del metraje sin recurrir a máscaras, un proceso tradicionalmente tedioso. Frame Forward puede identificar un objeto o una persona, aislar el elemento desde el primer fotograma y eliminarlo por completo, reproduciendo automáticamente el cambio en toda la secuencia. La entidad eliminada se sustituye por un fondo natural convincente, similar a la herramienta de relleno o eliminación de fondo contextual de Photoshop. En el futuro, los editores podrán lograr un impacto tan significativo en sus contenidos de vídeo con sólo unos clics.

Project Frame Forward también permite incorporar nuevos objetos al vídeo. Los usuarios pueden dibujar dónde quieren que se coloque un objeto y describir lo que desean añadir a través de una indicación de la IA. Esta manipulación se extiende a todo el metraje de vídeo, como si el objeto estuviera ahí desde el principio. En la demostración de Adobe, un objeto insertado -un charco artificial- reflejaba los movimientos de un gato preexistente en el vídeo, lo que demuestra la capacidad de la herramienta para crear añadidos en función del contexto.

Otra novedad, Project Light Touch, permite a los usuarios ajustar las fuentes de luz en las fotos. Por ejemplo, la herramienta puede cambiar la dirección de la iluminación, simular como si las lámparas estuvieran encendidas en la imagen original y permitir a los usuarios controlar la difusión de la luz y las sombras. Y lo que es aún más impresionante, la herramienta puede crear una iluminación dinámica que los usuarios pueden mover por el lienzo de edición, curvando la luz alrededor de los objetos y las personas según sea necesario. Incluso puede cambiar toda una escena de día a noche y ajustar el color de las fuentes de luz manipuladas para conseguir los efectos deseados, como calidez o vibrantes impresiones tipo RGB.

Otra nueva herramienta de edición, Project Clean Take, es un potente recurso que permite modificar la pronunciación de la voz mediante instrucciones de inteligencia artificial. Los editores pueden modificar el tono o la emoción de una voz, por ejemplo, haciéndola sonar más alegre o inquisitiva, sin necesidad de volver a grabarla. Los usuarios pueden sustituir palabras por completo manteniendo las características únicas de la voz original del orador. La herramienta Clean Take puede incluso separar el ruido de fondo en fuentes individuales, lo que permite a los usuarios ajustar o silenciar sonidos específicos. Esta función puede mejorar la claridad de la voz y, al mismo tiempo, preservar la atmósfera general del audio.

Aunque estos innovadores sneaks son sin duda intrigantes, actualmente no están disponibles para uso público y no está garantizado que se conviertan en funciones oficiales del software Creative Cloud de Adobe o de las aplicaciones Firefly. No obstante, muchas funciones de éxito, como las herramientas Distraction Removal y Harmonize de Photoshop, empezaron como proyectos furtivos. Esto sugiere que los usuarios de Adobe pueden esperar que alguna versión de estas herramientas experimentales esté disponible en el futuro.

Para ver avances detallados de todas las increíbles novedades presentadas en el evento Max, Consulta el artículo original en The Verge.

También te pueden gustar

Porozmawiaj z ALIA

ALIA