VidPress es la nueva herramienta de inteligencia artificial de Baidu que crea videos desde una URL con un solo clic

La capacidad de editar videos rápidamente es una habilidad que se destaca en la era de los medios sociales donde los videos cortos son el rey, pero convertirse en un maestro requiere una gran mezcla tanto de creatividad como de destreza. Si no quieres sentarte frente a la computadora y pasar horas editando clips, la inteligencia artificial puede ayudarte.

VidPress es una herramienta de síntesis de video potenciada por la IA que Baidu Research ha desarrollado recientemente en un esfuerzo por producir un contenido de video elegante y profesional en un solo clic. Dada una URL como entrada, VidPress puede automatizar el proceso de creación, desde la elección de clips que se ajusten al tema hasta el tejido de contenido de vídeo con narraciones sintetizadas por la IA.

Desplegado en la corta aplicación de vídeo Haokan de Baidu, VidPress ha proporcionado un gran impulso en términos de cantidad y calidad. VidPress puede producir más de 1.000 vídeos de noticias al día, en comparación con los 300-500 vídeos que antes producían los editores humanos, con un aumento medio del 15 por ciento en la tasa de finalización de los vídeos (el porcentaje de todos los vídeos que se reproducen durante toda su duración hasta su finalización).

¿Cómo edita los videos la inteligencia artificial?

Imagina lo difícil que es para la IA editar videos. En esencia, debe entender primero la historia, adaptarla en un guión corto que se ajuste a la longitud del vídeo y sintetice una narración, encontrar los clips relevantes de las secuencias y juntarlos en la línea de tiempo, y producir un vídeo alineado con el audio.

Teniendo en cuenta la amplia gama de datos multimodales involucrados, los investigadores de Baidu han aplicado múltiples técnicas a la tubería, incluyendo la visión por computadora, la comprensión del lenguaje natural (NLU) y la síntesis del habla.

vidpress
VidPress

VidPress primero ingresa una URL, analiza la página web usando modelos de NLU para ayudar a encontrar contenido mediático coincidente, luego enriquece la historia agregando noticias relevantes de una amplia gama de sitios.

Un video atractivo necesita tanto narrativas como componentes visuales. Para las narraciones, VidPress utiliza múltiples modelos de NLU para crear un resumen corto y fluido de la historia más larga, y luego convierte el resumen en un discurso sintetizado utilizando los servicios de texto a voz de Baidu.

Para crear el contenido de vídeo, VidPress encuentra las imágenes y clips de vídeo adecuados tanto de la página web como de las noticias relevantes, así como una biblioteca de medios establecida y el motor de búsqueda de Baidu, y luego corta y elige los clips que se ajustan a los temas analizando la semántica de estos clips mediante técnicas de visión por ordenador como el reconocimiento facial, la detección de objetos, el reconocimiento óptico de caracteres y la comprensión de vídeo.

El paso crítico es arrastrar los clips de vídeo a lugares que coincidan con la línea de tiempo de audio. Usando un algoritmo de alineación de la línea de tiempo basado en la atención, VidPress puede segmentar un trozo de texto en anclas significativas, clasificar los clips por su relevancia para las anclas, y mover los clips de alto rango a la línea de tiempo primero. El último paso es convertir la línea de tiempo en un archivo de vídeo.

VidPress tarda hasta nueve minutos en crear un video de noticias, con un promedio de 2,5 minutos para un video de dos minutos 720p, comparado con los 15 minutos de los editores humanos.

El prometedor futuro de VidPress

Desde un proyecto de laboratorio a la práctica en el mundo real, VidPress necesita ampliar su escala. El equipo de investigación de Baidu dio el siguiente paso al desarrollar un sistema de síntesis de vídeo distribuido y las API REST asociadas para proporcionar servicios web para el Haokan de Baidu.

El esfuerzo dio sus frutos. Con una configuración de cuatro GPU, VidPress puede autoproducir el 75 por ciento de los vídeos en Haokan con el vídeo más visto de VidPress alcanzando las 850.000 visitas.

Además de la calidad de vídeo, la escalabilidad y el ahorro de costes como resultado del uso de VidPress, Baidu cree que la IA promete un mayor potencial en la síntesis de vídeo. En un futuro próximo, se espera que VidPress personalice la síntesis de vídeo para satisfacer los intereses de los clientes en cuanto a contenido y formato.

Baidu también ha construido un repositorio masivo de videos cortos de Haokan, otra videoaplicación de Baidu, Quanmin, y la principal aplicación de Baidu, de la cual más del 70% del contenido distribuido son videos cortos. Aprovechando los abundantes recursos de datos de Baidu, VidPress también puede proporcionar un vídeo de noticias más objetivo y profundo para dar a la audiencia una mejor comprensión de la historia.

En este sentido, VidPress no sólo puede satisfacer las demandas de la producción de contenidos, sino también promover la neutralización de la información, haciendo de VidPress un recurso de contenidos que a todos les encanta ver.

Carlos Martinez

Periodista y enamorado del marketer digital. Siempre a la ultima sobre la actualidad del marketing y la publicidad.

Deja un comentario