Crear casi una película a partir de una simple foto: la revolucionaria tecnología IA que acaba de presentar Xiaomi para sus móviles

En la década pasada, las primeras apps que usaban inteligencia artificial para retocar imágenes conseguían convertir un simple selfie en una obra pictórica, ya quisieras parecerte a un Picasso, a un Degas o ser diseñado/a por Tim Burton. Pero eso ya está más que superado. 

El futuro se llama 'Worldcast' y es de Xiaomi, no requiere apps externas y encima es exclusiva de sus móviles. Mira cómo puedes hacerte director de vídeos sin planear nada. 

Xiaomi Worldcast, una película de una foto

Animar una foto estática es uno de los 'trucos' que más se han esforzado las marcas por implementar entre las opciones de cámara de sus móviles. Xiaomi lo hizo el año pasado con AI Dynamic Wallpapers en su HyperOS 2, logrando crear un fondo de pantalla personalizado y en 3D de una simple foto en 2D. 

Pero los de Lei Jun han ido más lejos. Y su nueva tecnología tiene nombre, 'Xiaomi WorldCast', que te permite no sólo crear un GIF o un wallpaper animado, sino directamente un vídeo con movimiento de cámara y todo. 

Así, de una foto en la que una chica posa recostada sobre un árbol, WorldCast es capaz de crear todo un vídeo en el que encima la cámara se mueve con un travelling rotando alrededor de la chica, solo que es todo IA, excepto la imagen de la foto de la que parte. 

La capacidad principal de WorldCast es esa: convertir fotografías estáticas en vídeos 3D con efectos de movimiento de cámara, como panorámicas, acercamientos y alejamientos, e inclinaciones. Solo hay que seleccionar una foto de tu álbum y la IA generará un vídeo 3D con movimientos de cámara de amplio ángulo, manteniendo la coherencia en los rasgos faciales, el peinado y la vestimenta de los personajes durante el movimiento de la cámara.

Generación de vídeos con movimientos de cámara en 3D con un solo toque 

Esta función no es independiente, sino que, junto con los gifs con un solo toque, el zoom al estilo Hitchcock y la fotografía time-lapse, conforma la gama de funciones de vídeo con IA del REDMI K100.

Desde el punto de vista técnico, WorldCast debe resolver dos grandes retos: en primer lugar, el seguimiento preciso de trayectorias de movimiento complejas; y, en segundo lugar, el mantenimiento de la identidad de los personajes ante cambios de ángulo de visión de gran amplitud.

La solución de Xiaomi consta de tres módulos principales:

1. En primer lugar, mediante un modelo de estimación de profundidad, se eleva una fotografía bidimensional al espacio tridimensional, se construye una nube de puntos 3D con color y, a continuación, se renderiza una imagen guía siguiendo la trayectoria de la cámara objetivo;
2. En segundo lugar, se introduce el mecanismo de atención con memoria de alineación geométrica (GAMA), que utiliza mapas de puntos de referencia desde múltiples perspectivas para complementar la información sobre el aspecto de las zonas invisibles, como la parte trasera de los personajes;
3. Por último, se ha creado un conjunto de datos de entrenamiento con 80 000 muestras y el banco de pruebas CLACT, que abarca 42 escenarios

¿Cuándo lo veremos en nuestros móviles Xiaomi? De momento solo tiene esta función el REDMI K100 presentado la semana pasada, por lo que imaginamos que es cuestión de tiempo solamente, ahora que HyperOS 4 ha empezado a salir en masa. Y también de potencia, porque los recursos que esta generación de vídeo necesita deben ser considerables.

Vía | My Drivers

En Mundo Xiaomi | Batería sin igual en la marca, tarjeta gráfica y más. El REDMI K100 ya es oficial y es tal y como lo define Xiaomi: "El Demonio"