Los avatares metarrealistas solo se pueden crear con iPhone

Un escaneo de avatar de realidad virtual (VR) una vez requirió más de 100 cámaras para lograrlo, pero ahora los investigadores de Meta han revelado que se puede hacer con solo un iPhone.

Facebook anunció por primera vez Codec Avatars en 2019, una clase de modelos faciales realistas adquiridos que representan con precisión la geometría y la textura de una persona en 3D y, por lo tanto, en realidad virtual (VR). Los avatares son prácticamente indistinguibles del video y la compañía espera que los avatares vibrantes sean significativos en el futuro, particularmente dadas sus ambiciones de metaverso.

Meta estaba usando un dispositivo especializado para crear sus avatares de códec llamado MUGSY, que contiene 171 cámaras de alta resolución, como se muestra a continuación. pero como se dijo por DescargarRecientemente, ha logrado un progreso significativo y pudo evitar MUGSY usando un escaneo desde un teléfono inteligente con un sensor de profundidad frontal, como el iPhone que tiene FaceID.

Para capturar un avatar de Codec, el teléfono debe moverse sobre una cara neutral y luego nuevamente mientras se transcribe una serie de 65 expresiones faciales. Los investigadores dicen que el proceso de escaneo toma un promedio de tres minutos y medio, aunque los usuarios tendrán que esperar seis horas para que una máquina equipada con cuatro GPU de alta gama pueda ver el avatar con todo detalle. Es posible que si este producto estuviera disponible para el público en general, la representación se realizaría en la GPU de la nube y no en la máquina del usuario.

Ahora se puede crear un prototipo de un avatar realista usando solo iPhone

El sistema de escaneo del iPhone utiliza una «súper red» (UPM) prefabricada de clase mundial, una red neuronal que ayuda a crear el avatar de codificación de una persona. Esta súper red de UPM se entrena escaneando los rostros de 255 personas diversas utilizando un dispositivo de captura avanzado, similar a MUGSY pero con 90 cámaras.

READ  Apple lanza Safari Technology Preview 164 con correcciones de errores y mejoras de rendimiento

Otros investigadores ya han demostrado la creación de un avatar a partir de un escaneo de teléfono inteligente, pero Meta afirma que la calidad de sus resultados es de última generación. Sin embargo, el sistema se limita a escanear solo la cabeza de una persona y no puede interpretar anteojos o cabello largo.

Los avatares de códec aún están lejos de su lanzamiento

Actualmente, los metaavatares tienen un estilo básico de arte de anime, por lo que parece que este tipo de alta resolución aún está muy lejos. En esta nota, Meta Avatares Presentado en productos como Oculus Quest 2 De hecho, el realismo ha disminuido con el tiempo para adaptarse mejor a entornos complejos en aplicaciones como Horizon Worlds.

Ahora se puede crear un prototipo de un avatar realista usando solo iPhone
Avatar de Zuckerberg

En febrero, Mark Zuckerberg Dijo en una entrevista con Lex Friedman Que en el futuro los usuarios de VR puedan usar el avatar ‘emoji’ en juegos casuales y el avatar ‘realista’ en reuniones de negocios.

Facebook se negó a decir cuándo Codec Avatars podría estar disponible para los usuarios en general, pero la compañía confía en que se está acercando.


Créditos de la imagen: Foto vía Glifos volumétricos originales del escaneo de imágeneslaboratorios de metarealidad

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *