Lift4D: Ajuste de 3D a una Vista para Reconstrucción en Vivo

Lift4D es una nueva técnica que permite reconstruir objetos dinámicos en escenas complejas a partir de un solo vídeo monocular, incluso cuando partes del objeto están ocultas por otros elementos.

El método utiliza un marco de optimización en tiempo real para mejorar la precisión y la coherencia temporal de las reconstrucciones 4D. Se basa en una adaptación de un modelo existente que produce predicciones consistentes en el tiempo a partir de observaciones monoscópicas.

“Luego, optimiza estas representaciones para ajustarse a los marcos de video, completando regiones no observadas mediante una prioridad difusa condicionada por vista”

Lift4D integra datos visuales directos con conocimientos previos sobre la geometría y la apariencia, utilizando un esquema condicional latente causal para generar representaciones 3D iniciales. Luego, optimiza estas representaciones para ajustarse a los marcos de video, completando regiones no observadas mediante una prioridad difusa condicionada por vista.

Este enfoque permite recuperar detalles superficiales visibles con precisión y llenar zonas ocultas, mejorando significativamente sobre métodos anteriores en escenas complicadas con muchas deformaciones y occlusiones.

Los desarrolladores han demostrado que Lift4D supera a los sistemas de reconstrucción 4D existentes tanto en entornos sintéticos como reales. La técnica ofrece una reconstrucción completa, geométricamente coherente en el tiempo, con mayor precisión en la apariencia y el movimiento incluso cuando hay occlusiones severas.

La investigación fue publicada recientemente en arXiv por un equipo de investigadores que incluye a Yehonathan Litman, Xiaoxuan Ma, Manan Shah, Nicolás Ugrinovic, Kris Kitani, Fernando De la Torre y Shubham Tulsiani.