En esta charla hablaré de un nuevo método para el seguimiento y la reconstrucción 3D de dos manos en
interacción usando una cámara de profundidad tipo Microsoft Kinect. Este método, presentado en el congreso ACM SIGGRAPH 2019, es el primero en ser capaz de seguir dos manos en tiempo real, sin usar marcadores, capaz de resolver colisiones, y de adaptarse a la forma y tamaño de la mano del usuario de manera automática. Esto se consigue mediante el uso de un modelo paramétrico de superficie de manos, en combinación con una red neuronal profunda de convolución que calcula
correspondencias entre vértices y píxeles, y un algoritmo de optimización altamente eficiente que reduce las discrepancias entre el modelo paramétrico y el mapa de correspondencias. La red neuronal se entrena mediante datos sintéticos de manos en interacción generados en un entorno de simulación física.