En este seminario presentaré artículo “RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video”, publicado recientemente en el congreso SIGGRAPH Asia 2021. El seguimiento y la reconstrucción de la pose 3D y la geometría de las dos manos en interacción es un problema que tiene una gran relevancia para varias aplicaciones de interacción persona-computadora, incluyendo AR / VR, robótica o reconocimiento de lenguaje de señas. Los trabajos existentes se limitan a configuraciones de seguimiento más simples (por ejemplo, considerando solo una mano o dos manos separadas espacialmente), o dependen de sensores complejos, como cámaras de profundidad tipo Kinect. Por el contrario, en este trabajo presentamos el primer método en tiempo real para la captura de movimiento de la pose articulada y la geometría de la superficie 3D de las manos desde una sola cámara RGB que considera explícitamente las interacciones cercanas. Con el fin de abordar las ambigüedades de profundidad inherentes en los datos RGB, proponemos una nueva red neuronal convolucional (CNN) multitarea que calcula información adicional de la escena, incluida la segmentación, las correspondencias densas con un modelo de mano 3D y posiciones de puntos clave 2D, además de mapas de profundidad relativa y distancia entre manos. Estas predicciones se utilizan posteriormente para estimar los parámetros de pose y forma de un modelo generativo de mano en 3D para ambas manos. Verificamos experimentalmente cada uno de los componentes individuales de nuestra método de reconstrucción 3D y seguimiento a dos manos RGB a través de un extenso estudio de ablación. Además, demostramos que nuestro enfoque ofrece un rendimiento de seguimiento de dos manos nunca antes visto de RGB, y supera cuantitativa y cualitativamente los métodos basados ​​en RGB existentes que no fueron diseñados explícitamente para interacciones de dos manos.