Hand Pose Estimation in the Task of Egocentric Actions

Abstract

In this article we tackle the problem of hand pose estimation when the hand is interacting with various objects from egocentric viewpoint. This entails a frequent occlusion of parts of the hand by the object and also self-occlusions of the hand. We use a Voxel-to-Voxel approach to obtain hypotheses of the hand joint locations, ensemble the hypotheses and use several post-processing strategies to improve on the results. We utilize models of prior hand pose in the form of Truncated Singular Value Decomposition (SVD) and the temporal context to produce refined hand joint locations. We present an ablation study of the methods to show the influence of individual features of the post-processing. With our method we were able to constitute state-of-the-art results on the HANDS19 Challenge: Task 2 - Depth-Based 3D Hand Pose Estimation while Interacting with Objects, with precision on unseen test data of 33.09 mm.

Článek se zabývá problémem odhadu pozice ruky z egocentrického pohledu, když ruka interaguje s různými objekty. Problém s sebou nese častý překryv částí ruky předmětem nebo rukou. Pro určení počáteční hypotézy umístění kloubů ruky je použita metoda Voxel-to-Voxel, kombinace hypotéz a několik strategií zpracování výstupů poskytuje celkové zlepšení výsledků. Model pózy ruky ve formě singulárního rozkladu (SVD) a časového kontextu dále upřesňuje umístění kloubů. Ablační studie metod ukazuje vliv jednotlivých rysů následného zpracování. Metoda poskytuje state-of-the-art výsledky v soutěži "HANDS19: Task 2-Depth-Based 3D Hand Pose Estimation while Interacting with Objects" s přesností na testovacích datech 33,09 mm.