MuTr: Multi-Stage Transformer for Hand Pose Estimation from Full-Scene Depth Image

Abstract

This work presents a novel transformer-based method for hand pose estimation—DePOTR. We test the DePOTR method on four benchmark datasets, where DePOTR outperforms other transformer-based methods while achieving results on par with other state-of-the-art methods. To further demonstrate the strength of DePOTR, we propose a novel multi-stage approach from full-scene depth image—MuTr. MuTr removes the necessity of having two different models in the hand pose estimation pipeline—one for hand localization and one for pose estimation—while maintaining promising results. To the best of our knowledge, this is the first successful attempt to use the same model architecture in standard and simultaneously in full-scene image setup while achieving competitive results in both of them. On the NYU dataset, DePOTR and MuTr reach precision equal to 7.85 mm and 8.71 mm, respectively.

Tato práce představuje novou metodu odhadu pózy ruky založenou na transformerech - DePOTR. Metodu DePOTR testujeme na čtyřech referenčních souborech dat, kde DePOTR překonává ostatní metody založené na transformerech a dosahuje stejných výsledků jako ostatní nejmodernější metody. Abychom dále demonstrovali sílu metody DePOTR, navrhujeme nový vícestupňový přístup z hloubkového obrazu celé scény - MuTr. MuTr odstraňuje nutnost použití dvou různých modelů pro odhad pózy ruky - jeden pro lokalizaci ruky a druhý pro odhad samotné pózy - a přitom poskytuje výsledky. Pokud je nám známo, jedná se o první úspěšný pokus použít stejnou architekturu modelu ve standardním odhadu a odhadu z obrazu celé scény a zároveň dosáhnout konkurenceschopných výsledků v obou z nich. Na datové sadě NYU dosahují DePOTR a MuTr přesnosti 7,85 mm, resp. 8,71 mm.