Extrakce příznaků pro automatickou analýzu gest znakového jazyka

Abstract

Automatické rozpoznávání znakového jazyka je problém se širokým záběrem. Byl řešen výzkumníky z různých oblastí. Závisle na úhlu pohledu může být tento problém rozdělen do několika výzkumných odvětví: zpracování signálu, počítačové vidění, interakce mezi člověkem a počítačem, teorie systémů, strojové učení, zpracování jazyka a další. Existuje mnoho publikací, které pojednávají o individuálních aspektech znakového jazyka, ale výzkum v této oblasti stále zaostává za příbuzným a starším problémem rozpoznávání řeči. Je velice těžké určit, které existující metody jsou pro rozpoznávání znakového jazyka nejlepší. V jednotlivých pohledech lze identifikovat nejlepší přístupy, ale porovnat výsledky je těžké. Souvisí to i s faktem, že neexistuje unifikovaný korpus, který by se používal pro srovnání výsledků. Na druhou stranu již samotná možnost existence takového korpusu je sporná, protože data, které popisují znakový jazyk, můžou mít velice rozdílný charakter (kamera, datové rukavice, snímaní hloubky). V této práci představuji několik korpusů, které byly zaznamenány pomocí systému využívajícího kamery, se záměrem rozpoznávat izolované znaky. Navrhl jsem systém schopný sledovat ruce a hlavu v kontrolovaném prostředí, využívající metody počítačového vidění a strojového učení. Systém je navržen jako pravděpodobnostní, což umožňuje klasifikaci z více zdrojů, a zároveň je připravený na aplikaci standardních adaptačních metod jako MAP nebo MLLR. Ze sledovaných objektů jsou extrahovány příznaky, které jsou použity pro rozpoznávání za použití skrytých Markovových modelů.