NN-Based Czech Sign Language Synthesis
Date issued
2019
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Springer
Abstract
Tento článek popisuje naši syntézu českého znakového jazyka, která převádí český text do řady skeletálních pozic. Naším hlavním cílem je vyhnout se náročným ručně vytvořeným anotacím videí a vyhnout se ručnímu mapování mezi glosáři znakové řeči a kosterními pozicemi. Namísto samostatného řešení těchto úkolů jsme se tedy připojili k modelu implicitního překladače založeného na neuronových sítích a modelu mapování mezi glosáři znakového jazyka a oba modely společně trénujeme. Za tímto účelem navrhujeme jednoduchou diferencovatelnou operaci, která rozkládá vstupní symboly a umožňuje vytvářet požadované série bez jakéhokoli opakujícího se mechanismu. Použili jsme sadu nástrojů OpenPose k automatickému extrahování pozic skeletu a navrhli jsme algoritmus založený na gradientu sestupu, který převádí 2D model skeletu na 3D model skeletu, aby se opravily nesprávně umístěné a chybějící klouby. Části předpovědi počasí Denní zprávy v českém znakovém jazyce byly použity k získání našich tréninkových a testovacích údajů. Naše experimenty prokazují přínos implicitního překladače a schopnost navrženého systému syntézy znakového jazyka produkovat přirozeně vytvořené skeletální pozice.
Description
Subject(s)
Syntéza znakového jazyka, 3D rekonstrukce kostry, implicitní překlad
Citation
ZELINKA, J., KANIS, J., SALAJKA, P. NN-Based Czech Sign Language Synthesis. In: Speech and Computer, 21st International Conference, SPECOM 2019, Istanbul, turkey, August 20-25,2019, Proceedings. Cham: Springer, 2019. s. 559-568. ISBN 978-3-030-26060-6 , ISSN 0302-9743.