NN-Based Czech Sign Language Synthesis

Date issued

2019

Journal Title

Journal ISSN

Volume Title

Publisher

Springer

Abstract

Tento článek popisuje naši syntézu českého znakového jazyka, která převádí český text do řady skeletálních pozic. Naším hlavním cílem je vyhnout se náročným ručně vytvořeným anotacím videí a vyhnout se ručnímu mapování mezi glosáři znakové řeči a kosterními pozicemi. Namísto samostatného řešení těchto úkolů jsme se tedy připojili k modelu implicitního překladače založeného na neuronových sítích a modelu mapování mezi glosáři znakového jazyka a oba modely společně trénujeme. Za tímto účelem navrhujeme jednoduchou diferencovatelnou operaci, která rozkládá vstupní symboly a umožňuje vytvářet požadované série bez jakéhokoli opakujícího se mechanismu. Použili jsme sadu nástrojů OpenPose k automatickému extrahování pozic skeletu a navrhli jsme algoritmus založený na gradientu sestupu, který převádí 2D model skeletu na 3D model skeletu, aby se opravily nesprávně umístěné a chybějící klouby. Části předpovědi počasí Denní zprávy v českém znakovém jazyce byly použity k získání našich tréninkových a testovacích údajů. Naše experimenty prokazují přínos implicitního překladače a schopnost navrženého systému syntézy znakového jazyka produkovat přirozeně vytvořené skeletální pozice.

Description

Subject(s)

Syntéza znakového jazyka, 3D rekonstrukce kostry, implicitní překlad

Citation

ZELINKA, J., KANIS, J., SALAJKA, P. NN-Based Czech Sign Language Synthesis. In: Speech and Computer, 21st International Conference, SPECOM 2019, Istanbul, turkey, August 20-25,2019, Proceedings. Cham: Springer, 2019. s. 559-568. ISBN 978-3-030-26060-6 , ISSN 0302-9743.
OPEN License Selector