Neural Sign Language Synthesis: Words Are Our Glosses
| dc.contributor.author | Zelinka, Jan | |
| dc.contributor.author | Kanis, Jakub | |
| dc.date.accessioned | 2021-03-01T11:00:26Z | |
| dc.date.available | 2021-03-01T11:00:26Z | |
| dc.date.issued | 2020 | |
| dc.description.abstract | Tento článek se zabývá syntézou znakového jazyka typu text-video. Místo přímé produkce videa jsme se zaměřili na výrobu skeletových modelů. Naším hlavním cílem v tomto příspěvku bylo navrhnout plně end-to-end systém automatické syntézy znakového jazyka vyškolený pouze na dostupných volných datech (denní televizní vysílání). Proto jsme vyloučili jakoukoli manuální anotaci videa. Náš navržený přístup se navíc nespoléhá na žádnou segmentaci videa. Byl zkoumán navrhovaný dopředný transformátor a rekurentní transformátor. Abychom zlepšili výkon našeho transformátoru sekvence na sekvenci, byla v našem tréninkovém procesu použita měkká nemonotónní pozornost. Výhoda funkcí na úrovni znaků byla porovnána s funkcemi na úrovni slov. Naše experimenty jsme zaměřili na soubor dat o předpovědi počasí v českém znakovém jazyce. | cs |
| dc.description.abstract-translated | This paper deals with a text-to-video sign language synthesis. Instead of direct video production, we focused on skeletal models production. Our main goal in this paper was to design a fully end-to-end automatic sign language synthesis system trained only on available free data (daily TV broadcasting). Thus, we excluded any manual video annotation. Furthermore, our designed approach even do not rely on any video segmentation. A proposed feed-forward transformer and recurrent transformer were investigated. To improve the performance of our sequence-to-sequence transformer, soft non-monotonic attention was employed in our training process. A benefit of character-level features was compared with word-level features. We focused our experiments on a weather forecasting dataset in the Czech Sign Language. | en |
| dc.format | 9 s. | cs |
| dc.format.mimetype | application/pdf | |
| dc.identifier.citation | ZELINKA, J., KANIS, J. Neural Sign Language Synthesis: Words Are Our Glosses. In: 2020 IEEE Winter Conference on Applications of Computer Vision (WACV). USA: IEEE, 2020. s. 3384-3392. ISBN 978-1-72816-553-0, ISSN 2472-6737. | cs |
| dc.identifier.document-number | 578444803049 | |
| dc.identifier.doi | 10.1109/WACV45572.2020.9093516 | |
| dc.identifier.isbn | 978-1-72816-553-0 | |
| dc.identifier.issn | 2472-6737 | |
| dc.identifier.obd | 43930825 | |
| dc.identifier.uri | 2-s2.0-85085480480 | |
| dc.identifier.uri | http://hdl.handle.net/11025/42772 | |
| dc.language.iso | en | en |
| dc.project.ID | EF15_003/0000466/Umělá inteligence a uvažování | cs |
| dc.publisher | IEEE | en |
| dc.relation.ispartofseries | 2020 IEEE Winter Conference on Applications of Computer Vision (WACV) | en |
| dc.rights | Plný text není přístupný. | cs |
| dc.rights | © IEEE | en |
| dc.rights.access | closedAccess | en |
| dc.subject | Znakový jazyk | cs |
| dc.subject | syntéza | cs |
| dc.subject | neuronové sítě | cs |
| dc.subject.translated | Sign Language | en |
| dc.subject.translated | Synthesis | en |
| dc.subject.translated | Neural Networks | en |
| dc.title | Neural Sign Language Synthesis: Words Are Our Glosses | en |
| dc.title.alternative | Syntéza znakového jazyka pomocí neuronových sítí: Slova jsou naše glosy | cs |
| dc.type | konferenční příspěvek | cs |
| dc.type | conferenceObject | en |
| dc.type.status | Peer-reviewed | en |
| dc.type.version | publishedVersion | en |