Dialogue Act Recognition Using Visual Information
Date issued
2021
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Springer
Abstract
Automatická správa dialogů včetně rozpoznávání dialogových aktů (DA) je obvykle zaměřena na dialogy v řečovém signálu. Některé dialogy jsou však dostupné i v psané podobě a jejich automatická analýza je také velmi důležitá. Hlavním cílem tohoto příspěvku je tedy rozpoznávání dialogu z tištěných dokumentů. Pro vizuální rozpoznávání DA navrhujeme nový hluboký model, který kombinuje dvě rekurentní neuronové sítě. Přístup je vyhodnocen na nově vytvořeném datasetu obsahujícím tištěné dialogy z anglického korpusu VERBMOBIL. Ukázali jsme, že vizuální informace nemá významný pozitivní dopad na rozpoznávání DA pomocí obrázků v dobré kvalitě, kde je výsledek OCR vynikající. Nicméně jsme prokázali, že vizuální informace mohou významně zlepšit skóre rozpoznávání DA na obrázcích nízké kvality s chybným OCR. Podle našich nejlepších znalostí se jedná o první pokus zaměřený na rozpoznání DA z vizuálních dat.
Description
Subject(s)
rozpoznávání dialogových aktů, multi-modalita, OCR, RNN, vizuální informace
Citation
MARTÍNEK, J. KRÁL, P. LENC, L. Dialogue Act Recognition Using Visual Information. In Document Analysis and Recognition - ICDAR 2021. Heidelberg: Springer, 2021. s. 793-807. ISBN: 978-3-030-86330-2 , ISSN: 0302-9743