Multimodal Dialog with the MALACH Audiovisual Archive

Date issued

2019

Journal Title

Journal ISSN

Volume Title

Publisher

Curran Associates, Inc.

Abstract

V tomto článku představujeme multimodální dialogový systém schopný získávat informace z velkého audiovizuálního archivu svědectví holokaustu MALACH. Uživatelé mohou prohledávat archív pomocí dotazů v přirozeném jazyce. Grafické uživatelské rozhraní umožňuje uživatelům rychle zobrazit záběry s odpověďmi a prozkoumat jejich kontext. Dialog byl nasazen ve dvou jazycích - angličtině a češtině. Systém používá automatické rozpoznávání řeči a zpracování přirozeného jazyka pro vytvoření znalostní báze a pro zpracování uživatelských vstupů.
In this paper, we present a multimodal dialog system capable of information retrieval from the large audiovisual archive MALACH of Holocaust testimonies. The users can use spoken natural language queries to search the archive. A graphical user interface allows the users to quickly view footage with the answers and explore their context. The dialog was deployed in two languages - English and Czech. The system uses automatic speech recognition and natural language processing for knowledge base construction and for processing of the user’s input

Description

Subject(s)

dialogové systémy, interakce člověka a stroje, získávání informací

Citation

CHÝLEK, A., ŠMÍDL, L., ŠVEC, J. Multimodal Dialog with the MALACH Audiovisual Archive. In: Proceedings of the 20th Annual Conference of the International Speech Communication Association (Interspeech 2019). Red Hook, NY: Curran Associates, Inc., 2019. s. 3663-3664. ISBN 978-1-5108-9683-3 , ISSN 2308-457X.
OPEN License Selector