Asking Questions: an Innovative Way to Interact with Oral History Archives

Abstract

The paper describes our initial effort to use Transformer-based neural networks for understanding and presenting oral history archives. Such archives of interviews often contain large passages of the interviewee’s speech. Our approach automatically generates relevant questions, which enrich such monotonous parts and allows the listener to better orient in the interview. The generated questions also allow for finding interesting parts of the interview without changing the original meaning of the testimony. We present our working pipeline consisting of a Wav2Vec speech recognizer, BERT-based punctuation detection, T5 asking questions model and BERT-based semantic continuity model.

Tato práce popisuje naše počáteční úsilí využít neuronové sítě založené na modelu Transformer pro porozumění a prezentaci archivů orální historie. Tyto archivy obsahují často rozsáhlé pasáže výpovědí osob, s nimiž byl veden rozhovor. Prezentujeme přístup pro automatické generování relevantních otázek, které obohatí tyto monotónní pasáže a umožní posluchači lépe se orientovat v průběhu interview. Tyto generované otázky také umožňují nalézt zajímavé části interview, aniž by byl změněn původní význam svědectví. Náš postup zahrnuje rozpoznávání řeči pomocí modelu Wav2Vec, detekci interpunkce založenou na modelu BERT, model T5 pro generování relevantních otázek a model založený na modelu BERT pro ohodnocení sémantické kontinuity navrhovaných otázek s odpovídajícím kontextem.