Asking Questions Framework for Oral History Archives

Abstract

The importance of oral history archives in preserving and understanding past experiences is counterbalanced by the challenges encountered in accessing and searching through them, primarily due to their extensive size and the diverse demographics of the speakers. This paper presents an approach combining ASR technology and Transformer-based neural networks into the Asking questions framework. Its primary function is to generate questions accompanied by concise answers that relate to the topics discussed in each interview segment. Additionally, we introduce a semantic continuity model that filters the generated questions, ensuring that only the most relevant ones are retained. This enables a real-time semantic search through thousands of hours of recordings, with the crucial benefit that the speakers' original words remain unaltered and still semantically align with the query. While the method is exemplified using a specific publicly available archive, its applicability extends universally to datasets of a similar nature.

Význam archivů orální historie pro zachování a pochopení minulých zkušeností je vyvažován výzvami spojenými s přístupem k těmto archivům a jejich prohledáváním, zejména kvůli jejich rozsáhlému objemu a rozmanité demografii mluvčích. Tento článek představuje přístup, který kombinuje technologii rozpoznávání řeči (ASR) a neuronové sítě založené na Transformeru do rámce kladení otázek. Hlavním cílem je generovat otázky doprovázené stručnými odpověďmi, které se vztahují k tématům diskutovaným v jednotlivých segmentech rozhovorů. Dále představujeme model sémantické kontinuity, který filtruje generované otázky a zajišťuje, aby byly zachovány pouze ty nejrelevantnější. Tím se umožňuje sémantické vyhledávání v reálném čase skrze tisíce hodin nahrávek, s klíčovou výhodou, že původní slova mluvčích zůstávají nezměněná a stále sémanticky odpovídají dotazu. Metoda je demonstrována na konkrétním veřejně dostupném archivu, avšak její využitelnost je univerzálně aplikovatelná i na podobné datové sady.