Comparison of wav2vec 2.0 models on three speech processing tasks

Abstract

The current state-of-the-art for various speech processing problems is a sequence-to-sequence model based on a self-attention mechanism known as transformer. The widely used wav2vec 2.0 is a self-supervised transformer model pre-trained on large amounts of unlabeled speech and then fine-tuned for a specific task. The data used for training and fine-tuning, along with the size of the transformer model, play a crucial role in both of these training steps. The most commonly used wav2vec 2.0 models are trained on relatively “clean” data from sources such as the LibriSpeech dataset, but we can expect there to be a benefit in using more realistic data gathered from a variety of acoustic conditions. However, it is not entirely clear how big the difference would be. Investigating this is the main goal of our article. To this end, we utilize wav2vec 2.0 models in three fundamental speech processing tasks: speaker change detection, voice activity detection, and overlapped speech detection, and test them on four real conversation datasets. We compare four wav2vec 2.0 models with different sizes and different data used for pre-training, and we fine-tune them either on in-domain data from the same dataset or on artificial training data created from the LibriSpeech corpus. Our results suggest that richer data that are more similar to the task domain bring better performance than a larger model.

Současným nejmodernějším přístupem k řešení různých úloh zpracování řeči je "sequence-to-sequence" model založený na mechanismu self-attention, známý jako transformer. Široce používaný wav2vec 2.0 je samoučící se transformerový model, který je předtrénován na velkém množství neoznačených řečových dat a následně doladěn pro konkrétní úlohu. Data použitá pro trénování a doladění, spolu s velikostí transformerového modelu, hrají zásadní roli v obou těchto fázích trénování. Nejčastěji používané modely wav2vec 2.0 jsou trénovány na relativně „čistých“ datech, například z datasetu LibriSpeech, avšak lze očekávat, že použití realističtějších dat nahraných za různých akustických podmínek by mohlo přinést výhody. Není však zcela jasné, jak velký rozdíl toto přinese. Zkoumání této otázky je proto hlavním cílem našeho článku. Za tímto účelem využíváme modely wav2vec 2.0 ve třech základních úlohách zpracování řeči: detekce změny řečníka, detekce řečové aktivity a detekce překrývající se řeči, a testujeme je na čtyřech reálných datasetech konverzační řeči. Srovnáváme čtyři modely wav2vec 2.0 o různých velikostech a s různými daty použitými pro předtrénování a ladíme je buď na "in-domain" datech ze stejného datasetu, nebo na uměle vytvořených trénovacích datech z korpusu LibriSpeech. Naše výsledky naznačují, že bohatší data, která jsou více podobná doméně dané úlohy, přinášejí lepší výsledky než větší model.