Ensemble of Deep Neural Network Models for MOS Prediction

Abstract

Automatic evaluation of the quality of synthetic speech has the potential to serve as a cheaper and less time-consuming alternative to standard listening tests. In this paper, we present our contribution to the ongoing research: a system for automatic prediction of the mean opinion score (MOS) given by human listeners. The system was specifically developed for the recent VoiceMOS Challenge. Following the success of fusion systems in similar challenges, our contribution is an ensemble that interpolates the outputs of seven different models: four different wav2vec models, a CNN-RNN model, QuartzNet, and the LDNet baseline. During the VoiceMOS challenge, our system achieved the second-best utterance-level MSE of 0.171 and ranged from 2nd to 8th place among all 22 participating teams in terms of other evaluation metrics.

Automatické hodnocení kvality syntetické řeči má potenciál stát se levnější a méně časově náročnou alternativou ke standardním poslechovým testům. V tomto článku představujeme náš příspěvek k probíhajícímu výzkumu: systém pro automatickou predikci mean opinion score (MOS) daného lidskými posluchači. Systém byl speciálně vyvinut pro nedávnou soutěž VoiceMOS Challenge. V návaznosti na úspěch kombinovaných systémů v podobných soutěžích je náš systém koncipován jako ensemble interpolující výstupy sedmi různých modelů: čtyři různé wav2vec modely, CNN-RNN model, QuartzNet a soutežní baseline LDNet. Během soutěže VoiceMOS náš systém dosáhl druhého nejlepšího výsledku z hlediska MSE na úrovni nahrávek - 0.171 - a podle ostatních vyhodnocovacích metrik se umístil mezi 2. a 8. místem z 22 účastnících se týmů.