Three Years of VoiceMOS Challenges: Lessons Learned by the UWB-NTIS-TTS Team

Abstract

Automatic prediction of mean-opinion scores (MOS) promises a faster, cheaper alternative to listening tests, yet robust generalization across speakers, languages, and domains remains a significant challenge. This article presents our system designs and experimental results from three years of participation in the VoiceMOS Challenges (2022–2024), covering MOS prediction for synthesized or voice-converted speech and singing voice, including out-of-domain and cross-language conditions. We evaluate six neural architectures – wav2vec 2.0, QuartzNet, CNN-RNN, LDNet, RawNet3, and HiFi-GAN – and their ensembles. Across all tasks, we find that 1) self-supervised acoustic encoders are the most consistently reliable foundation, 2) ensembling yields rapidly diminishing returns once complementary representations are covered, and 3) the diversity and balance of training data outweigh architectural complexity. Notably, the indiscriminate fusion strategy that performed well in 2022 degrades under the mismatched French TTS conditions of 2023, emphasizing the importance of out-of-domain validation. Further experiments show that carefully pruned ensembles can modestly outperform the best single model while remaining within real-time constraints. We conclude with several observations to guide the development of computationally efficient, domain-robust MOS prediction systems.

Automatická predikce mean opinion score (MOS) slibuje rychlejší a levnější alternativu k poslechovým testům, avšak robustní zobecnění napříč mluvčími, jazyky a doménami zůstává významnou výzvou. Tento článek představuje naše návrhy systémů a experimentální výsledky z tříleté účasti v soutěžích VoiceMOS Challenge (2022–2024), které se týkaly predikce MOS pro syntetizovanou nebo hlasově převedenou řeč a zpěv, včetně out-of-domain podmínek a mezi jazyky. Hodnotíme šest neurálních architektur - wav2vec 2.0, QuartzNet, CNN-RNN, LDNet, RawNet3 a HiFi-GAN - a jejich kombinace. Napříč všemi úkoly zjišťujeme, že 1) akustické enkodéry trénovaný samoučením jsou nejspolehlivějším základním přístupem, 2) kombinace více modelů přináší rychle klesající přínosy, jakmile jsou pokryty komplementární reprezentace, a 3) rozmanitost a vyváženost trénovacích dat převažuje nad architektonickou složitostí. Strategie nediskriminační fúze, která v roce 2022 fungovala dobře, za odlišných podmínek francouzského TTS z roku 2023 degraduje, což zdůrazňuje důležitost validace mimo doménu. Další experimenty ukazují, že pečlivě prořezané ensembly modelů mohou mírně překonat nejlepší jednotlivý model a zároveň se udržet v hranicích zpracování v reálném čase. Závěrem uvádíme několik pozorování, která by měla vést k vývoji výpočetně efektivních a doménově robustních predikčních systémů MOS.