An Exploration of ECAPA-TDNN and x-vector Speaker Representations in Zero-Shot Multi-speaker TTS

Abstract

Zero-shot multi-speaker text-to-speech (TTS) systems rely on speaker embeddings to synthesize speech in the voice of an unseen speaker, using only a short reference utterance. While many speaker embeddings have been developed for speaker recognition, their relative effectiveness in zero-shot TTS remains underexplored. In this work, we employ a YourTTS-based TTS system to compare three different speaker encoders – YourTTS’s original H/ASP encoder, x-vector embeddings, and ECAPA-TDNN embeddings – within an otherwise fixed zero-shot TTS framework. All models were trained on the same dataset of Czech read speech and evaluated on 24 out-of-domain target speakers using both subjective and objective methods. The subjective evaluation was conducted via a listening test focused on speaker similarity, while the objective evaluation measured cosine distances between speaker embeddings extracted from synthesized and real utterances. Across both evaluations, the original H/ASP encoder consistently outperformed the alternatives, with ECAPA-TDNN showing better results than x-vectors. These findings suggest that, despite the popularity of ECAPA-TDNN in speaker recognition, it does not necessarily offer improvements for speaker similarity in zero-shot TTS in this configuration. Our study highlights the importance of empirical evaluation when reusing speaker recognition embeddings in TTS and provides a framework for additional future comparisons.

Systémy převodu textu na řeč (text-to-speech, TTS) typu zero-shot pro více mluvčích využívají embeddingy mluvčích k syntéze řeči v hlasu dosud neznámého mluvčího, a to pouze na základě krátké referenční ukázky. Přestože bylo pro účely rozpoznávání mluvčích vyvinuto mnoho embeddingů, jejich relativní účinnost v zero-shot TTS zůstává málo prozkoumána. V této práci využíváme TTS systém založený na YourTTS k porovnání tří různých enkodérů mluvčích - původního H/ASP enkodéru z YourTTS, embeddingů typu x-vector a embeddingů ECAPA-TDNN - v jinak fixním systému zero-shot TTS. Všechny modely byly trénovány na stejném datasetu české čtené řeči a vyhodnoceny na 24 cílových mluvčích mimo trénovací dataset, a to jak subjektivními, tak objektivními metodami. Subjektivní hodnocení bylo provedeno poslechovým testem zaměřeným na podobnost hlasu, zatímco objektivní hodnocení měřilo kosinové vzdálenosti mezi embeddingy mluvčích extrahovanými ze syntetizovaných a reálných nahrávek. Ve všech hodnoceních původní H/ASP enkodér konzistentně překonával ostatní varianty, přičemž ECAPA-TDNN dosahovala lepších výsledků než x-vector. Tyto výsledky naznačují, že navzdory popularitě ECAPA-TDNN v oblasti rozpoznávání mluvčích nepřináší tento model v dané konfiguraci nutně zlepšení podobnosti hlasu v zero-shot TTS. Naše studie zdůrazňuje význam empirického hodnocení při opětovném využití embeddingů z rozpoznávání mluvčích v TTS a poskytuje rámec pro další budoucí srovnání.