Lightweight Target-Speaker-Based Overlap Transcription for Practical Streaming ASR

Abstract

Overlapping speech remains a major challenge for automatic speech recognition (ASR) in real-world applications, particularly in broadcast media with dynamic, multi-speaker interactions. We propose a light-weight, target-speaker-based extension to an existing streaming ASR system to enable practical transcription of overlapping speech with minimal computational overhead. Our approach combines a speaker-independent (SI) model for standard operation with a speaker-conditioned (SC) model selectively applied in overlapping scenarios. Overlap detection is achieved using a compact binary classifier trained on frozen SI model output, offering accurate segmentation at negligible cost. The SC model employs Feature-wise Linear Modulation (FiLM) to incorporate speaker embeddings and is trained on synthetically mixed data to transcribe only the target speaker. Our method supports dynamic speaker tracking and reuses existing modules with minimal modifications. Evaluated on a challenging set of Czech television debates with 16% overlap, the system reduced WER on overlapping segments from 68.0% (baseline) to 35.78% while increasing total computational load by 44%. The proposed system offers an effective and scalable solution for overlap transcription in continuous ASR services.Překrývající se řeč zůstává hlavní výzvou pro automatické rozpoznávání řeči (ASR) v reálných aplikacích, zejména v TV a rozhlasovém vysílání. Navrhujeme jednoduché rozšíření stávajícího streamovacího systému ASR založené na přepisu cílového řečníka, které umožňuje praktický přepis překrývající se řeči s minimální výpočetní režií. Náš přístup kombinuje model nezávislý na řečníkovi (SI) pro standardní provoz s modelem podmíněným řečníkem (SC) selektivně aplikovaným v případě překrývající se řeči. Detekce překrývající se řeči je dosažena pomocí binárního klasifikátoru trénovaného na výstupu zmrazeného SI modelu, což umožňuje přesnou segmentaci se zanedbatelnými výpočetními nároky. Model SC využívá metodu FiLM pro začlenění embeddingů řečníků a je trénován na synteticky smíšených datech pro přepis pouze cílového řečníka. Naše metoda podporuje dynamické sledování mluvčích a používá stávající moduly s minimálními úpravami. Při hodnocení náročné sady českých televizních debat s 16 % překryvem řeči systém snížil WER u překrývajících se segmentů z 68,0 % na 35,78 % a zároveň zvýšil celkovou výpočetní zátěž o 44 %. Navrhovaný systém nabízí efektivní a škálovatelné řešení pro přepis překrývající se řeči v online ASR systémech.