文章介绍了CUHK-EE团队为NCMMSC 2025 vTAD挑战赛开发的语音音色属性检测系统。该系统基于WavLM-Large模型提取鲁棒的语音特征,并通过两种Diff-Net变体(FFN和SE-ResFFN)比较语音对之间的音色属性强度。实验结果表明,WavLM-Large+FFN系统在未见过的说话人上表现更优,准确率达到77.96%,而WavLM-Large+SE-ResFFN在已知说话人上表现更佳,准确率达94.42%。文章还探讨了模型复杂性、说话人身份、标注主观性和数据不平衡等因素对系统性能的影响,为未来音色属性检测的鲁棒性和公平性改进提供了方向。
语音音色属性检测(vTAD)是语音处理领域的重要任务,旨在自动比较语音对之间的音色属性强度差异。文章介绍了CUHK-EE团队为NCMMSC 2025 vTAD挑战赛开发的系统,该系统基于自监督学习模型WavLM-Large和两种不同的Diff-Net架构,实现了高效的音色属性检测。
系统首先对原始语音进行静音去除处理,保留语音的自然节奏和结构。静音区域定义为信号强度低于40 dB的部分,处理过程中确保保留至少100 ms的有效语音内容。
系统由说话人编码器和比较网络(Diff-Net)两部分组成。说话人编码器基于WavLM-Large模型,结合注意力统计池化(ASTP)提取鲁棒的语音特征。比较网络采用两种变体:标准前馈神经网络(FFN)和带有挤压激励模块的残差前馈神经网络(SE-ResFFN)。
实验使用VCTK-RVA数据集进行训练和评估,该数据集包含34种音色属性的标注。训练过程中固定WavLM-Large参数,仅训练Diff-Net部分。实验分为"Seen"和"Unseen"两种场景,分别评估模型在已知说话人和未知说话人上的表现。
实验结果显示,WavLM-Large+FFN在"Unseen"场景下表现更优,准确率达77.96%,而WavLM-Large+SE-ResFFN在"Seen"场景下表现更佳,准确率达94.42%。这表明模型复杂性和泛化能力之间存在权衡。此外,文章还分析了说话人身份、标注主观性和数据不平衡等因素对系统性能的影响。
文章提出的系统在vTAD挑战赛中取得了优异成绩,展示了自监督学习模型在音色属性检测中的潜力。研究结果揭示了模型架构选择的重要性,并为未来改进音色属性检测系统的鲁棒性和公平性提供了方向。