主页 › 范文 › 电气工程 › 本文

FiDo: 跨域特征重要性增强的语音清晰度预测

摘要

文章提出了跨域特征重要性(FiDo)方法,用于改进助听器中的非侵入式语音清晰度预测。FiDo通过多头自注意力机制和特征级联策略,有效捕捉不同声学特征的重要性。实验结果表明,将FiDo集成到MBI-Net+模型中,可使RMSE降低7.62%,并在2023年Clarity预测挑战赛上超越最佳系统3.98%。研究验证了早期注意力机制和跨域特征融合在语音清晰度预测中的有效性。

1. 引言

语音清晰度预测是评估助听器性能的关键任务。文章提出了一种名为FiDo的新方法,通过跨域特征重要性分析来改进非侵入式语音清晰度预测。该方法解决了传统方法依赖干净参考音频的局限性,为助听器用户提供更实用的评估方案。

2. FiDo方法

2.1 系统架构

FiDo基于MBI-Net+模型,引入多头自注意力机制和特征级联策略。系统首先提取频谱特征(PS)、滤波器组特征(FB)和Whisper特征(WS),然后通过注意力机制计算特征重要性权重,最后进行特征融合和预测。

2.2 特征处理

FiDo采用特征级联而非时间级联策略,避免了帧数过长的问题。PS和FB特征经过注意力处理后进行级联,再与经过适配器处理的WS特征结合,形成最终的跨域特征表示。

3. 实验结果

在Clarity预测挑战赛2023数据集上的实验表明,FiDo显著提升了模型性能。与原始MBI-Net+相比,FiDo使RMSE降低了7.62%,并在所有测试轨道上均表现出色。特别是在Track 3上,RMSE从23.74降至21.42,验证了方法的有效性。

4. 讨论与结论

FiDo通过早期注意力机制和跨域特征融合,有效提升了语音清晰度预测性能。实验结果显示,该方法超越了2023年Clarity挑战赛的最佳系统3.98%。未来研究将探索更先进的注意力机制和特征融合策略,以进一步提升预测精度。

相关论文