主页 › 范文 › 电气工程 › 本文

ReverbFX: 基于混响插件的歌声去混响脉冲响应数据集

摘要

文章提出ReverbFX数据集，首次从专业混响音频插件（Protoverb、SkyNet、TAL-Reverb-4、Valhalla Supermassive）采集1846条房间脉冲响应（RIR），覆盖RT60 0.31-52.08秒的多样人工混响特性。基于该数据集构建SingingReverbFX基准，结合94小时多语言歌声数据，验证了在人工混响场景下，使用插件RIR训练的生成模型（SGMSE+等）显著优于传统自然RIR训练的模型（POLQA提升0.59）。该研究为音乐制作中的去混响技术提供专用数据支持。

1. 引言

传统房间脉冲响应（RIR）数据集基于物理空间声学特性，难以建模音乐制作中的人工混响效果（如非线性衰减、调制延迟）。文章首次提出插件衍生RIR数据集ReverbFX，填补人工混响去混响研究的空白。该数据集捕捉专业音频插件（图1）的超长衰减（RT60≤52秒）、调制特性等非物理约束行为，解决现有方法在音乐场景的泛化瓶颈。

2. ReverbFX数据集构建

2.1 数据采集与验证

通过DawDreamer API驱动四款专业插件生成RIR：

多样性增强：每预设生成14个随机变体（调整延迟时间等参数）
严格过滤：剔除异常值（能量<$10^{-16}$）、DC偏移（均值<$10^{-4}$）、无效RT60（0.1-100秒外）
版权合规：CC BY-NC 4.0许可，含开发者书面授权

RT60分布直方图（图1）显示多数集中在0.3-10秒，覆盖典型音乐制作需求。

2.2 插件声学特性

Protoverb：最大化房间共振，基于随机延迟网络
SkyNet：航天混响算法，生成长衰减扩散声场
TAL-Reverb-4：调制延迟网络模拟1980年代数字混响
Valhalla Supermassive：调制FDN架构实现极端空间化

3. SingingReverbFX基准

结合94小时多语言歌声数据（表1），构建去混响评估体系：

3.1 数据处理

数据源：OpenSinger、M4Singer等7数据集，覆盖中/英/日/韩语
干湿混合：随机混合比 $\alpha \in [0.1,1]$，输出 $y(t)=(1-\alpha)x(t)+\alpha(x(t)*h(t))$
数据划分：RIR按RT60分层抽样（训练:验证:测试=1446:200:200）

3.2 评估指标

结合感知与客观指标：POLQA/PESQ（质量）、ESTOI（清晰度）、OVRL/REVERB（非侵入MOS预测）、MAE（STFT误差）。

4. 实验结果

在NHSS测试集对比生成模型性能（表2）：

领域适配优势：SGMSE+使用ReverbFX训练时，POLQA达3.12（较自然RIR训练提升0.59），MAE降低42.9%
模型对比：SGMSE+优于Schrödinger Bridge（POLQA高0.22），因48kHz模型超参优化
人工混响挑战：传统方法在REVERB指标仅4.22，证明音乐场景需专用解决方案

5. 结论

ReverbFX为音乐制作中的歌声去混响提供首个专用数据集，解决人工混响与物理声学的领域差异问题。实验证明插件衍生RIR训练能显著提升模型在音乐场景的泛化能力，为音频增强技术开辟新方向。