文章针对语音基础模型(SFMs)在构音障碍语音识别中性能下降的问题,提出模型合并技术增强自动语音识别(ASR)的鲁棒性。以Whisper为基础模型,在语音无障碍项目(SAP)数据集上验证了三种合并策略:单轨迹合并(MAST)、多轨迹合并(MACT)和选择性轨迹合并(SMACT)。实验表明,最佳多轨迹合并策略相比传统微调实现WER相对降低12%,在长音频上降低16.2%。模型合并技术在不同数据规模下持续有效,且能推广至不同模型架构,为语音障碍识别提供零推理成本的高效适配方案。
语音基础模型(SFMs)在典型语音识别中词错率(WER)可低至2.7%,但在构音障碍语音识别中WER高达30-50%。这种性能退化主要源于说话者间/内的发音变异性以及公开数据集的稀缺性。文章通过语音无障碍项目(SAP)提供的标准化数据集(289小时训练数据,43小时开发集),探索模型合并技术提升ASR在病理语音上的泛化能力。
核心思想是通过参数平均整合多个微调模型的权重:
\[ \forall i,\ \theta^{i}=\frac{1}{n}\sum_{k=1}^{n-1}\theta_{k}^{i} \]
在单一优化路径上保存多个检查点,通过权重平均生成最终模型:
\[\theta_{\text{MAST}} = \frac{1}{T}\sum_{t=1}^{T}\theta_{t}\]
其中$\theta_t$表示训练过程中第$t$个检查点的参数。
合并不同超参数配置的独立训练模型:
\[\theta_{\text{MACT}} = \frac{1}{M}\sum_{m=1}^{M}\theta_{m}^{*}\]
$\theta_{m}^{*}$表示第$m$条优化轨迹上的最佳模型,通过改变学习率(3e-6~8e-6)、Dropout率(0~0.1)等超参数实现多样性。
采用贪心算法选择提升整体性能的模型:
1. 初始化集合 E = {M₀},记录当前WER
2. 遍历候选模型 Mᵢ (i=1..n-1):
- 若合并 E∪Mᵢ 后 WER 降低
- 则更新 E = E∪Mᵢ
3. 返回合并权重 W_E
在SAP测试集上的关键发现:
| 方法 | 开发集WER | 测试集WER |
|---|---|---|
| 标准微调 | 15.0 | 14.5 |
| MAST | 13.9 | - |
| MACT | 13.2 | 11.2 |
| SMACT | 13.2 | 10.8 |
文章证明模型合并技术能有效缓解病理语音的域偏移问题,其优势在于:
该技术为构建包容性ASR系统提供了可复现的解决方案,在SAP挑战赛中排名第6(共18支团队)。