主页 › 范文 › 电气工程 › 本文

REWIND: 语音时间反转增强说话人表征

摘要

文章提出REWIND方法，通过全语句语音时间反转（STR）增强基于扩散模型的语音转换（VC）中说话人表征。核心发现：语音信号完全反转（x(l-t)）虽破坏语音内容（WER=100%），但保留音色/韵律特征（说话人识别准确率80.3%）。该方法在DDDM-VC框架中融合原始与反转语音的说话人嵌入，实现语言内容与说话人身份解耦。在LibriTTS和VCTK数据集上，REWIND使说话人相似度得分提升4.16%（余弦相似度0.79→0.83），同时保持MOS≥3.55，为少样本语音转换提供新范式。

1. 语音转换的说话人表征挑战

语音转换（VC）需分离说话人身份与语言内容，但传统说话人嵌入常受语言特征干扰。文章提出REWIND方法，利用全语句语音时间反转（STR）作为数据增强策略：原始信号$x(t)$经$x(l-t)$变换后（图2d），音节结构被破坏（WER=100%）却保留说话人音色特征（表1）。感知实验表明，人类仍能以80.3%准确率识别反转语音的说话人身份（图1），为解耦提供新途径。

2. REWIND方法设计

2.1 说话人嵌入融合机制

在扩散模型DDDM-VC框架（图3）中：

双路嵌入提取：原始Mel谱图（$S$）与反转语音Mel谱图（$S_{rev}$）分别通过256维说话人编码器
加权融合：$S_{emb} = \alpha S + \beta S_{rev}$（$\alpha,\beta \in [0,1]$）
源-滤波器理论：滤波器编码器$Z_{ftr}=E_{ftr}(content,S_{emb})$利用融合嵌入重建语音，损失函数为：
\[ \mathcal{L}_{rec} = ||X_{mel} - (Z_{src} + Z_{ftr})||_1 \]

2.2 扩散模型配置

关键实现细节：

输入：16kHz音频→80维Mel谱图（窗长1280，跳幅320）
内容表征：XLS-R模型提取语音内容
声码器：HiFi-GAN V1 + MS-STFTD判别器提升质量
训练：AdamW优化器（$\beta_1=0.8,\beta_2=0.99$），1000轮（2×L40 GPU）

3. 关键实验结果

3.1 说话人相似度提升

相比SOTA模型（表2）：

模型	说话人相似度(↑)	WV-MOS(↑)
DDDM-VC (基线)	0.70	3.21
DDDM-VC + REWIND	0.79	3.55
DiffHierVC (基线)	0.76	3.68
DiffHierVC + REWIND	0.80	3.83

注：客观说话人相似度通过Resemblyzer余弦相似度计算，主观MUSHRA评分提升2.67%

3.2 消融实验

权重选择对性能影响显著（图4）：

最优配置：$\alpha=\beta=0.5$（均衡融合）
$\alpha=1.0$（仅原始语音）：相似度下降8.2%
跨注意力机制：进一步提升相似度3%

3.3 频谱分析

STR特性验证（图2）：

短时反转（20ms）：保留语言内容（WER=0%），但说话人相似度仅0.90
全语句反转：破坏音节结构（WER=100%），但谐波模式清晰，相似度达0.96

4. 结论与应用

REWIND首次证明全语句时间反转可有效解耦说话人身份与语言内容。该方法：

为少样本/零样本语音转换提供鲁棒说话人表征
在扩散模型中无缝集成，无需增加推理复杂度
在影视配音、游戏角色语音转换中具应用潜力

未来将探索STR在多语言场景的泛化性，并优化反转语音的实时生成效率。