文章介绍了PromptEVC，一种利用自然语言提示实现精确情感控制的语音转换方法。该方法通过情感描述器和提示映射器生成细粒度情感嵌入，结合韵律建模与控制模块调整节奏，并引入说话人编码器保留身份特征。实验表明，PromptEVC在情感转换、强度控制和混合情感合成方面优于现有方法，显著提升语音自然度与用户期望对齐能力。
情感语音转换（EVC）旨在修改语音的情感表达，同时保留语义内容和说话人身份，对提升人机交互体验至关重要。现有方法依赖预定义标签、参考音频或数值因子，难以处理情感感知的个体差异。文章提出PromptEVC，首次将自然语言提示引入EVC任务，例如“转换为稍快节奏的快乐语调，略带惊喜”，实现多维度灵活控制。
为解决文本描述与语音超音段特征（如语调、节奏）的模态差异，文章设计情感描述器：基于RoBERTa将可变长度提示编码为固定维度的粗粒度嵌入 $e_{txt}$。进一步引入提示映射器，通过扩散模型联合优化 $e_{txt}$ 与参考音频嵌入 $e_{ref}$（由Emotion2Vec提取），生成细粒度情感嵌入 $e_{pm}$。扩散过程定义为：
\[ \mathrm{d}\mathbf{x}_{t}=-\frac{1}{2}\beta_{t}\mathbf{x}_{t}~\mathrm{d}t+\sqrt{\beta_{t}}~\mathrm{d}w_{t} \]
去噪训练损失为 $\mathcal{L}_{pm}=\mathbb{E}\left[\left||\epsilon-\bm{\epsilon}_{\theta}(\mathbf{x}_{t},e_{txt},t)\right|\right|^{2}$，增强文本描述与语音情感的语义对齐。
为提升生成语音自然度，文章构建韵律控制流水线：1）利用HuBERT提取隐藏表征，经K-means聚类离散化为语言学符号；2）时长调节器基于符号去冗余生成时长感知内容表征 $h_{con}$，损失函数 $\mathcal{L}_{rhy}$ 优化节奏预测；3）韵律预测器融合 $h_{con}$ 与情感嵌入 $h_{emo}$，通过CNN层建模音高、能量等多维属性。
文章在预训练说话人验证模型中添加F0约束层，损失函数 $\mathcal{L}_{spk}=||\log F_{0}-\log\hat{F_{0}}||_{2}$ 确保语调操纵时身份一致性。结合波形重建模块（条件变分自编码器与对抗学习），最终损失为：
\[ \mathcal{L}=\mathcal{L}_{sp}+\mathcal{L}_{f}+\mathcal{L}_{adv}(G)+\mathcal{L}_{pm}+\mathcal{L}_{rhy}+\mathcal{L}_{spk} \]
在TextrolSpeech数据集（42,909条情感语音）上验证性能：
消融实验显示，移除提示映射器使RMSE$_{F_{0}}$上升1.29，移除韵律预测器导致CER增加0.44%，证明各模块必要性。混合情感（如“快乐+惊喜”）控制准确率达61.25%，彰显自然语言提示的灵活性。
文章提出的PromptEVC通过自然语言提示实现细粒度情感语音控制，解决了传统方法依赖预定义参数的局限。未来将探索实时流式EVC应用，进一步扩展该框架的实用性。