文章提出波斯语语音识别基准(PSRB),旨在解决波斯语作为低资源语言在语音识别评估中的挑战。该基准整合多样化的语言和声学条件,评估了十种ASR系统(包括商业和开源模型),分析性能差异和固有偏见。文章深入分析波斯语ASR转录错误,识别关键错误类型并提出加权替换错误指标(SW-WER),通过减少微小错误影响提升评估鲁棒性。研究发现ASR模型在标准波斯语表现良好,但在地方口音、儿童语音和特定语言挑战上表现不佳,强调需通过微调和多样化训练数据减少偏见。PSRB为波斯语ASR研究提供资源,并为其他低资源语言建立评测框架提供参考。
语音识别系统(ASR)已深度融入现代生活,但其评估仍具挑战性,尤其对波斯语等低资源语言。文章提出波斯语语音识别基准(PSRB),通过整合多样化的语言、人口统计和声学条件,填补现有评测空白。该研究评估十种ASR模型,识别关键错误类型并提出新指标SW-WER,揭示系统在地方口音和儿童语音等场景的性能局限。
PSRB数据集覆盖波斯语八大核心维度:语义内容、数据源、语音风格、语言多样性、说话人多样性、口音变异、多说话人场景和声学环境。数据源自播客、新闻和视频平台(如YouTube、Aparat),经分段(1-100秒)和严格标注流程处理。最终数据集包含3,372条语音(10.4小时),其中58.6%为自发语音,52.67%含噪声环境,71.3%为非正式语音(表2)。
文章提出加权替换词错误率(SW-WER),解决传统指标缺陷:
\[ \text{SW-WER} = \frac{S + I + D}{N_{\text{sub}} + C + D}, \quad S = \sum_{i=1}^{N} n_i \cdot \text{CER}(\text{str}_1, \text{str}_2) \]
该指标对替换错误进行字符级加权(表3),在保留语义的微小错误(如"همه"→"بنام")和语义偏离的错误(如"فوتبال"→"مدل سه")间取得平衡,显著提升评估鲁棒性(图3)。
评估十种ASR模型显示(表4):
波斯语ASR特有错误包括:
PSRB揭示系统性性能差异(表6-8):
PSRB基准填补波斯语ASR系统化评估空白,揭示当前模型在非正式语音和地方口音的显著局限。SW-WER指标提供更精准的错误评估框架,而多维度鲁棒性分析指明数据多样性的关键作用。未来工作需整合声学与语义多样性数据,并探索针对波斯语语言特性的归一化处理,以推动低资源语言ASR发展。