文章介绍了MECAT，一个专为细粒度音频理解任务设计的基准测试。MECAT通过整合多个专家模型的分析结果，并结合Chain-of-Thought（CoT）大语言模型推理，生成了多视角、细粒度的音频描述和开放式问答对。此外，文章提出了一种新的评估指标DATE，该指标通过结合单样本语义相似性和跨样本区分性评分，能够更准确地衡量模型输出的细节和准确性。实验结果表明，当前最先进的音频模型在MECAT上的表现仍存在显著提升空间，尤其在复杂音频场景和内容无关任务中表现较差。
人类听觉系统能够高效处理复杂的声学场景，例如区分细微的声音变化或在嘈杂背景中分离目标语音。然而，当前的音频语言模型（LALM）在实现类似人类水平的理解能力方面仍存在显著差距。这一差距部分源于现有基准测试的局限性，这些基准测试往往无法可靠区分通用输出和高度详细的模型输出。
MECAT的数据集基于ACAV100M的一个精选子集构建，包含约20,000个音频片段，覆盖八个不同的音频领域。这些领域包括纯语音、纯音乐、纯声音事件以及它们的混合场景，旨在全面反映真实世界的复杂声学环境。
MECAT包含两个核心任务：MECAT-Caption和MECAT-QA。MECAT-Caption任务提供多视角的音频描述，分为系统性描述、内容特定描述和内容无关描述三类。MECAT-QA任务则通过开放式问答对评估模型在感知、分析和推理等认知技能上的表现。
MECAT的标注构建流程包括音频分类、专家模型分析和LLM CoT推理三个主要阶段。首先，音频片段被分类到特定领域，随后由一系列专家模型进行详细分析。最后，LLM CoT推理整合这些分析结果，生成细粒度的描述和问答对。整个流程还包括严格的质量控制步骤，以确保标注的可靠性。
DATE是一种新型评估指标，旨在更好地量化模型输出的细节和准确性。它结合了单样本语义相似性和跨样本区分性评分，能够有效区分通用描述和上下文丰富的模型输出。实验表明，DATE在区分高质量和低质量输出方面优于现有指标。
在MECAT上的实验评估揭示了当前音频模型的局限性。尽管大型语言模型在整体表现上优于传统模型，但在复杂音频场景和内容无关任务中表现较差。此外，模型性能并未随参数数量线性增长，表明架构创新和训练策略更为关键。