MMAR: 首个面向音频深度推理的全模态基准测试

论文:  https://arxiv.org/abs/2505.13032

GitHub: https://github.com/ddlBoJack/MMAR

数据集:  https://huggingface.co/datasets/BoJack/MMAR

随着大型语言模型和音频处理技术的飞速发展，音频 AI 已经在语音识别、音频描述和音乐分析等任务上取得了显著进展。然而，当前的音频 AI 系统在处理需要深度推理的复杂任务时仍面临严峻挑战。例如，理解多人对话中的情感变化、分析复杂音乐场景，或推断环境声音背后的事件链等需要深度推理能力的任务，都超出了现有系统的处理范围。

为填补这一关键空白，来自2077AI、整数智能、上海交通大学、字节跳动、南洋理工大学、伦敦玛丽女王大学等机构的研究团队共同推出了 MMAR（多模态音频推理）基准测试。该项目由上海交通大学牵头，2077AI 提供核心数据工程支持，联合字节跳动、南洋理工大学等机构的专家团队，共同完成了这一开创性工作。

1. MMAR基准测试预览

传统的音频 AI 基准测试往往将不同音频模态割裂开来，难以反映真实世界中声音、音乐、语音频繁交织的复杂场景。例如，AudioBench 专注于单一声音事件识别，MusicBench 仅评估音乐理解能力，而实际应用中的音频场景往往更加复杂多变。这种割裂的评估方式难以推动音频 AI 向更高层次发展。

MMAR 突破性地构建了包含1,000个多模态音频样本的评测集。每个样本都经过精心设计，确保既能评估模型的基础感知能力，又能测试其深层推理水平。在数据分布上，MMAR 实现了纯声音、纯音乐、纯语音各占约25%的均衡覆盖，同时特别保留25%的比例用于评估混合模态场景下的模型表现。这种设计既确保了评估的全面性，又特别强调了真实世界中最具挑战性的混合场景。

MMAR 测试题样例

更重要的是，MMAR 首次在音频评测中引入了详细的思维链（Chain-of-Thought, CoT）标注。每个测试样本都配备了专家编写的推理过程，清晰展示从音频输入到最终答案的逻辑路径。这种标注不仅提供了答案的可解释性，也为未来的模型改进提供了明确的指导方向。

2. 创新的分层任务体系

现有的音频 AI 基准测试往往采用简单的任务分类方式，难以体现推理深度的递进关系。这种评估方式无法全面反映模型在不同认知层次上的表现。为解决这一问题，MMAR 提出了创新的四层任务分类体系，从基础声学特征分析逐步提升到高阶文化理解。 

MMAR的四层任务体系

• 信号层面：
  这一层关注评估模型对声音物理特征的感知能力。该层的任务要求 AI 系统能够准确识别和分析声音的基本特征，如频率变化、音量起伏、声音失真等。这些看似简单的任务实际上需要模型具备精确的声学特征提取能力，以及对数值特征进行定量分析的能力。例如，一个任务可能涉及识别金属标尺的振动频率以推断其长度。
• 感知层面：
  这一层的评估重点提升到了声音模式的识别和解释层面。模型需要理解声音的空间特性、声源特征以及多个声音之间的关系。这类任务考验模型的声学场景分析能力，要求其能够在复杂的声音环境中分离和理解不同的声源。例如，判断一个声音是否在靠近或远离，或者分辨出一段音乐中使用的乐器组合。
• 语义层面：
  这一层要求模型进行更深层的内容理解和推理。在这个层面上，简单的特征识别已经不够，模型需要理解声音背后的含义、意图和情感。这包括理解对话中的潜台词、通过声音推断事件的因果关系，以及识别说话人的情绪变化。例如，模型可能需要通过说话人的语气、呼吸声和背景声音来推断一个场景中的紧张氛围。
• 文化层面：
  最具挑战性的任务位于这一层，它要求模型具备丰富的领域知识和跨模态理解能力。在这一层次上，模型不仅要理解声音本身，还要将其与相关的文化背景、专业知识和社会语境联系起来。例如，识别一首音乐的历史时期、理解特定仪式中声音的文化意义，或者分析一段音频中的幽默或讽刺元素。

通过这种层次化的任务体系，MMAR 能够全面评估模型在不同认知层次上的表现，揭示当前音频 AI 系统在处理复杂推理任务时的优势和不足。这种深入的评估方法也为未来音频AI模型的改进提供了明确的方向。

3. 严格的数据构建流程

构建这样一个多层次的评估体系需要高质量的数据支撑。为确保数据质量，研究团队开发了一套严格的数据构建流程，确保每个测试样本都满足严格的质量标准。

MMAR 的数据建构流程

首先是专家集思广益阶段。项目组织了来自音频处理、音乐理论、语音识别等领域的专家进行研讨，确定评估维度和挑战性任务类型。这种自下而上的方式确保了测试任务的专业性和现实意义。

随后，研究团队结合人工智能技术构建了系统的分类体系。通过分析专家提供的案例和见解，形成了从信号到文化的四层任务框架。这个框架不仅提供了清晰的评估结构，也为后续的数据收集提供了指导。

在数据标注阶段，团队采用了基于启发式策略的人工标注方法。标注专家需要确保每个问题都需要多步推理才能解答，同时避免可以通过简单模式匹配获得答案的情况。这个过程得到了整数智能数据工程平台的强力支持，整数智能数据工程平台为 MMAR 的数据处理提供了专业的标注界面和严格的质量控制机制。

整数智能数据工程平台 MMAR 项目的数据标注界面

音频数据的收集和处理是另一个关键环节。2077AI 在这个阶段发挥了重要作用，负责原始数据的收集、预处理和标准化工作。团队特别注意避免与现有音频AI模型的预训练数据重叠，确保评测的有效性。

最后是多轮质量检查与验证。每个测试样本都要经过至少两轮独立的专家审核，确保问题设计的合理性、答案的唯一性，以及推理链的完整性。未能通过审核的样本会被退回修改或直接剔除，最终筛选出最具代表性的1,000个样本。

4. 实验评估与分析

衡量音频 AI 系统的深度推理能力需要全面的模型评估。为此，MMAR 团队对当前最具代表性的30个音频处理模型进行了系统测试，涵盖了五大类模型家族：大型音频语言模型（LALMs）、大型音频推理模型（LARMs）、全能语言模型（OLMs）、传统大语言模型（LLMs）和专注推理的大模型（LRMs）。这种广泛的模型覆盖确保了评估结果的代表性和参考价值。