DIFFA: Large Language Diffusion Models Can Listen and Understand

文章主要内容总结

本文介绍了DIFFA，这是首个基于扩散模型的大型音频-语言模型（Large Audio-Language Model, LALM），旨在实现语音语言理解。DIFFA的核心设计是将冻结的扩散语言模型与轻量级双适配器架构结合，以连接语音理解和自然语言推理能力。

训练过程分为两阶段：

1. 第一阶段通过语音识别（ASR）目标，利用LibriSpeech数据集（960小时）对齐语义表示；
2. 第二阶段通过大语言模型自动生成的合成音频-字幕对（127小时），学习指令遵循能力。

尽管训练数据量远小于同类模型（如Qwen2-Audio-Instruct使用51万小时数据），DIFFA在MMSU、MMAU、VoiceBench等主流音频理解基准测试中表现优异，超过了多个自回归开源基线模型，验证了基于扩散的语言模型在音频理解任务中的潜力。

创新点

1. 首个基于扩散的LALM：突破了现有音频-语言模型依赖自回归生成的范式，首次将扩散语言模型应用于音频-语言理解任务。
2. 双适配器与两阶段训练：设计轻量级语义适配器和声学适配器，通过两阶段训练（ASR对齐→合成数据微调）实现语音与扩散语言模型的对齐，无需显式监督微调数据。
3. 高效性与可扩展性：仅使用960小时ASR数据、127小时合成数据和72小时A800 GPU计算资源，即取得竞争性结果，为低资源场景下的音频理解提供了新方向。