SAKE: Towards Editing Auditory Attribute Knowledge of Large Audio-Language Models

文章主要内容总结

本文聚焦大型音频语言模型（LALMs）的听觉属性知识编辑，填补了该领域研究空白。核心内容包括：

1. 提出首个听觉属性知识编辑基准SAKE，涵盖说话者性别、情绪、口语语言、动物声音四类属性，从可靠性、通用性、局部性、可迁移性四个维度评估编辑效果。
2. 在DeSTA2.5-Audio和Qwen2-Audio两款模型上，测试了微调、KE、MEND等七种主流编辑方法。
3. 实验发现现有方法虽在可靠性上表现较好，但在通用性（尤其是听觉输入适配）、局部性（保护非目标属性知识）、可迁移性（关联知识更新）及连续编辑场景下的遗忘问题上存在显著挑战。
4. 结果表明，微调（尤其是针对模态连接器的FT(Audio)）是当前较优基线，但所有方法均需针对听觉模态特性优化。

创新点

1. 首次将知识编辑拓展至LALMs的听觉模态，针对抽象感知型听觉属性（非离散事实）开展研究，突破了此前文本/视觉模态的局限。
2. 构建首个全面的听觉属性编辑基准SAKE，设计多维度评估体系和多样化数据集（含1200个测试实例、10800个音视频文件），支持单编辑与连续编辑场景测试。
3. 系统揭示听觉属性编辑的独特挑战，包括属性内知识纠缠、连续编辑遗忘、关联知识迁移困难等，为后续方法优化提供关键洞察。

---

Abstract 翻译

知识编辑为无需全量重训练即可更新模型知识提供了高效途径，但现有研究几乎完全集中于文本或视觉模态。本文提出SAKE，这是首个专门为