Self-Improvement for Audio Large Language Model using Unlabeled Speech

文章主要内容和创新点

主要内容

本文聚焦于音频大语言模型（audio LLMs）在特定目标域中的性能提升问题，提出了一种无需标注数据的自改进方法——SI-SDA（Self-Improvement Speech Domain Adaptation）。该方法利用音频大语言模型解码过程中蕴含的信息（尤其是深层Transformer层的注意力矩阵）评估生成伪标签的质量，并基于强化学习进行域适应优化。实验结果表明，SI-SDA在自动语音识别（ASR）、口语问答（SQA）、语音到文本翻译（S2TT）等多个任务的公开数据集上，均能显著提升模型性能（降低词错误率WER、提高BLEU分数），且具有较高的数据效率，仅需数小时无标注语音即可实现优化，为实际场景部署提供了潜力。

创新点

1. 无标注数据依赖：无需目标域的标注数据，仅通过模型自身生成的伪标签和内部解码信息实现自改进，解决了传统方法依赖标注数据的局限性。
2. 基于注意力矩阵的质量评估：提出利用Transformer层注意力矩阵的显著性分数（saliency score）量化生成序列的质量，通过分析“提示依赖度”（prompt reliance）区分高质量和低质量伪标签，无需外部真实标签。
3. 强化学习优化策略：将伪标签质量评估结果作为奖励信号，结合beam search生成的候选假设进行策略梯度优化，鼓励模型向更贴合声学输入的序列分配更高概率，提升目标域鲁棒性。
4. 跨任务通用性