本文是LLM系列文章,针对《WavLLM: Towards Robust and Adaptive Speech Large Language Model》的翻译。
摘要
大型语言模型(LLM)的最新进展彻底改变了自然语言处理(NLP)领域,逐渐将其范围扩大到多模态感知和生成。然而,将听力能力有效地整合到LLM中带来了重大挑战,特别是在跨不同背景进行概括和执行复杂的听觉任务方面。在这项工作中,我们介绍了WavLLM,这是一种具有双编码器的鲁棒自适应语音大语言模型,以及一个提示感知的LoRA权重适配器,通过两阶段课程学习方法进行了优化。利用双编码器,我们解耦了不同类型的语音信息,利用Whisper编码器处理语音的语义内容,并利用WavLM编码器捕获说话者身份的独特特征。在课程学习框架内,WavLLM首先通过优化混合的基本单任务来构建其基础能力,包括自动语音识别(ASR)、语音翻译(ST)、说话者验证(SV)、情感识别(ER)、指令调整(IT)和语音问答(SQA),然后对更复杂的任务(如基本任务的组合)进行高级多任务训练。为了提高灵活性和对不同任务和指令的遵守,在第二个高级多任务训练阶段引入了具有提示意识的LoRA体重适配