Emotion Omni: Enabling Empathetic Speech Response Generation through Large Language Models

Emotion Omni相关总结与翻译

一、文章主要内容

本文聚焦于语音大语言模型（speech LLMs）在共情交互方面的不足，提出了名为Emotion Omni的新型模型架构与配套的数据生成方案，旨在以有限数据和较低计算资源实现具有共情能力的语音响应生成，具体内容如下：

1. 研究背景与问题：当前语音大语言模型虽能实现语音交互，但大多仅将响应内容转化为语音，未充分理解用户语音中的情感和副语言线索，且具备共情能力的模型多依赖海量数据集和大量计算资源，开发成本高。
2. 模型架构设计：
   • 双编码器提取特征：采用Whisper-large-v3作为语音语义编码器提取语言内容，Emotion2Vec作为情感特征编码器捕捉副语言情感信息，两者提取的特征经下采样后拼接，再通过线性变换匹配LLM隐藏层尺寸，输入大语言模型。
   • 大语言模型（LLM）核心作用：选用Qwen2.5-7B-Instruct作为LLM骨干，以自回归方式生成文本响应；设计情感预测头，利用LLM隐藏状态预测响应语音的情感特征，通过联合训练（文本生成损失+情感预测损失）确保生成内容语义连贯且情感一致。
   • 语音解码器生成语音：参考CosyVoice2的语音分词器将连续语音信号离散化为语音单元；分两阶段训练语音解码器，先以LLM输出文本的嵌入向量训练基础语音生成能力，再通过门控融合模块融合文本嵌入与LLM隐藏状态，并结