E3RG: Building Explicit Emotion-driven Empathetic Response Generation System with Multimodal Larg...

E3RG论文核心内容总结与关键部分翻译

一、文章主要内容

本文聚焦多模态共情响应生成（MERG）这一构建高情商人机交互的关键任务，针对现有方法在处理多模态情感内容、维持身份一致性时依赖大量训练、泛化能力有限等问题，提出了基于多模态大语言模型（MLLMs）的E3RG系统（Explicit Emotion-driven Empathetic Response Generation System，显式情感驱动共情响应生成系统）。

1. 核心任务与挑战

• MERG任务目标：一是准确理解语言和非语言线索传递的情感，二是生成符合对话情感与语境动态的细腻、富表现力视频响应。
• 现有挑战：多数方法依赖大量后训练和精细微调，计算成本高且泛化受限；多模态视频语境融入后，难维持模态对齐与输出一致性；难以跨模态捕捉稳定情感动态，影响共情质量。

2. E3RG系统架构

系统将MERG任务拆解为三个子任务，以模块化设计实现灵活适配与训练无关部署：

• 多模态共情理解（MEU）：利用MLLM编码文本、音频、视觉多模态上下文，通过单轮问答任务预测用户情感，并生成纯文本共情响应，还可通过多LLM投票提升情感预测准确性与响应共情度。
• 共情记忆检索（EMR）：构建记忆库存储身份档案（年龄、性别、音色