Why We Feel: Breaking Boundaries in Emotional Reasoning with Multimodal Large Language Models

主要内容

1. 问题提出：现有情感分析多关注识别情感类别，忽视情感产生的原因。本文提出情感解释（EI）任务，旨在揭示引发情感反应的因果因素，包括显性和隐性因素。
2. 相关工作：回顾了上下文感知情感识别、基于大语言模型的情感识别、幽默研究、情感原因提取和思维链提示等相关研究，对比了这些工作与EI的差异。
3. 问题定义：明确定义EI任务，给定图像和情感，生成一组情感触发因素，这些触发因素可以是自由文本解释或简洁标签，涵盖多种类型，EI与现有情感相关任务侧重点不同。
4. 情感解释基准：介绍了EIBench数据集，包含1615个基本样本和50个复杂样本，基于CAER-S和EmoSet构建，通过粗到细自我询问（CFSA）管道辅助标注，并经人工优化，使用情感触发召回率和长期连贯性评估模型性能。
5. 实验：在四种评估模式下对开源和专有模型进行实验，分析模型在基本和复杂EI任务中的表现、不同模式的影响、角色提示的作用，指出模型存在的差距和问题。
6. 结论：EI为情感分析提供新视角，但模型在处理重叠情感和微妙线索方面存在不足，未来应探索与音频和文本对话的深度融合、扩展因果建模和改进评估协议。