7、应用情感计算中的多模态数据收集与处理

应用情感计算中的多模态数据收集与处理

情感计算旨在让计算机理解和处理人类情感，多模态数据的收集与处理是其中的关键环节。下面将详细介绍相关内容。

1. 情感测量方法

• 日内瓦情感轮 ：它在效价和控制/权力轴上展示了20种情绪。用户通过在轮中选择情绪，并勾选圆圈来报告情绪强度。
• 多项目测量 ：与单项目测量相比，多项目测量耗时更长，重复施测不太方便，但更可靠。例如，情绪状态剖面图和正负情感量表，后者包含20个项目，10个用于积极情感量表，10个用于消极情感量表，每个项目都配有从“非常轻微或根本没有”到“极其”的5点量表。
• 特定情绪的多项目测量 ：包括感知压力量表、状态 - 特质焦虑问卷、贝克抑郁量表、汉密尔顿抑郁评定量表、患者健康问卷9项和广泛性焦虑障碍7项评分等。
• 连续情感标注工具 ：除了传统问卷，还开发了一些工具来帮助连续标注情感。对于第三方提供的标注，通常会让多个标注者添加标签，并评估标注者之间的差异作为标注质量。在构建使用主观标签的情感识别机器学习模型时，也提出了各种方法来处理情感标注中的主观性、模糊性和不确定性。

2. 多模态数据

用于测量情感的多模态数据包括面部表情、语音、文本、生理信号和上下文信息。

2.1 面部表情

面部表情是情感计算中研究最多的模态之一。
- 人脸检测和特征提取 ：在计算面部特征之前，先进行人