9、野外情感识别与强化学习：技术、挑战与应用

野外情感识别与强化学习：技术、挑战与应用

1. 野外情感识别技术概述

1.1 多模态多任务深度学习模型

多模态多任务深度学习模型在野外情感识别中发挥着重要作用。该模型的损失函数是各个任务损失的总和，旨在综合学习多种情感相关信息。为了从视频和音频两种模态中学习，模型在特征层面进行融合。具体来说，音频和视频特征先进行拼接，然后通过一个两层的门控循环单元（GRU）层。GRU 层能够学习音频和视觉特征、情感分数和类别之间的时间依赖关系。输出层分别由用于分类任务的 softmax 函数和用于回归任务的 sigmoid 函数组成。

1.2 情感表示方法

情感表示一直是情感计算、神经科学和心理学领域的研究主题。常见的情感表示方法有两种：
- 分类表示 ：由七种基本情感类别组成，如愤怒、轻蔑、恐惧、厌恶、快乐、悲伤和惊讶。
- 维度表示 ：在野外情感识别中更为常用，因为它更适合表示现实生活中同时出现的多种情感。最常见的维度表示是情感轮上的唤醒度和效价空间。此外，在语音或语言的情感识别研究中，还常加入第三个维度——力量，以更好地适应复杂的交互场景。

1.3 野外情感识别的评估

评估野外情感识别对于构建能够适应不断变化的环境和条件的情感感知系统至关重要。在不受控制的环境中，应将各种情感反应视为正确的。例如，当出现人脸遮挡和语音干扰时，情感感知系统应能够根据给定的上下文和环境估计最可能的面部表情和情感语音包络。为了提高估计的准确性，可以提取音频和视频模态的互补信息。

然而，野外情感识别存在类别不平衡的问题，即某些情感