5、应用情感计算中的机器学习方法：单模态与多模态特征解析

应用情感计算中的机器学习方法：单模态与多模态特征解析

在情感计算领域，利用机器学习方法识别情感状态是一个热门研究方向。情感识别可以通过多种单模态特征，如视觉、音频、生理和语言特征等，也可以采用多模态融合的方式来提高识别性能。下面我们将详细介绍这些特征及相关的处理方法。

1. 视觉特征提取

1.1 手工特征

研究人员提出了一系列 3D 身体姿态特征，如动能、收缩指数和密度、平滑度、流畅性、对称性、上半身前后倾斜和相对位置、直接性、周期性和冲动性等，用于识别自闭症儿童的情绪。此外，还提出了一组姿势、运动学和几何描述符，并结合多类支持向量机，从 3D 骨骼运动中识别情绪。

1.2 基于深度学习的视觉特征提取

• 预训练卷积神经网络（CNNs） ：使用如 AlexNet 和 Oxford VGGNet 等预训练的 CNN 进行特征学习是一个突破。这种方法基于领域迁移学习，将在大型计算机视觉数据集上预训练的 CNN 应用于情感计算任务的视觉特征提取。
• 深度 3D 卷积神经网络（3D - CNNs） ：为了学习时空特征，提出了 3D - CNNs。其架构由八个卷积层、五个池化层、两个全连接层和一个 softmax 输出层组成。与传统的 2D - CNNs 特征相比，3D - CNNs 特征在分类任务中更具判别性。
• 卷积循环神经网络（CRNNs） ：将 CNNs 和循环神经网络（RNN）堆叠并一起训练，构建 CRNNs 用于从视觉模态中识别情绪。

下面是不同视