30、基于连续动作视频的深度学习情感识别模型

基于连续动作视频的深度学习情感识别模型

1. 引言

理解人类情感是一个关键的研究领域，因为识别情感可以带来大量的机会和应用。例如，通过提升情商，实现更友好的人机交互以及增强人类之间的交流。实验心理学的研究表明，情感在决策和理性思考中起着重要作用。

在日常交流中，人类通过言语和非言语两种方式表达情感。非言语交流是指分享无声的线索或信息，包括身体语言和外貌等视觉线索。人类的情感可以通过身体语言和姿势来识别，姿势能提供言语和面部表情中所没有的信息。例如，从远处就可以通过人的姿势识别其情绪状态。因此，通过捕捉身体动作可以实现基于非言语交流的人类情感识别（HER）。

新兴研究表明，人们可以准确地解读非言语交流中的情感和线索，并推断他人的情绪状态。一组特定的身体动作被称为手势，主要由头部、手部和手臂完成。这些线索共同传达了情感状态和互动内容。基于身体动作识别情感有很多应用，如识别可疑行为以提醒安保人员、人机交互、医疗保健以及帮助自闭症患者等。然而，在监控环境中，当相机离人较远时，面部视图不清晰，这时可以通过捕捉身体动作（头部、手部、腿部、身体中心）来识别情感。但复杂的身体运动模式使得情感识别变得困难，而且不同文化习惯下，人们对同一种情感可能有不同的表达方式。借助深度特征，使用前馈深度卷积神经网络（FDCNN）可以轻松预测人类情感。

2. 相关工作

• 基于手势动态特征的自动情感识别系统 ：利用监控视频中的手势动态特征开发自动情感识别系统，并使用监督分类器（动态时间规整、支持向量机（SVM）和朴素贝叶斯）进行评估。
• 基于高级参数合成身体动作的框架