30、基于连续动作视频的深度学习情感识别模型

基于连续动作视频的深度学习情感识别模型

1. 引言

理解人类情感是一个关键的研究领域，因为识别情感可以带来大量的机会和应用。例如，通过提升情商，实现更友好的人机交互以及增强人类之间的交流。实验心理学的研究表明，情感在决策和理性思考中起着重要作用。

在日常交流中，人类通过言语和非言语两种方式进行沟通。非言语交流包括视觉线索，如肢体语言和外貌。人类的情感可以通过肢体语言和姿势来识别，姿势能提供言语和面部表情中所没有的信息。例如，从远处就可以通过人的姿势来判断其情绪状态。因此，通过捕捉身体动作可以实现基于非言语交流的人类情感识别（HER）。

新兴研究表明，人们可以准确地从非言语交流中解读情感线索，并推断他人的情绪状态。特定的一组身体动作被称为手势，主要由头部、手部和手臂完成，这些线索共同传达了情感状态和交互内容。基于心理学研究，从人类身体动作中识别情感有许多应用，如可疑行为识别、人机交互、医疗保健以及帮助自闭症患者等。然而，在监控环境中，当相机离人太远时，面部视图不清晰，这时可以通过捕捉身体动作（头部、手部、腿部、身体中心）来识别情感。但从复杂的身体运动模式中识别情感是具有挑战性的，因为不同文化习惯下，人们对同一种情感可能有不同的表达方式。借助深度特征，使用前馈深度卷积神经网络（FDCNN）可以轻松预测人类情感。

2. 相关工作

• 自动情感识别系统 ：利用监控视频中的手势动态特征开发自动情感识别系统，并使用监督分类器（动态时间规整、支持向量机（SVM）和朴素贝叶斯）进行评估。
• 身体动作合成框架 ：提出基于高级参数合成身体动作的框架，