学习总结与感悟

“ 基于卷积神经网络的微表情识别”总结

一、概述

人类表达情感的方式多种多样，包括表情、语言、声音等，而信息的主要来源是面部表情，人们可以通过表情来判断对方此刻的情绪。表情作为一种非语言的行为，反映着人们的内心活动，传达着特别的信息。微表情是一种瞬时变化的面部表情，具有不受主观抑制、能够表达人类试图压抑的情感特点，使得微表情识别研究具有重大的应用价值，例如在临床医学、刑侦工作、公共安全、司法领域具有很高的应用价值。

二、学习内容

基于2D-3D双流卷积神经网络的微表情识别
为了有效提取微表情的运动特征并降低无关信息的干扰，本文使用了一种基于2D-3D
双流卷积神经网络的微表情识别方法。针对三维卷积不能对时间信息、空间信息分开优
化以及提取时间信息尺度单一化的问题，给出了一种双时间尺度三维卷积神经网络。通
过去除空间池化层和调整空间步长来提高对静态特征的提取能力，时间卷积与空间卷积
并行连接使两者的参数优化过程分开进行，增加不同维度的时间卷积以增加时间信息的
多样性，从而获得微表情的短时特征。为了获取微表情视频中的运动信息，利用差分方
法获取差分信息图，将视频中的运动信息集中于一张图像，并利用二维残差网络对差分
信息图进行特征提取获得长时特征。最后，将双时间尺度三维卷积神经网络提取的短时
特征与基于差分信息图的二维残差网络提取的长时特征进行相加融合，得到2D-3D双流
卷积神经网络并进行微表情识别。
微表情识别流程：

算法流程图：

三、个人感悟

随着科技的发展，深度学习的应用已经可以识别微表情这种很细节的的物体了，在本文中提到了一种注意力机制，将空间注意力模块与通道注意力模块与基于峰值帧与运动区域的卷积神经网络进行结合，得到基于注意力机制的卷积神经网。我觉得可以将这种技术应用到人工智能辅助驾驶技术中，检测驾驶人驾驶状态，当驾驶人出现不规范驾驶行为（打瞌睡、注意力转移）时，发出警报。