论文介绍了STEP：一种用于步态情绪感知的时空图卷积网络。针对步态情绪识别中缺乏大量标记数据的问题，论文提出了结合分类器和生成器的网络结构。其中，STEP网络利用深度学习与情感特征提取混合特征，CVAE生成更多标记步态数据以防止过拟合，提高预测准确性。此外，构建了新的E-Gait数据集。网络结构包括ST-GCN进行时空特征提取，并采用CVAE生成不同情绪的步态样本。实验结果表明该方法在步态情绪识别上的有效性。
论文
1 Introduction
· STEP：Spatial Temporal Graph Convolutional Networks for Emotion Perception from Gaits（基于步态的情感感知的时空图卷积网络）
· 步态被认为是包含了情绪信息的一种非语言线索，步态被定义为人体关节的失序运动（主要是平移与旋转）。
· 步态情绪识别面临的限制：大量标记数据集的缺失
网络结构组成：分类器（情绪分类） + 生成器（生成标记的情绪数据集）
① 一个端到端的STEP网络用于提取步态情绪特征，其将深度学习特征与情感特征结合形成混合特征
② 通过引入CVAE来生成更多标记的步态数据集，从而训练网络防止过拟合，提高预测精度
③ 造了个新的数据集E-Gait
2 Related Work
· 主流的情绪识别方式有基于人脸表情的情绪识别与基于语音的情绪识别，延伸方法有基于深度学习方法以及交叉模式等。
· PCA、SVM等方法也被用于进行步态情绪识别。
· 在步态生成的方法中，常见的方法有GAN与VAE。在本文中，我们将步态建模为骨骼图，并在VAE中使用时空图卷积生成合成步态
3 BackGround
此处对文章涉及的技术背景进行简单论述，不细展开。
3.1 GNN（图神经网络）
原理：GNN是一种基于图的特征网络，通过聚合各结点之间的信息（每个结点与其他相邻结点的信息传播，通过迭代更新达到一个稳定状态）达到提取特征的目的 ，从而进行分类、回归等任务。
首先，多层感知机隐藏层的计算形式为：H = σ(XW)，X为特征矩阵，X为参数矩阵；而在GNN中，隐藏层的计算形式为：H = σ（AXW），其中A是邻接矩阵。
小细节：A矩阵应该是邻接矩阵加上单位矩阵E，否则在聚合过程中会丢失本结点的特征，
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
