【论文阅读】Set Residual Network for Silhouette-Based Gait Recognition

原创

已于 2022-05-02 23:43:46 修改 · 4.1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #人工智能

于 2022-03-26 22:29:33 首次发布

提出一种基于轮廓的步态识别方法——集合残差网络（SRN），该方法通过SRBlock协调轮廓与集合特征，引入双特征金字塔增强局部表征，实验证明其有效性和高效性。

Set Residual Network for Silhouette-Based Gait Recognition

论文信息：
作者：Saihui Hou, Xu Liu, Chunshui Cao, and Yongzhen Huang
中国科学院自动化研究所，银河水滴，北京师范大学
TBIOM 2021

Intro

对于步态识别来说，会受到相机视角、服装等的影响，因此对于步态识别来说关键的挑战是学习与上述因素无关的步态特征。

现有的步态识别方法主要以步态序列的轮廓作为输入，通常可以被分为三类：
①将步态序列的轮廓聚合成步态能量图像（简单但忽略了时序信息）；
②将步态信息当做视频，就可以同时提取时间和空间信息（模型难训练）；
③把步态序列的轮廓视为集合。第三种方式能够将步态序列的轮廓打乱重排，这样也能够拥有时序信息。

本文也是一种基于集合的步态序列轮廓方法，不同的是，这是一个集合残差网络（SRN），能够有效地协调轮廓和集合信息，以从中提取到更有区分度的特征。网络引入了SRBlock，使得轮廓特征和集合特征以两个并行的分支进行提取，然后在每个块内进行连接。轮廓分支只学习轮廓特征，而集合分支将所有的轮廓作为一个整体学习。
轮廓分支在最后一层ReLU之前与集合分支相加。SRBlock的结构类似于常规的残差块，能够使用残差连接来解决梯度消失或爆炸，在SRN中，SRBlock被视为构建基于集合的步态识别架构的基本块。

另外，不同人物的轮廓特征在很多情况下只有微小的差别，通常编码在较浅的卷积层中，但浅层的特征如今还不能在步态识别领域被充分利用。而水平切割以学习局部表征的方式已经被证明对于人物识别有显著的作用，由此提出了一个新的技术：Dual Feature Pyramid。它能够利用浅层的轮廓和集合级别的特征学习到更好的局部表征，这样就不需要上采样和横向连接，只需要一些额外的存储成本。

Related Work

步态识别部分和intro中内容大致相同。

残差学习

残差学习通常被用于构建深度网络的视觉任务。但步态识别的网络相对较浅，通常不涉及到普通的残差块。本文中的SRBlock与残差块的不同如下：①使用残差连接不是为了解决梯度消失或梯度爆炸的问题，而是为了协调轮廓和集合的特征信息；②普通残差连接可选，但本文中的两个分支都是必要的；③在最后使用LeakyReLU取代普通的ReLU。