Attention-Based Pedestrian Attribute Analysis

动机：由于姿态变化较大，背景复杂且摄像机视角不同的行人图像带来的挑战。为了针对变化选择重要且有区别的区域或像素，通过从不同的角度考虑问题来获取有效信息。

贡献：
1.以一种多任务的方式同时学习不同的注意力机制，以探索相关的互补信息。
2.提出了三种用于行人属性分析的注意机制：解析注意，标签注意和空间注意。解析注意是在像素级位置提示的指导下制定的，而标签注意和空间注意旨在分别为每个属性和所有属性选择重要区域和区分区域。从不同角度考虑问题的三种注意力机制是相互关联和互补的。
3.对新的行人解析数据集进行了注释，该数据集在像素级别具有丰富的注释，以实现更好的解析性能。

框架：

该网络分为三个分支，由上至下由三种注意力机制组成，CNN模块fΘB由9个inception块[31]和9个SE块[24]组成，每个初始块后跟一个SE块。模块fΘL，fΘS，fΘP具有相同的结构，其中在每个模块中都包含一个inception块和一个SE块。最终，所有三个分支与每个分支同时被联合学习，随后是损失层。
具体来说，采用一个并行结构，其中三个分支中的每一个都与一个具体的关注机制结合在一起，从分析注意力、标记注意力和空间位置注意力。
联合学习的原则：
1.低级的特性为所有分支共享。从上图可以看出，三个分支在进行各自的cnn前都得到了共同的低层特征。这种多任务学习激发的共享学习，不仅有利于相互注意的共同学习，而且有利于不同注意之间的知识转移。而且，它也有助于减少参数的数量和过度拟合的风险。
2.在共享的标签监督下，所有分支同时独立学习。所有的分支都是分开学习的，这意味着在接受共享的标签监督后，三个分支的反向传播训练过程是并行的。这些独立的学习过程符合问题分析视角因关注机制的不同而不同的本质，有助于各个分支提取区分特征。另一方面，由于不同的分支共享共同的低级特征，实际上是协同相关的，因此并行学习有助于网络发现相关的互补特征。请注意，每个分支都被分配了一个单独的目标损失函数，但所有分支都同时共享相同的标签监督。
解析注意力机制：
注意力解析机制的目的是学习行人解析网络生成的人体区域像素级监督下的识别特征。
该注意力机制是根据行人解析网络(PPN)进行修改得到的。
具体修改有两步，二次采样和跳跃链接
本文提出了两个解析注意力模块，一个在低层实现，另一个在高层实现。这两个解析注意模块都是通过分割和聚合的方式来捕获区分和注意特性的。具体来说，首先根据行人解析图对不同语义区域的特征进行分割，然后使用卷积运算对其进行聚合。通过这种方式，模块学习了在哪里注意和如何聚合不同区域的特征，为接下来的工作，特别是最终的属性分类提供了更具鉴别性和更倾向于解析注意的特征。所提出的解析注意模块如下图所示。在这两个模块中，在使用解析映射分割特征之前，我们对解析映射进行概率更新操作和复制操作。

(a)第一个解析注意模块(PA-I)和(b)第二个解析注意模块(PA-II)。GAP表示全局平均池，和
⊗代表元素乘法。
标签注意力机制：
CNN网络中一种常见的注意力策略是采用区域选择子网，该区域选择子网是通过生成关注掩码来执行特征重新校准而实现的。我们提出了一种新颖的标签注意力机制，旨在针对每种属性专门选择细粒度的区分像素和区域。 这可以通过合并子网为不同的属性生成不同的选择掩码来实现。

空间注意力机制:
采用了一个小的子网来生成注意掩码。 然而，事实是，仅在分类损失的监督下，注意力遮罩通常仅覆盖目标对象的较小且最具区分性的区域。 因此，采用多个子网来生成不同的注意掩码，从而使所选功能更加丰富和全面。

实验：
在PA-100k，RAP，PETA，Market-1501，Duke和一个新的数据集上进行实验。
对于新的数据集，提出了一种有效的交互式算法来实现准确地像素级标注。具体流程如下图:

第一步:边界标记。手工标记每个语义区域的边界，如毛发，脸和腿。这样可以精确地定位每一个部分。边界应关闭，这对于下一步寻找区域是必要的。
第二步:区域标记。根据边界找到封闭区域，然后用预定义的类别标注每个区域，如毛发，脸，腿。特别是区域标注可以降低像素级标注的复杂度，加快标注过程。
第三步:划分边界。分配每个边界像素。