cv_family_z的博客

ICCV 2015 本文主要是用CNN网络进行人体部件检测，再用CNN进行人的属性及动作分类。 人的部件检测如下图所示：输入多尺度图像，提取第五卷积层特征，再用部件模型对特征层进行卷积，得到多尺度部件概率图。 对于人的属性及动作分类，首先将部件及整个人的图像输入CNN网络，然后提取CNN第七层特征，然后使用线性SVM分类器进行分类。 结果： 属性识别结果 动作识别结果：

静态图像的行人行为识别，论文挖掘行为行为的上下文信息构建识别系统。 源代码： https://github.com/gkioxari/RstarCNN在静态图像的行为识别中，人体的姿态，行人周围的物体，行人与物体的交互方式和场景都是重要的线索。论文使用RCNN，提取不止一个区域进行预测，即R*CNN。R*CNN有一个包含人体的首要区域，还有一个次要区域包含上下文线索。如何选择次要区域呢，由多实例学

多任务深度学习网络，一般是先设计网络有一些共享层，然后有多个分支学习不同的任务。论文从一个较瘦的网络开始，逐渐加粗。任务间进行选择性共享，挖掘那些任务之间更相关。thin网络使用SOMP初始化。task-specific子网络或分支：浅层特征共享，深层特征task-specific，类似属性结构。计算量大，且受设计者主观认识影响。相关研究 多任务学习：一些方法认识到哪些任务之间可以共享。Hyper

还是使用poselet检测到的part与行人整体结合，提取深度特征进行行人属性识别。此外，使用human-centric和scene-centric的上下文信息提升性能。human-centric上下文使用cnn特征最近邻计算其他行人part的相似度，捕获行人相互关系。场景上下文信息，使用全局场景分类得分对human-centric的预测结果进行重新打分。思路来源：如下图所示，由于遮挡和低图像质量等

使用部件进行行为和属性分类，首先使用深度版poselet部件检测器，检测人体part。在行为和属性识别任务重，训练了包含part的全局cnn，提升性能。作者通过实验研究了加入part进行属性预测是否确实有必要。论文提出方法的结构如下图所示，计算行人整体及各部件的cnn特征用于分类： 通过实验发现，加入part会带来性能提升，但随着网络加深，性能提升不大。相关工作 低层特征：DPMs用于目标检测和

论文使用语义分割的结果提升人脸属性预测的性能，主要思路来自许多人脸属性描述的是局部特性。通过语义分割挖掘局部线索，指导属性预测时关注该属性来自的区域。使用bbox描述不同区域的边界是常用的方法，但人脸的不同bbox无法准确描述，因此论文使用像素级的语义分割结果。属性预测一般方法，图像输入到cnn，得到特征图，聚合输入到分类器。但全局池化与空间无关，通过语义分割将图像分割为不同的区域，论文学习哪部分区

不同于多标签学习，这篇论文建立了一个弱监督属性定位框架。基于GoogleNet，设计新的检测层提取mid-level属性特征。不需要bbox属性标记，使用基于最大池化的弱监督目标检测技术训练mid-level层。然后，回归这些检测响应梯度，预测属性标签。最后，对检测层的融合激活图聚类，得到属性的位置和形状。融合的权值由属性及其对应的mid-level特征相关程度估计。在PETA和RAP数据集上实验。

行人属性预测中被多篇论文引用的论文。内容相对简单，两个网络结构，DeepSAR对每个属性独立预测，DeepMAR多属性联合预测。目前属性预测关注的两个场景：自然场景和监控场景。自然场景图像质量一般比较高，而监控场景图像一般比较模糊、分辨率低、光线变化比较大。属性间一般是相互关联的，如头发的长度可以帮助性别的识别。网络结构： 属性通常不具有同一分布，为解决样本不均问题，提出改进的损失函

应该是比较新的属性学习文章了，ICCV2017。在监控场景中进行行人属性的识别，主要遇到的挑战是图像质量差，外形变化及属性可能在不同的空间位置，标记的训练样本少。论文提出JRL模型挖掘属性上下文信息及属性间相互关系提升识别准确率。JRL在一张行人图像内学习属性相关性，具体的说是属性预测顺序的相互关联性。解决属性预测遇到挑战的方法，一是使用属性的相关性：如“女性”和“裙子”在一张行人图像中出现的可能性

来自SenseTime的论文，提出了一个基于注意力机制的深度网络HydraPlus-Net，将多层注意力机制图多向映射到不同的特征层。由HP-Net得到的注意力深度特征具有几个优点：（1）模型能够从浅层到语义层捕获注意力；（2）挖掘多尺度的注意力特征，充实最终的行人特征表示。代码： https://github.com/xh-liu/HydraPlus-Net行人重认证，行人属性分析，重点关注能够补

不考虑人体姿态，part及上下文信息，仅使用图像作为输入，训练CNN进行所有属性的预测。另外，提出了N/A标记，即对目标的属性不确定。如下图的人向左走，就无法确定其右手是否带包。 人体属性一般是二值的语义，如（ is male? wears a tshirt? carries a bag in the left hand?），或者多项输出（orientation - left, right, f

ICCV 2015 code available http://www.robots.ox.ac.uk/~vgg/software/cnn_heatmap/本文主要用CNN网络来进行人体姿态估计，加入了temporal 信息以提高精度。 网络框架如下： 本文对于关节位置的估计提出了一个 heatmap概念，而不是一个坐标的回归。这样做可以提高关节定位的鲁棒性。Spatial fusion

相关工作 1.属性模型： 人脸：性别，发型，是否戴眼镜 Poselet：检测身体parts Panda: HOG based Poselet 检测parts，CNN分类。重在数据和微调。本文重在建模和表示。2.Part定位模型： pictorial structural model,geometry based tree model,DPM,POselet,CNN。3.Grammar模型：

ICCV 2015 Matlab code available http://www.di.ens.fr/willow/research/headdetection/本文使用 CNN 进行 人头检测，包含三个子模型，结构示意图如下： Global model： 主要是给出一个多尺度热量图，越热的地方含有人头的概率越大。使用整幅图像的信息来定位物体，使用 CNN模型 Local model

本文主要说的是多个人姿态估计问题先看看下面的结果图： 是怎么做到这个结果了？ 首先使用 CNN提出人体部件的候选区域，每个候选区域作为一个节点，所有的节点组成一个图，节点之间的关联性作为图节点之间的权重，将其作为一个优化问题，将属于同一个人的部件（节点）归为一类，每个人作为一个单独类。本文的思路具有以下几个优势： 1）可以解决未知个数人的图像，通过归类得到有多少个人 2）通过图论节点的聚

对于监控场景下的行人，图片一般不清晰或被其他行人物体遮挡，可以进行图像清晰化、去遮挡操作，提升属性识别准确率。相关工作 整个人体进行属性的识别：ACN，DeepMAR；part-based models，R*CNN；MLCNN。方法描述 1. 几种方法对比 baseline方法：基于ResNet的行人属性分类。 两个生成对抗模型：重建被遮挡的人体部位，提高图像分辨率。 2. 网络描述 属