行人属性“Actions and Attributes from Wholes and Parts”

使用部件进行行为和属性分类,首先使用深度版poselet部件检测器,检测人体part。在行为和属性识别任务重,训练了包含part的全局cnn,提升性能。作者通过实验研究了加入part进行属性预测是否确实有必要。

论文提出方法的结构如下图所示,计算行人整体及各部件的cnn特征用于分类:
这里写图片描述

通过实验发现,加入part会带来性能提升,但随着网络加深,性能提升不大。

相关工作
低层特征:DPMs用于目标检测和属性分类。poselet用于部件检测,行为和属性分类。
cnn特征:R-CNN检测器。
混合特征:HOG-poselet激活
part检测器:Zhang R-CNN鸟类部件检测

深度part检测器
1. 流程:多尺度的fcn,第一步将图像高斯金字塔与5层的CNN卷积获得特征,第二步将特征金字塔与pat模型卷积得到part金字塔得分。,part检测和得分计算整个框架如下图所示:
这里写图片描述
系统可以认为是fcn模型,可以进行端到端的训练
2. part模型:part模型应具有的特点,类似姿态或视角强激活,涵盖所有样本,分辨性强。
人体分为三个部分:头,躯干,腿。每部分有一些关键点,如K_H = {Eyes, Nose, Shoulders}, K_T = {Shoulders, Hips}, K_L = {Hips, Knees, Ankles}。对每个部分,使用归一化的关键点分布进行聚类,聚类的示意如下图所示:
这里写图片描述
3. 学习part模型
对每个part,每个part模型定义为权值向量,与特征金字塔卷积。使用线性SVM训练part模型,得到模型权值wt,jR8×8×256。图3为part检测的一些结果。
4. part映射到实例
对图像I中的候选框,对每个part,选择最高得分的part??这一段看不懂。。

part分类
行为识别,跑,阅读等,属性识别(性别,戴帽子等),下午显示了测试时的流程,part激活映射到到实例,前向传播实例的box和对应的part到cnn,输出fc7层特征,串联特征并使用线性svm进行分类。流程如下图所示:
这里写图片描述

实验结果
行为识别的结果
这里写图片描述
Berkeley行人属性数据集
这里写图片描述

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值