Stacked Hourglass Networks for Human Pose Estimation

本文介绍了一种2016年的单人姿态估计方法,利用堆叠沙漏网络结构,通过重复的双向推理和中间监督,成功地在MPIIsingle和FLIC数据集上取得了优秀的PCKh指标。沙漏网络能捕获多尺度信息,堆叠方式使后续网络学习更复杂的特征。

介绍

这是一篇2016年做单人姿态估计的文章

实验用的是MPII sigle 和 FLIC ,指标PCKh

通过堆叠沙漏结构的网络进行人体姿态估计

沙漏结构指通过pooling得到低分辨率的特征,然后通过上采样得到高分辨率特征的网络结构

论文指出该网络可以捕获并控制图像所有尺度上的信息。

另一方面,沙漏网络区别于先前的设计,主要在其更对称的拓扑结构。

通过连续堆放这样的沙漏网络,可以实现重复的bottom-up,top-down的推理

论文所提结构成功的原因有两点:

  1. 上述的重复双向推理
  2. 训练过程中使用了中间监督

这个单沙漏网络的特点在于在推导heatmap时,既使用到高层的语义,也结合了底层的纹理信息,这样使得定位更加准确

然后通过多个沙漏网络堆叠方式,让后面的网络学习前面网络学习不到的东西,即更难的骨骼关键点检测,finetune再finetune,取得更好的结果下面左边的图展示了,第二层hourglass输出和最后一层(第八层)的结果对比,从例子看明显第八层的finetune后结果比第二层要好不少

上面右边的图是为了说明性能提升究竟是加深网络导致的,还是本文所提的堆叠多个finetune沙漏结构所取得的

中间的图是PCKh结果,上面的点是各网络各子沙漏的结果,同意网络,越往后的层效果越好,网络深度相同的情况下,分越多的子沙漏会比分的少网络,最终输出的结果会高那么一点点

感觉这里缺了一个单层的结果,即没有finetune时的效果,当然也可以把总网络的一半当作是单层效果,分别看分两层和4层的效果如何(0.846,0.865,0.871)

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值