极简笔记 Cascaded Pyramid Network for Multi-Person Pose Estimation

最新推荐文章于 2024-09-15 21:07:25 发布

Hibercraft

最新推荐文章于 2024-09-15 21:07:25 发布

阅读量3.1k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：极简笔记

本文链接：https://blog.youkuaiyun.com/Hibercraft/article/details/79776024

极简笔记专栏收录该内容

37 篇文章

订阅专栏

本文介绍Cascaded Pyramid Network，这是一种用于多人关键点估计的方法，结合了自上而下的策略，首先通过mask-rcnn进行人体检测，然后通过GlobalNet和RefineNet进行关键点定位。GlobalNet采用类似FPN的结构，RefineNet则利用全局信息进一步细化关键点预测。该网络在COCO Challenge 2017中赢得人体姿态估计冠军，并在ResNet-Inception骨架网络下取得优秀效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Cascaded Pyramid Network for Multi-Person Pose Estimation

论文地址：https://arxiv.org/abs/1711.07319
旷视COCO Challenge 2017人体姿态估计冠军论文

文章核心提出一种使用自上而下的多人关键点估计方法。先利用mask-rcnn的detection结构检测人体（FPN+ROIAlign），之后利用GlobalNet+RefineNet结构对单人目标回归人体关键点。
这里写图片描述

上图为网络架构，GlobalNet本质是一个类似FPN的架构，但是在上采样部分中，每个element-wise add之前作者多加了一个1x1卷积。之后算不同尺度feature map和关键点响应图的L2 loss(和FPN一样，算P2-P5层的loss)

接下来是RefineNet，把前面GlobalNet骨架网络的P2-P5层拿出来（论文这部分写的有歧义，说是C2-C5，但是看了源码后发现是类似FPN的P2-P5），经过不同次数的bottleneck之后concatenate。前面concatenate之后再经过一个bottleneck回归到关键点响应图。但是与前面的L2 loss不同，这里计算loss使用online hard mining方法，训练时只动态回传loss较大的几个channel。可以理解成前面的loss算真实可见的关键点响应，后面的loss利用全局信息回归遮挡的关键点响应。

该网络以ResNet50作为骨架网络在8卡Titan上要训练1.5天。利用ResNet-Inception作为骨架网络，在COCO test-dev数据集上取得了极好的效果，远超CMU-Pose（也就是OpenPose）和Mask-RCNN。也在COCO Challenge 2017人体姿态估计项目上获得冠军。
COCO Challenge2017

论文源码：https://github.com/chenyilun95/tf-cpn