RMPE：Regional Multi-Person Pose Estimation

摘要

多人姿态估计

现存方法效果不错，但定位和识别上的小错误是不可避免的，这些错误会导致单人姿态估计的失败。

文章提出一种新颖的框架——RMPE：Regional Multi-Person Pose Estimation 

这框架包含了三个部分关键点：

• Symmetric Spatial Transformer Network (SSTN)，从不准确的包围框中提取高质量的单人区域。
• Parametric Pose Non-Maximum-Suppression (NMS) ，解决冗余问题，利用姿态相似代替IOU
• Pose-Guided Proposals Generator (PGPG)，增加训练样本，提高泛化

我们的方法能够处理不准确的box和冗余检测结果

在MPII multiperson 数据集上mAP 76.7

介绍

在实践中，识别多人在野外的姿势比识别图像中一个人的姿势更具挑战性

两步框架首先检测人体包围框，然后独立估计每个框中的姿态。（如本文）

基于部件的框架首先独立检测人体部件，然后将检测到的人体部件组装成多个人体姿态。（PAF)

文章沿用两步的框架，现有的方法有两个问题：

上图中红色的GT和黄色的检测结果，都送给SPPE的Hourglass方法检测关节点的heatmap，从heatmap的结果来看，虽然检测框结果和GT已经很接近(iou>0.5)，然而从heatmap来看，输出的相应却相差甚远，即person检测box的精度会严重影响pose的估计

另外一个就是如上图所示的person 检测框冗余问题，NMS只是一种带强烈先验（如果重合度太高的结果，一般是同一个目标）的tradeoff，如果NMS效果太强，recall就会迅速降低

这两个问题暴露了，SPPE受到box质量影响很大，文章剑指这个问题