姿态估计——HigherHRNet：Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation

最新推荐文章于 2025-02-23 13:11:31 发布

原创

最新推荐文章于 2025-02-23 13:11:31 发布 · 1.7k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉

论文原文：https://arxiv.org/pdf/1908.10357.pdf

github：https://github.com/HRNet/HigherHRNet-Human-Pose-Estimation

Abstract

自底向上的人体姿态估计方法由于尺度变化的挑战，在预测小个体的正确姿态方面存在困难。在这篇论文中，我们提出了HigherHRNet。一个新的自下而上的方法，使用高分辨率的特征金字塔学习scale-aware表达。多分辨率监督用于训练和多分辨率聚合用于推理，该方法能够解决自下而上多人姿态估计中的尺度变化挑战，并更精确地定位关键点，尤其是small persons。 HigherHRNet中的特征金字塔由来自HRNet的特征图输出和通过转置卷积的上采样高分辨率输出组成。 HigherHRNet对于medium person 在COCO测试上的性能优于以前最好的自下而上方法，表明了其处理规模变化的有效性。此外，在不使用改进或其他后处理技术的情况下，HigherHRNet在COCO的test-dev (70.5%AP)上获得了新的最先进的结果，超越所有现有的自下而上的方法。在CrowdPose test（67.6% AP）中 HigherHRNet甚至超过了所有自上而下的方法。表明它在拥挤场景中的鲁棒性。代码：https://github.com/HRNet/ Higher-HRNet-Human-Pose-Estimation

1.Introduction

2D人体姿态估计旨在定位人体解剖关键点（例如肘部、手腕等。）。作为人类行为理解的基本技术，近年来受到越来越多的关注。目前的人体姿态估计方法可分为自顶向下和自下而上的方法。自顶向下的方法依赖人体检测和单人姿态估计。由于自顶向下的方法可以通过裁剪和调整检测到的人员包围框的大小，将所有人员标准化到大致相同的规模，它们通常对人的尺度差异不太敏感。因此，在各种多人人体姿态估计基准上的最先进性能大多是通过自顶向下的方法来实现的。然而，由于这种方法依赖于一个单独的人检测器，需要单独估计每个人的姿态，它们通常是计算密集型的，而不是真正的端到端系统。相反，自下而上的方法首先通过预测不同解剖关键点的热图来定位输入图像中所有人的关键点，然后对关键点进行分组连接。这种策略有效地使自下而上的方法更快，更能够实现实时姿态估计。然而，由于自下而上的方法需要处理尺度变化，自下而上和自上而下两种方法的性能之间仍然存在很大的差距，特别是对于small scale的人来说。

在预测small persons的关键点方面两个挑战：