Heatmap关键点检测算法

最新推荐文章于 2025-11-06 00:14:17 发布

原创

最新推荐文章于 2025-11-06 00:14:17 发布 · 9.6k 阅读

71 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #人工智能

文章对比了基于Heatmap和Regression的方法在姿态估计任务中的优劣。Heatmap-based方法利用高斯热图进行监督学习，适合卷积网络但计算量大；Regression-based方法直接预测坐标，计算效率高但可能丢失空间泛化能力。Regression的新方法如ResidualLog-likelihoodEstimation和DSNT试图结合两者优点，提高精度和效率。

Heatmap 方法汇总

高斯热图与坐标回归方法探讨
 L1与 L2 Loss的对比分析
 关键点之热力图Heatmap与坐标FC回归

Heatmap-based和Regression-based

一般来说，我们可以把姿态估计任务分成两个流派：Heatmap-based和Regression-based。

其主要区别在于监督信息的不同，Heatmap-based方法监督模型学习的是高斯概率分布图，即把GroundTruth中每个点渲染成一张高斯热图，最后网络输出为K张特征图对应K个关键点，然后通过argmax或soft-argmax来获取最大值点作为估计结果。这种方法由于需要渲染高斯热图，且由于热图中的最值点直接对应了结果，不可避免地需要维持一个相对高分辨率的热图（常见的是64x64，再小的话误差下界过大会造成严重的精度损失），因此也就自然而然导致了很大的计算量和内存开销。

Regression-based方法则非常简单粗暴，直接监督模型学习坐标值，计算坐标值的L1或L2 loss。由于不需要渲染高斯热图，也不需要维持高分辨率，网络输出的特征图可以很小（比如14x14甚至7x7），拿Resnet-50来举例的话，FLOPs是Heatmap-based方法的两万分之一，这对于计算力较弱的设备（比如手机）是相当友好的，在实际的项目中，也更多地是采用这种方法。

说到Regression-based方法的优点，那是就是好呀就是好，可以简单总结为以下三点：

1、