论文笔记——HRNet

论文下载地址：https://arxiv.org/abs/1902.09212
官方源码地址：https://github.com/leoxiaobin/deep-high-resolution-net.pytorch
可以去看一下B站霹雳啪啦大神的讲解，部分内容也转载自霹导的博客太阳花的小绿豆
在bilibili上的视频讲解：https://www.bilibili.com/video/BV1bB4y1y7qP

摘要

这篇论文中主要研究人的姿态问题，着重于输出可靠的高分辨率表征。现有的大多数方法都是从高分辨率到低分辨率网络(high-to-low resolution network)产生的低分辨率表征中恢复高分辨率表征。相反，这篇文章提出的网络能在整个过程中都保持高分辨率的表征。

模型从高分辨率子网络(high-resolution subnetwork)作为第一阶段开始，逐步增加高分辨率到低分辨率的子网，形成更多的阶段，并将多分辨率子网并行连接。模型中进行了多次多尺度融合，使得每一个高分辨率到低分辨率的表征都从其他并行表示中反复接收信息，从而得到丰富的高分辨率表征。因此，预测的关键点热图可能更准确，在空间上也更精确。通过COCO keypoint detection 数据集和 MPII Human Pose数据集这两个基准数据集的实验结果，证明了网络的有效性。

一、前言

这篇文章是由中国科学技术大学和亚洲微软研究院在2019年共同发表的。这篇文章中的HRNet是针对2D人体姿态估计也就是关键点检测任务提出的，并且该网络主要是针对单一个体的姿态评估（即输入网络的图像中应该只有一个人体目标）。人体姿态估计在现今的应用场景也比较多，比如说人体行为动作识别，人机交互（比如人作出某种动作可以触发系统执行某些任务），动画制作（比如根据人体的关键点信息生成对应卡通人物的动作）等等。

对于Human Pose Estimation任务，现在基于深度学习的方法主要有两种：

• 基于Coordinate，regressing的方式，即直接预测每个关键点的位置坐标。
• 基于heatmap的方式，即针对每个关键点预测一张热力图（预测出现在每个位置上的分数）。

1）Coordinate

Coordinate即直接将关键点坐标作为最后网络需要回归的目标，这种情况下可以直接得到每个坐标点的直接位置信息。

2）Heatmap

Heatmap即将每一类坐标用一个概率图来表示，对图片中的每个像素位置都给一个概率，表示该点属于对应类别关键点的概率，比较自然的是，距离关键点位置越近的像素点的概率越接近1，距离关键点越远的像素点的概率越接近0，具体可以通过相应函数进行模拟，如二维Gaussian等，如果同一个像素位置距离不同关键点的距离大小不同，即相对于不同关键点该位置的概率不一样，这时可以取Max或Average。

对于两种Ground Truth的差别：

Coordinate网络在本质上来说，需要回归的是每个关键点的一个相对于图片的offset，而长距离offset在实际学习过程中是很难回归的，误差较大，同时在训练中的过程，提供的监督信息较少，整个网络的收敛速度较慢；
Heatmap网络直接回归出每一类关键点的概率，在一定程度上每一个点都提供了监督信息，网络能够较快的收敛，同时对每一个像素位置进行预测能够提高关键点的定位精度，在可视化方面，Heatmap也要优于Coordinate，除此之外，实践证明，Heatmap确实要远优于Coordinate，具体结构如下图所示。

当前检测效果最好的一些方法基本都是基于heatmap的，所以HRNet也是采用基于heatmap的方式。

最近的发展表明，深度卷积神经网络已经取得了最先进的性能。大多数现有的方法通过一个网络(通常由高分辨率到低分辨率的子网串联而成)传递输入，然后提高分辨率。例如，Hourglass通过对称的低到高分辨率(symmetric low-to-high process)过程恢复高分辨率。SimpleBaseline采用少量的转置卷积层来生成高分辨率的表示。此外，dilated convolutions还被用于放大高分辨率到低分辨率网络的后几层(如VGGNet或ResNet)。

本文提出了一种新的架构，即高分辨率网络(HRNet)，它能够在整个过程中维护高分辨率的表示。从高分辨率子网作为第一阶段始，逐步增加高分辨率到低分辨率的子网，形成更多的阶段，并将多分辨率子网并行连接。在整个过程中，通过在并行的多分辨率子网络上反复交换信息来进行多尺度的重复融合。通过网络输出的高分辨率表示来估计关键点。生成的网络如图所示。

与现有的广泛用于姿态估计的网络相比，HRNet有两个好处：

• (i)HRNet是并行连接高分辨率到低分辨率的子网，而不是像大多数现有解决方案那样串行连接。因此，HRNet能够保持高分辨率，而不是通过一个低到高的过程恢复分辨率，因此预测的热图可能在空间上更精确。
• (ii)大多数现有的融合方案都将低层和高层的表示集合起来。相反，HRNet使用重复的多尺度融合，利用相同深度和相似级别的低分辨率表示来提高高分辨率表示，反之亦然，从而使得高分辨率表示对于姿态的估计也很充分。因此，HRNet预测的热图可能更准确。

二、相关工作

大多数对关键点的热图估计的卷积神经网络由（1）stem茎子网络类似于分类网络，降低分辨率（2）一个输出与它的输入特征图相同分辨率特征图的主体结构，（3）以及一个回归器估计哪个位置的关键点被选择并转换为全分辨率的热图这三个结构组成。主体主要采用高到低、低到高的框架，可能增加多尺度融合和中间（深）监督。

2.1 High-to-low and low-to-high.

high-to-low process的目标是生成低分辨率和高分辨率层次的表征，low-to-high process的目标是生成高分辨率的表征。这两个过程可能会重复多次，以提高性能。

具有代表性的网络设计模式如下图：

2.2 多尺度融合

最直接的方法是将多分辨率图像分别送入多个网络，并聚合输出响应特征图。如上图，Hourglass及其扩展通过跳过连接，将high-to-low process中的低级别特征逐步组合为low-to-high process中的相同分辨率的高级别特性。在cascaded pyramid network中，globalnet将high-to-low process中的低到高级别特征逐步组合到low-to-high process中，refinenet将通过卷积处理的低到高特征进行组合。我们的方法重复多尺度融合，部分灵感来自深度融合及其扩展。

2.3 中间监督

图像分类早期开发的中间监督或深度监督，也用于帮助深度网络训练和提高热图估计质量。Hourglass和卷积人体姿态方法将中间热图作为剩余子网络的输入或输入的一部分进行处理。

2.4 本文方法

HRNet并行地连接高到低的子网。它保持了高分辨率的表示，通过整个过程的空间精确热图估计。它通过重复融合高到低子网产生的高分辨率表示来生成可靠的高分辨率表示。不同于大多数现有的工作，它们需要一个独立的从低到高的上采样过程，并聚合低级和高级表示。该方法在不使用中间热图监控的情况下，具有较好的关键点检测精度和计算复杂度及参数效率。

三、HRNet

下图是霹导根据阅读项目源码绘制的关于HRNet-W32的模型结构简图，在论文中除了提出HRNet-W32外还有一个HRNet-W48的版本，两者区别仅仅在每个模块所采用的通道个数不同，网络的整体结构都是一样的。而该论文的核心思想就是不断地去融合不同尺度上的信息，也就是论文中所说的Exchange Blocks。

通过上图可以看出，HRNet首先通过两个卷积核大小为3x3步距为2的卷积层（后面都跟有BN以及ReLU）共下采样了4倍。然后通过Layer1模块，这里的Layer1其实和之前讲的ResNet中的Layer1类似，就是重复堆叠Bottleneck，注意这里的Layer1只会调整通道个数，并不会改变特征层大小。下面是实现Layer1时所使用的代码。

# Stage1
downsample = nn.Sequential(
    nn.Conv2d(64, 256, kernel_size=1, stride=1, bias=False),
    nn.BatchNorm2d(256, momentum=BN_MOMENTUM)
)
self.layer1 = nn.Sequential(
    Bottleneck(64, 64, downsample=downsample),
    Bottleneck(256, 64),
    Bottleneck(256, 64),
    Bottleneck(256, 64)
)

接着通过一系列Transition结构以及Stage结构，每通过一个Transition结构都会新增一个尺度分支。比如说Transition1，它在layer1的输出基础上通过并行两个卷积核大小为3x3的卷积层得到两个不同的尺度分支，即下采样4倍的尺度以及下采样8倍的尺度。在Transition2中在原来的两个尺度分支基础上再新加一个下采样16倍的尺度，注意这里是直接在下采样8倍的尺度基础上通过一个卷积核大小为3x3步距为2的卷积层得到下采样16倍的尺度。如果有阅读过原论文的小伙伴肯定会有些疑惑，因为在论文的图1中，给出的Transition2应该是通过融合不同尺度的特征层得到的（下图用红色矩形框框出的部分）。但根据源码的实现过程确实就和我上面图中画的一样，就一个3x3的卷积层没做不同尺度的融合，包括我看其他代码仓库实现的HRNet都是如此。大家也可以自己看看源码对比一下。

简单介绍完Transition结构后，在来说说网络中最重要的Stage结构。为了方便大家理解，这里以Stage3为例，对于每个尺度分支，首先通过4个Basic Block，没错就是ResNet里的Basic Block，然后融合不同尺度上的信息。对于每个尺度分支上的输出都是由所有分支上的输出进行融合得到的。比如说对于下采样4倍分支的输出，它是分别将下采样4倍分支的输出（不做任何处理） 、 下采样8倍分支的输出通过Up x2上采样2倍 以及下采样16倍分支的输出通过Up x4上采样4倍进行相加最后通过ReLU得到下采样4倍分支的融合输出。其他分支也是类似的，下图画的已经非常清楚了。图中右上角的x4表示该模块（Basic Block和Exchange Block）要重复堆叠4次。

接着再来聊聊图中的Up和Down究竟是怎么实现的，对于所有的Up模块就是通过一个卷积核大小为1x1的卷积层然后BN层最后通过Upsample直接放大n倍得到上采样后的结果（这里的上采样默认采用的是nearest最邻近插值）。Down模块相比于Up稍微麻烦点，每下采样2倍都要增加一个卷积核大小为3x3步距为2的卷积层（注意下图中Conv和Conv2d的区别，Conv2d就是普通的卷积层，而Conv包含了卷积、BN以及ReLU激活函数）。  最后，需要注意的是在Stage4中的最后一个Exchange Block只输出下采样4倍分支的输出（即只保留分辨率最高的特征层），然后接上一个卷积核大小为1x1卷积核个数为17（因为COCO数据集中对每个人标注了17个关键点）的卷积层。最终得到的特征层（64x48x17）就是针对每个关键点的heatmap（热力图）。  # 四、预测结果（heatmap）可视化 关于预测得到的heatmap（热力图）听起来挺抽象的，为了方便大家理解，我画了下面这幅图。首先，左边是输入网络的预测图片，大小为256x192，为了保证原图像比例，在两侧进行了padding。右侧是我从预测结果，也就是heatmap（64x48x17）中提取出的部分关键点对应的预测信息（48x17x1）。上面有提到过，网络最终输出的heatmap分辨率是原图的1/ 4，所以高宽分别对应的是64和48，接着对每个关键点对应的预测信息求最大值的位置，即预测score最大的位置，作为预测关键点的位置，映射回原图就能得到原图上关键点的坐标（下图有画出每个预测关键点对应原图的位置）。  但在原论文中，对于每个关键点并不是直接取score最大的位置（如果为了方便直接取其实也没太大影响）。在原论文的4.1章节中有提到：

Each keypoint location is predicted by adjusting the highest heatvalue
location with a quarter offset in the direction from the highest
response to the second highest response.
光看文字其实还是不太明白，下面是源码中对应的实现，其中coords是每个关键点对应预测score最大的位置：

for n in range(coords.shape[0]):
    for p in range(coords.shape[1]):
        hm = batch_heatmaps[n][p]
        px = int(math.floor(coords[n][p][0] + 0.5))
        py = int(math.floor(coords[n][p][1] + 0.5))
        if 1 < px < heatmap_width-1 and 1 < py < heatmap_height-1:
            diff = np.array(
                [
                    hm[py][px+1] - hm[py][px-1],
                    hm[py+1][px]-hm[py-1][px]
                ]
            )
            coords[n][p] += np.sign(diff) * .25

如果看不懂的话可以再看下我下面画的这副图。假设对于某一关键点的预测heatmap如下所示，根据寻找最大score可以找到坐标(3, 3)点，接着分别对比该点左右两侧（x方向），上下两侧（y方向）的score。比如说先看左右两侧，明显右侧的score比左侧的大（蓝色越深代表score越大），所以最终预测的x坐标向右侧偏移0.25故最终x=3.25，同理上侧的score比下侧大，所以y坐标向上偏移0.25故最终y=2.75。

关于COCO数据集中标注的17个关键点的顺序如下：

"kps": ["nose","left_eye","right_eye","left_ear","right_ear","left_shoulder","right_shoulder","left_elbow","right_elbow","left_wrist","right_wrist","left_hip","right_hip","left_knee","right_knee","left_ankle","right_ankle"]

最后把每个关键点绘制在原图上，就得到如下图所示的结果。

在这里插入图片描述

五 损失的计算

在论文第3章Heatmap estimation中作者说训练采用的损失就是均方误差Mean Squared Error。

The loss function, defined as the mean squared error, is applied for comparing the predicted heatmaps and the groundtruth heatmaps. The groundtruth heatmpas are generated by applying 2D Gaussian with standard deviation of 1 pixel centered on the grouptruth location of each keypoint.

通过前面讲的内容我们知道网络预测的最终结果是针对每个关键点的heatmap，那训练时对应的GT又是什么呢。根据标注信息我们是可以得知每个关键点的坐标的（原图尺度），接着将坐标都除以4（缩放到heatmap尺度）在进行四舍五入。针对每个关键点，我们先生成一张值全为0的heatmap，然后将对应关键点坐标处填充1就得到下面左侧的图片。如果直接拿左侧的heatmap作为GT去训练网络的话，你会发现网络很难收敛（可以理解为针对每个关键点只有一个点为正样本，其他64x48-1个点都是负样本，正负样本极度不均），为了解决这个问题一般会以关键点坐标为中心应用一个2D的高斯分布（没有做标准化处理）得到如右图所示的GT（随手画的不必深究）。利用这个GT heatmap配合网络预测的heatmap就能计算MSE损失了。

下面这幅图是某张真实训练样本（左侧）对应nose关键点的GT heatmap（右侧）。

我们知道如何计算每个关键点对应的损失后还需要留意一个小细节。代码中在计算总损失时，并不是直接把每个关键点的损失进行相加，而是在相加前对于每个点的损失分别乘上不同的权重。下面给出了每个关键点的名称以及所对应的权重。

"kps": ["nose","left_eye","right_eye","left_ear","right_ear","left_shoulder","right_shoulder","left_elbow","right_elbow","left_wrist","right_wrist","left_hip","right_hip","left_knee","right_knee","left_ankle","right_ankle"]
"kps_weights": [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.2, 1.2, 1.5, 1.5, 1.0, 1.0, 1.2, 1.2, 1.5, 1.5]

六 评价准则

在目标检测（Object Detection）任务中可以通过IoU（Intersection over Union）作为预测bbox和真实bbox之间的重合程度或相似程度。在关键点检测（Keypoint Detection）任务中一般用OKS（Object Keypoint Similarity）来表示预测keypoints与真实keypoints的相似程度，其值域在0到1之间，越靠近1表示相似度越高。在MS COCO官网中有详细介绍OKS指标，详情参考: https://cocodataset.org/#keypoints-eval

其中：

七 其他

如果想要学习HRNet代码的话，不太建议直接去读官方源码。因为环境配置有些小问题，而且看起来令人头大。建议看我提供的HRNet仓库代码，我对原仓库代码做了一些修改，并加了很多注释，学习起来会更方便点。先给出链接，这周周末会上传代码：https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/tree/master/pytorch_keypoint/HRNet

7.1 数据增强

在论文中作者采用的数据增强有：随机旋转（-45°到45°之间），随机缩放（在0.65到1.35之间），随机水平翻转以及half body（有一定概率会对目标进行裁剪，只保留半身关键点，上半身或者下半身）。在源码中，作者主要是通过仿射变换来实现的以上操作，如果对仿射变换不太了解看代码会比较吃力。

7.2 注意输入图片比例

假设对于输入网络图片固定尺寸是256x192（height : width = 4 : 3），但要预测的人体目标的高宽比不是4 : 3，此时千万不要直接简单粗暴的拉伸到256x192（如下图左侧所示），正确的方法是保持目标原比例缩放到对应尺度然后再进行相应的padding（如下图中间所示，由于目标的height : width > 4 : 3，所以保持原比例将height缩放到256，然后在图片width两测进行padding得到256x192）。如果拥有原始图像的上下文信息的话可以直接在原图中固定height（目标height : width > 4 : 3的情况）然后调整width保证height : width = 4 : 3，再重新裁剪目标并缩放到256x192（如下图右侧所示）。这样预测的结果才是准确的。如果直接简单粗暴的拉伸目标，准确率会明显下降。因为作者源码中训练网络时始终保证目标的比例不变，那么我们在预测时也要保证相同的处理方式，即保证目标比例不变。之前我在COCO2017 val数据上对齐论文精度时，就是由于没有注意这个细节，导致精度差了十几个点(⊙﹏⊙)。