2020-08-18 glassnet

1、最小单位 Residual 模块

 

首先：

白色方框：卷积操作  

浅蓝：Batch Normalization

浅紫：ReLU

 第一行为卷积路，由三个核尺度不同的卷积层（白色）串联而成，间插有Batch Normalization（浅蓝）和ReLU（浅紫）；
第二行为跳级路，只包含一个核尺度为1的卷积层；如果跳级路的输入输出通道数相同，则这一路为单位映射。

其中，卷积路做了特征提取的工作，跳级路做了特征回馈作用。例如：

                     

卷积路： 1*1（降维） +3*3 +1*1（升维）的操作

 

2、一阶Hourglass (由多个residual组合而成)

 

其中，

上半路： 直接原图原尺度进行特征提取

下半路： 先降采样，特征提取后，上采样 （降采样：max_pooling  上采样：最近邻插值）

 

二阶Hourglass  （将一阶中虚线部分，变成一个一阶模块即可）

 

四阶Hourglass  （套娃定理）：

观察可得，四阶输入图片大小一共下采样4此，上采样4次，这是规律。

• Intermediate Supervision（中间监督）
• • 作者在整个网络结构中堆叠了许多hourglass模块，从而使得网络能够不断重复自底向上和自顶向下的过程，作者提到采用这种结构的关键是要使用中间监督来对每一个hourglass模块进行预测，即对中间的heatmaps计算损失。
• • 关于中间监督的位置，作者在文中也进行了讨论。大多数高阶特征仅在较低的分辨率下出现，除非在上采样最后。如果在网络进行上采样后进行监督，则无法在更大的全局上下文中重新评估这些特征；如果我们希望网络能够进行最佳的预测，那么这些预测就不应该在一个局部范围内进行。
• • 由于hourglass模块整合了局部和全局的信息，若想要网络在早期进行预测，则需要它对图片有一个高层次的理解即使只是整个网络的一部分。最终，作者将中间监督设计在如下图所示位置
•