前言
提示:这是一篇关于whole strip masking upsampling block, vertical pooling, stripe refinement这三者区别的笔记 。
看BS-Net这篇论文的时候里面提到了whole strip masking upsampling block和vertical pooling就想随便百度了解一下这个东西,不想去看英语原文论文,但是发现没有相关解释,所以就想记录一下。
一、Vertical Pooling
产生Vertical Pooling的依据是:现实世界场景中的深度分布具有一种特殊的模式,即深度变化的大部分位于垂直方向。 例如 道路往往仅沿垂直方向延伸到远处。故建议通过垂直池化层获得垂直方向的局部上下文。 垂直池化层使用大小为 H×1 的核的平均池化,并输出与输入特征大小相等的特征图。 消融实验中对比用平方平均池化层、水平池化层、垂直池化层后的结果。垂直池化>平方平均池化>水平池化,分析原因可能是加入水平池化后引入了噪声和冗余信息。二、whole strip masking upsampling block
对于同样深度的一面墙,用平方平均池化只能提取深度图的局部信息,这样得出的同一面墙的深度是不一样的即不平坦。通过考虑深度图的水平或垂直平面特征,即所提出的WSM采用了长矩形核,这有助于重建墙上垂直平坦的深度。
上图前三个卷积是为了提取输入图片的局部信息,第四个W3卷积是为了提取水平信息,第五个3H卷积是为了提取垂直信息。
三、stripe refinement module
原文讲SRM和前两个有本质的不同,但我个人觉得这里就是把WSM的水平和垂直方向卷积给具体化了,也就是W,H取了11.
原文:Boundary-induced and Scene-aggregated Network
for Monocular Depth Prediction