【阅读笔记】《RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation》

本文记录了博主阅读论文《RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation》的笔记，代码，更新于2019.05.21。

Abstract

最近，深度卷积神经网络（CNNs）在诸如语义分割等目标分类问题上展现出了非凡的能力。但是，重复的下采样（如池化或带步长的卷积）操作却使得深度卷积神经网络在原始图像分辨率上产生了严重的损失。这篇文章中提出了RefineNet，一个生成性（generic）多通道恢复网络，主要探索了在下采样过程中可得到的所有信息，从而通过long-range残差连接恢复高分辨率估计。这样一来，获取高层语义特征的更深的层也可以直接通过从前层得到的fine-grained特征得到恢复。

Introduction

Related Work

Background

Proposed Method

本文提出了一种用多通道连接不同分辨率下的信息并通过潜在长程联系用生成模型吸收的网络——RefineNet。下图是一种用于语义分割的可能的网络结构。

Multi-Path Refinement

如前文所述，本文旨在探索一种多层特征用于带长程残差连接的高分辨率估计。RefineNet提供一种生成式的方法融合原始高层语义特征和更精细化的低层特征，从而生成更高分辨率的语义特征图。

在本文标准多通道网络结构中，作者将预训练的ResNet（以ImageNet初始化）按照分辨率分成了4个模块，随后级联了4个RefineNet单元，每个都直接和ResNet模块的输出连在一起。

用RefineNet-m表示连接在ResNet第m个模块上的RefineNet模块。在具体应用中，每个ResNet的输出都通过了一个卷积层来适应维度。

RefineNet

下图是RefineNet模块。模块可以通过调整适应任意特征图个数、分辨率和网络深度。

Residual convolution unit
这一部分首先用来调整预训练的ResNet的权重来适应当前任务。每条通路经过两层级联的残差卷积单元（RCU，Residual convolution units）。该单元是原始ResNet中的卷几单元的简化版本，移除了batch-normalization层。

除了RefineNet-4的输入通道数为512外，其他的都是256。

Multi-resolution fusion
之后所有特征都进入特征融和模块。通过卷积层调整为特征图均为最小输入特征维度。之后通过上采样将所有特征图恢复成与输入相同分辨率。最后，所有特征通过相加融合。当只有一个输入通道的时候，这个模块不进行处理。

Chained residual pooling
上面的输出随后进入残差池化模块。池化为最大池化，后面跟一层卷积层用来学习适应性权重。后一级的池化层以上一级的输出为输入。除非特殊说明，池化的步长均为1。

Output convolutions
每个RefineNet的最后一步都是另一个残差卷积模块（RCU，Residual convolution unit）。输入输出尺寸相同，目的是在softmax估计之前增加非线性。

Identity Mappings in RefineNet

利用基于恒等映射的残差链接能够直接将梯度从一个模块传递到另一个模块。这个概念有助于保持干净的信息通路，使其不被非线性层或元素“阻挡”。相应的非线性模块则被放置在主干上。在每个残差池化模块上都应用了一个ReLU，这样做使得网络对于学习率不敏感。同时还观察到了这样做不会影响有效的梯度流。

Experiments

Object Parsing

Semantic Segmentation

Variants of cascaded RefineNet

Conclusion

更多内容，欢迎加入星球讨论。