论文阅读理解 - (Deeplab-V3)Rethinking Atrous Convolution for Semantic Image Segmentation

Deeplab-V3

Rethinking Atrous Convolution for Semantic Image Segmentation

[Paper]

[Code-TensorFlow]

摘要

• DeeplabV1&V2 - 带孔卷积(atrous convolution), 能够明确地调整filters的接受野(field-of-view)，并决定DNN计算得到特征的分辨率；
• DeeplabV3 - 多尺度(multiple scales)分割物体，设计了串行和并行的带孔卷积模块，采用多种不同的atrous rates来获取多尺度的内容信息；
• DeeplabV3 - 提出 Atrous Spatial Pyramid Pooling(ASPP)模块, 挖掘不同尺度的卷积特征，以及编码了全局内容信息的图像层特征，提升分割效果；
• DeeplabV3 - 无需DenseCRF后处理.

Introduction

• Atrous convolution

  • Atrous convolution, 即dilated convolution, 它通过移除最后几层的下采样操作以及对应filter 核的上采样操作，来提取更紧凑的特征，相当于在不同的 filter权重间插入 holes;
  • Atrous convolution, 决定了DCNNs计算的特征的分辨率，而不增加新的额外学习参数.
    

• Multiple scales 常见的多尺度处理
  

• DeeplabV3

  • 在串行模块和 spatial pyramid pooling 模块的网络结构中，atrous convolution,都能够有效增加filters的接受野，整合多尺度信息.
  • 提出的串行和并行ASPP网络模块包含了不同rates 的atrous convolution处理与batch normalization layers，对于网络训练很重要.
  • 一个重要的实际问题是，采用rate非常大的3×3 atrous convolution，由于图像边界效应，不能捕捉图像的大范围信息，effectively simply degenerating to 1×1 convolution, 故这里提出将图像层特征整合仅ASPP模块中.

3 Methods

这里主要回顾如何应用atrous convolution来提取紧凑的特征，以进行语义分割; 然后介绍在串行和并行中采用atrous convolution的模块.

3.1 Atrous Convolution for Dense Feature Extraction

假设2-d信号，针对每个位置${i}$，对应的输出 ${y}$， 以及 filter