（21）语义分割--deeplabv1v2和v3

1、主要参考

（1）视频

DeepLabV3网络简介(语义分割)_哔哩哔哩_bilibili

 （2）代码

GitHub - WZMIAOMIAO/deep-learning-for-image-processing: deep learning for image processing including classification and object-detection etc.

（3）博客

DeepLabV3网络简析_太阳花的小绿豆的博客-优快云博客_deeplabv3网络结构

（4）源码讲解

DeepLabV3源码讲解(Pytorch)_哔哩哔哩_bilibili 

 2、多尺度的几个常用方法

3 deeplab v1

3.1largefov的使用，（大的空洞卷积扩展因子）

deeplabv1使用vgg16的骨干网络，在7*7输出时，先下采样，再使用大的空洞卷积因子

 对应的位置，膨胀系数为12，padding为12

3.2 MSC（multi sacle）

（1）

 使用后的整体结构

（2） 由于会增大计算量和GPU的占用，作者在原文中并不推荐

4、deeplabV2中使用的ASPP

4.1 采用了resnet 101

（1）

（2）针对采用vgg16的aspp

 （3）采用的学习率的方法

3.4 deeplabv2的结构

（1）resnet101网络

（2）deeplabv2 

下面部分 

 下面部分

5、deeplabv3的结构

5.1 网络结构

(2)deeplabv3有两种结构

级联模型和ASPP模型

（2.1）关于multi-grid，最新的版本没用该技术

以前是每个block的扩张率相同，现在是相同block中的、不同卷积层的扩张率均各不相同。这种清奇的改动方法被论文作者命名为“multi grid”。 

（3）v3中的aspp结构

 （4）v3当前的结构

5.2 Pytorch官方实现DeepLab V3模型结构

来源于博主

DeepLabV3网络简析_太阳花的小绿豆的博客-优快云博客_deeplabv3网络结构

下图是博主根据Pytorch官方实现的DeepLab V3源码绘制的网络结构（与原论文有些许差异）：

• 在Pytorch官方实现的DeepLab V3中，并没有使用Multi-Grid，有兴趣的同学可以自己动手加上试试。
• 在Pytorch官方实现的DeepLab V3中多了一个FCNHead辅助训练分支，可以选择不使用。
• 在Pytorch官方实现的DeepLab V3中无论是训练还是验证output_stride都使用的8。
• ASPP中三个膨胀卷积分支的膨胀系数是12,24,36，因为论文中说当output_stride=8时膨胀系数要翻倍。

In the end, our improved ASPP consists of (a) one 1×1 convolution and three 3 × 3 convolutions with rates = (6, 12, 18) when output stride = 16 (all with 256 filters and batch normalization), and (b) the image-level features, as shown in Fig. 5. Note that the rates are doubled when output stride = 8.