之前在使用DCNN进行图像的分类的时候，所设计的DCNN使用都是使用连续的最大池化层和下采样重复组合使用（卷积-激活函数-最大池化-……）。但是这样很容导致图像的分辨率很快的降低，所以为了达到密集的特征图，并对其进行了改进，将DCNN的最后几个最大池化层移除了下采样的算子，并对其后序的卷积层进行上采样。

具体方法：结合空洞卷积来恢复全分辨率特征图，计算更加密集的特征图，然后对原始图像大小的特征进行简单的双线性插值。（使用空洞卷积不增加参数量和计算量并且扩大卷积核的感受野）。

空洞卷积

（3）改进二

为了改进其多尺度的目标对象，使用不同采样率的多个并行的空洞卷积层有效的实现。（atrous Spatial Pyramid Pooling——ASPP）。

（4）改进三

由于以对象为中心的分类器需要对空间变换保持不变性，从而导致了DCNN的空间精度。而解决的方法是使用CRF来提高模型捕获精细细节的能力。

（5）改进之后的优势

（1）速度方面

凭借空洞卷积的优势，密集的DCNN在GPU上以8FPS的速度运行，而全连接CRF在CPU上的推理时间需要0.5秒；

（2）准确性方面

在几个具有挑战性的数据集上获得了最好的结果，其中PASCAL VOC 2012语义分割数据集，PASCAL-Context，PASCAL-Person-part和Cityscape语义分割数据集上。

（3）简洁性

该系统由两个非常完善的模块级联组成：DCNNs和CRFs.

4.使用方法

（1）用于密集特征提取和扩大感受野的Atrous

其中： $y[i]$ 表示空洞卷积之后的输出结果； $x[i]$ 表示一维的输入； $w[k]$ 表示长度为k的卷积核；r表示对应的空洞卷积的步长，标准卷积的步长r=1.

图a（1-D）表示在低分辨率输入特征图上进行标准卷积的稀疏特征提取；

图b（1-D）表示在使用步长r=2的空洞卷积进行的密集特征提取，输入高分辨率的特征图。

对于二维的特征图进行空洞卷积，可以看到最上面对应的输出是在低分辨率输入特征图上进行的标准卷积稀疏特征提取。最下面的输出结果是在高分辨率上进行的步长r=2的空洞卷积。

上图是在使用空洞卷积计算特征图的密度增加4倍，然后使用双线性插值的方法增加8倍，从而恢复特征图到原始的图的分辨率。

使用空洞卷积（Atrous 卷积）的好处是在DCNN的任意层都可以扩大卷积核感受野，使用步长r的空洞卷积可以有效的扩大卷积核的大小（k=k+（k-1）*（r-1）），从而扩大感受野，并且不会增加参数量和计算量。而DCNN中一般都是使用小卷积减少参数量和计算量（如3x3的卷积）。

Atrous Spatial Pyramid Pooling (ASPP)对中心像素（橙色的）进行分类，通过聚合多个不同步长的空洞卷积（平行的）进行多尺度特征。

（2）使用Atrous Spatial Pyramid Pooling (ASPP)多尺度图像表示

① 使用共享参数并行DCNN的分支，这些分支从多个重新缩放的原始图像版本中提取的分数图。并行这些分支的特征图双线性插值到原始图像分辨率，通过每个位置获取不同尺度的结果进行融合，这样很好的提高了性能。

②使用来自R-CNN的空间金字塔池化的方法，通过在单个尺度上提取的卷积特征进行重采样，可以准确有效的对任意尺度的区域进行分类。但是本文对其进行了改进，得到Atrous Spatial Pyramid Pooling，通过使用多个具有不同采样率的并行空洞卷积层，为每个采样率在单独的分支上提取的结果进一步处理并融合最终的结果。

（3）Structured Prediction with Fully-Connected Conditional Random Fields for Accurate Boundary Recovery

CRF的主要作用是对其边界进行恢复。提出CRF的主要原因是定位准确率和分类准确性之间在DCNN需要进行平衡（二者不可同时兼得），并且具有多个最大池化层的DCNN在图像分类方面已经取得了很大的成功，但是由于DCNN具有平移不变性和顶层节点的巨大感受野只能产生平滑的结果。

针对解决边界问题，主要有两种方法：

第一：利用卷积网络中多层的信息，以便更好的估计对象的边界

第二：采用超像素表示方法。

将CRF模型集成到该系统中，主要函数如下：

5.实验结果评价

主要是在四个具有挑战性的数据集上进行评估：PASCAL VOC 2012, PASCAL-Context, PASCALPerson-Part, and Cityscapes.

（1）PASCAL VOC 2012

包含20个前景和1个背景，原始的数据集中训练集包含1464，1449张验证集，1456张测试集张像素级标签图片。其中增强后的数据通过annotations提供，包含10582张训练图片。

①改进之前结果

使用VGG16在ImageNet数据集上训练的模型作为预训练模型，batch=20,learing rate=0.001,每2000次的迭代将学习率乘以0.1，momentum=0.9，weight deacy=0.0005.

可以看到当卷积核大小为3x3，并且步长为r=12时，参数量是最少，速度是最快并且使用CRF之后精度基本是最高的。

②改进之后结果

主要针对不同的学习策略，空洞金字塔池化和更深层次的网络以及多尺度的改进。

第一：改进学习策略，使用learing_rate*(1-(iter/max_iter)^power)的学习策略比直接使用“step”固定步长减小学习的方式更加的有效，性能上提升1.7%。

第二：将batch=10和20k的迭代，在验证集的性能上提升了3.63%。

第三：使用Atrous Spatial Pyramid Pooling的方式，性能上提升了1.22%。

第四：使用更深层的网络和多尺度处理，使用ResNet-101和images at scale = {0.5, 0.75, 1}；

使用ResNet-101更深层次的模型性能上提升了2.55%，而在MS-COCO预训练模型上性能提升2.01%。

③测试集上结果

④VGG-16 vs. ResNet-101

（2）PASCAL-Context

该数据集提供了详细的语义标签，其中包括59个类别一个背景类别；用于训练集的数据包含4998张，用于验证集的数据5105张。

其中DeepLab 超过 VGG-16 LargeFOV 2% ，采用了多尺度的输入和最大池化合并之后性能提升到41.4%。并且在MS-COCO上预训练的模型带来了1.5%的提升；采用atrous spatial pyramid pooling比LargeFOV更加的有效，采用CRF之后，模型最终达到的效果是45.7%（当时最好的结果）。

使用CRF之后，分割的图像更加的平滑，对边界的处理更加有效。

（3）PASCAL-Person-Part

这部分主要专注于的数据集是“人物”的部分，其中包含更多的训练数据以及对象尺度和人体姿态的较大变化（包含每个人详细部分注解：如人眼，鼻子等）；数据集标注合并为Head,Torso,Upper/Lower Arms和Upper/Lower Legs，因此最终有6个类别和1个背景类别；其中包含的训练集有1716张和验证集有1817张图像。