基于 DeeplabV3+与超像素优化的语义分割

前言

针对目前在检测物体边缘部分信息分割效果不佳的问题，使用了基于DeeplabV3+与超像素优化的语义分割算法。
本人在先前实践阶段使用的DeepLab ,其使用扩张卷积代替了池化层的来增大感受野，并使用了空间金字塔池化来模型解决了多尺度问题，后面通过阅读文献进一步使用DeepLabV3+分割模型进行实践， 其模型思想通过加入了解码模块解决了在DeepLabV3模型中由特征图直接进行上采样恢复图像原始分辨率问题导致图像边缘信息丢失的问题，并取得了更好的分割结果。

思路

首先使用DeeplabV3+模型提取图像语义特征并得到比较粗糙的语义分割结果，然后使用SLIC超像素分割算法将输入图像分割成超像素图像，最后，融合高层语义特征信息和超像素的细节信息，得到边缘优化的分割效果。通过在PASCAL VOC2012数据集上测试结果得出，相比较使用DeeplabV3直接对输入图像进行分割的效果更佳，其mIou值达到了83.8%，性能显著提高。

算法解析

基于DeepLabV3+ 与超像素优化的分割算法如下图所示， 其中黄色框代表了DeepLabV3+的编码阶段，红色代表解码解码模块，利用此编码-解码结构来提取图像的语义分割特征并得到比较粗糙的分割结果，灰色部分是超像素优化部分，其作为后续处理部分融合高层语义特征信息和物体边缘信息优化语义分割结果。总结来说，高层卷积获得精确的语义信息，超像素边缘特征获得精确的空间信息。

使用当前最为流行的语义分割模型DeepLabV3+, 其在DeepLabv3的基础上添加了解码模块，采用扩张卷积来控来控制输出特征图的分辨率并扩大卷积核的感受野。

以 二 维 特 征 图 为例，假设卷积核为 ｗ，当扩张卷积作用于输入特 征 图 ｘ，对 于 输 出 特 征 图 ｙ 中 的 每 个位置ｉ，有：

										ｙ［ｉ］＝ ∑ｋｘ［ｉ＋ｒ×ｋ］ｗ［ｋ］，

其中，r代表扩张率， 下图分别是卷积核为3X3的扩张率为1，2，4的示意图。

DeepLabV3+使用了空间金字塔池化模块来获取不同扩张率的卷积和图像及特征来得到不同尺度丰富的语义特征信息。ASPP结构模块如下图所示：

Superpixel

尽管DeepLabv3+添加了解码模块来恢复了部分细节信息，但是采用了两次双线性插值上采样来增加特征分辨率，在物体边缘部分效果不是理想的，考虑到超像素具有保护物体边缘的特性，通过融合高层语义特征信息和超像素优化来提高分割的效果。

通常，超像素可以被认为是一组位置、颜色、 纹理等相似的像素集合。首先，它将彩色图像转化为CIE-Lab的颜色空间，对应每个像素的（L，a, b） 颜色值和位置信息（x,y）组成一个5维的向量，然后对此结构构造距离度量标准，最后通过迭代的方式对图像中像素进行聚类，其中迭代聚类是本算法的关键，而迭代的核心就是计算距离。公式如下：

其中：dｃ 代表颜色距离，ｄｓ 代表空间距离，ＮＳ 表 示类内最大空间距离，定义为：

其中，K表示超像素总数，Nc表示最大的颜色距离，随着图像及聚类的不同，取一个固定的常数m代替，最后的度量公式为：

超像素优化

通过融合高层语义特征信息和超像素物体边缘信息来优化语义分割的结果。 首先通过DeepLabV3+得到粗糙的语义分割结果，然后统计每个超像素内各语义类别所占像素综述，最后选择像素最后的语义类型并将其赋给该超像素。

实验结果分析

在PASCAL VOC2012 数据集上进行了验证。 此算法与DeepLabV3+ 的语义分割结果如图所 示，其 中 第 １ 列 为 输 入 图 像，第 ２ 列 为 DeepLabV3+的语义分割结果，第３列为本算法的语义分割结果，第４列为gound-truth，即真实的语义标签。

评价标准采用mIou度量，语义分割检测算法性能对比如下：

结论

基于 DeepLabV3+ 与超像素优化的语义分割算法。首先使用DeepLabV3+模型提取图像语义特征并得到粗糙的语义分割结果，然后使用SLIC超像素分割算法将输入图像 分割成超像素，在此基础上，将高层的抽象语义特征和超像素的物体边缘细节信息进行融合并输出 语义分割结果，以恢复在池化或下采样过程中丢失 的物体边缘等图像细节信息，解决现有基于深度学习的语义分割算法在物体边缘部分表现不佳的问题。

最后麻烦动动小手点一赞 笔芯！！！