DeeperLab: Single-Shot Image Parser 详解

论文链接：

代码链接：https://github.com/Ixuanzhang/models/tree/master/research/deeplab/evaluation

文章来自MIT，Google和Berkeley联合出品，研究的内容是全景图像的快速高效分割和解析任务。

摘要

        本文提出了一种bottoom-up，single-shot的全景图像分析方法。全景图像分析包含"stuff"形式（类别）的语义分割及“thing”形式（区别不同个体）的实例分割。目前，全景图像分析的经典方法是由语义分割任务及实例分割任务的独立的模块组成，同时其需要进行多次inference操作。与之相反的是，本文提出了用相对简单的全卷积的方式对图像进行场景分析。以single-shot的方式同时处理语义分割及实例分割两种任务，从而得到一个处理速度较快的流线型模型。针对定量分析，本文使用了基于实例的全景质量-PQ度量及基于区域建议覆盖分析-PC度量，其可以更好的捕捉“stuff”类别及更大目标实例的图像分析质量。基于Mapillary Vistas 数据集进行实验，本文的单一模型基于GPU实现了31.95%(val)及31.6%(test)的PQ及55.26%(val)的PC。运行速度为3fps或者接近实时速度22.6fps，但准确率会有所下降。

1  简介

    （1）DeeperLab简介

                                          

• DeeperLab基于single-pass的全卷积网络来产生语义及实例分割的预测mask。最后通过一个快速的算法将预测结果进行融合得到解析的结果最后通过一个快速的算法将预测结果进行融合得到解析的结果。
• DeeperLab的运行时间几乎与检测到对象数目无关，这使得 DeeperLab更适合复杂场景的图像解析。
• 使用 PQ 和 PC 指标作为质量评估的标准。
• 实验数据集：Mapillary Vistas dataset（包含分辨率高达4000*6000的图像）、Cityscapes、Pascal VOC 2012、 COCO

（2）文章主要贡献

• 提出一些用于高效图像解析的神经网络设计策略，显著降低高分辨率输入的内存占用情况。这些创新包括深度可分离卷积的扩展应用，使用带两层预测头的共享解码输出，增大内核大小而不是使用更深的网络，使用空间到深度和深度到空间的变换而不是上采样操作，采用困难样本挖掘策略，详细的消融研究显示了实践中这些策略的影响；
• 基于以上设计策略，提出了一种一次性高效，自底向上的图像解析网络，DeeperLab。在Mapillary Vistas数据集上，所提出的基本模型Xception-71达到31.95%的验证PQ、31.6%的测试PQ以及55.26%的验证PC，GPU上每秒可以处理3帧图像；加宽版本的MobileNetV2基础模型能够在CPU上达到接近实时的性能（22.61fps），准确率稍有下降；
• 提出一种称为Parsing Covering的指标替代用于评估基于区域远景的图像解析结果。

2   相关工作

       Image parsing：Imae parsing的作用是将图像分解为连续的视觉模式，像纹理及检测目标等，其涵盖了分割，检测，识别等任务。首次使用基于贝叶斯框架进行Image parsing，后来基于AND-OR图， Exemplars及条件随机场等方法进行全场景理解任务。早期这些任务的评估标准是独立的，比如，检测有检测的评估标准，分割有分割的评估标准。随着基于实例的全景质量（PQ）评估引入多个benchmarks中，全景分割越来越受到关注。

        语义分割：大多数state-of-art的分割模型在基于FCN的基础上进行一些创新性改进得到的。比如，上下文信息对像素级的标记十分重要，因此，有些工作使用图像金字塔对不同尺寸的输入图像进行编码操作。PSPNet提出了基于不同网格尺寸的图像金字塔池化结构，DeepLab提出了使用不同rate的并行的空洞卷积结构（ASPP）从而可以有效的利用上下文信息。另一个有效的方法是使用encoder-decoder结构。在encoder阶段得到图像的上下文信息，而在解码阶段对边界进行恢复。DeeperLab利用FCN,ASPP，encoder-decoder等结构来最大化image parsing的准确率。

        实例分割：当前实例分割的方法可以归类为top-down及bottom-up的方法。top-down的方法通过增强state-of-the-art检测器得到的框获得instance masks。其中，FCIS使用位置敏感性score maps。Mask R-CNN基于FPN的基础上进行搭建，在Faster R-CNN上增加了另一个分割分支，取得较好的效果。另一方面，bottom-up的方法采用两阶段的处理过程，由分割模型得到的像素级预测按照实例预测的方式进行聚合。PersonLab预测人体的关键点及进行人体实例分割，而DeNet及CornerNet通过预测边界框的角点来检测实例。

        评价标准：语义分割的结果可以通过基于区域或者轮廓的指标来进行评估。基于区域的评估标准定量评价标记正确的像素所占比例，包括：overall pixel accuracy,mean class accuracy,mean IOU。而基于轮廓的度量则关注分割边界的标记精度。比如，在分割边界较窄的三角地带评估像素级的准确率及IOU。对于类别不可知的分割可以使用covering 标准来度量。实例分割可以看作是mask检测，是边界框检测的增强。因此，此类任务通常使用APr进行度量，像计算mask的IOU而不是边界框的IOU。在0.5到0.95不同重叠率阈值下计算AP的平均值进而评估分割结果。基于区域覆盖指标来评估实例分割结果，该方法适用于无法计算预测值重叠率的情形。图像解析结果可以通过Panoptic Quality（PQ）指标进行评估，同时将具有相同“stuff”类别的图像区域作为单个实例。而PQ度量存在的一个问题是，无论目标物的尺寸为多大，都视为相同的，因此，PQ度量可能会过度强调小的物体，像“thing”类别的而不是“stuff”类。