PSPNet《Pyramid Scene Parsing Network》论文阅读及代码实现

论文原文

https://arxiv.org/abs/1612.01105

摘要

\quad 本文提出的金字塔池化模块( pyramid pooling module)能够聚合不同区域的上下文信息,从而提高获取全局信息的能力。实验表明这样的先验表示(即指代PSP这个结构)是有效的，在多个数据集上展现了优良的效果。

介绍

\quad 场景解析(Scene Parsing)的难度与场景的标签密切相关。先大多数先进的场景解析框架大多数基于FCN，但FCN存在的几个问题：

• Mismatched Relationship：上下文关系匹配对理解复杂场景很重要，例如在上图第一行，在水面上的大很可能是“boat”，而不是“car”。虽然“boat和“car”很像。FCN缺乏依据上下文推断的能力。
• Confusion Categories： 许多标签之间存在关联，可以通过标签之间的关系弥补。上图第二行，把摩天大厦的一部分识别为建筑物，这应该只是其中一个，而不是二者。这可以通过类别之间的关系弥补。
• Inconspicuous Classes：模型可能会忽略小的东西，而大的东西可能会超过FCN接收范围，从而导致不连续的预测。如上图第三行，枕头与被子材质一致，被识别成到一起了。为了提高不显眼东西的分割效果，应该注重小面积物体。
  \quad 总的来说，FCN不能有效的处理场景之间的信息和全局信息，为了对FCN的这些缺点加以克服，提出了PSPNet。可以融合合适的全局特征，将局部和全局信息融合到一起，并提出了一个适度监督损失的优化策略，在多个数据集state of art。
  \quad 论文的主要贡献为:
• 提出了一个金字塔场景解析网络，能够将难解析的场景信息特征嵌入基于FCN预测框架中
• 在基于深度监督损失ResNet上制定有效的优化策略
• 构建了一个实用的系统，用于场景解析和语义分割，并包含了实施细节

相关工作

\quad 受到深度神经网络的驱动，场景解析和语义分割获得了极大的进展。例如FCN，ENet等工作。许多深度卷积神经网络为了扩大高层feature的感受野，常用空洞卷积，coarse-to-fine结构等方法。本文基于先前的工作，使用了带dilated卷积的FCN。
\quad 大多数语义分割模型的工作基于2个方面：

• 具有多尺度的特征融合，高层特征具有强的语义信息，底层特征包含更多的细节。
• 基于结构预测。例如使用CRF(条件随机场)做后端细化分割结果。
  \quad 为了充分的利用全局特征层次先验知识来进行不同场景理解，本文提出的PSP模块能够聚合不同区域的上下文从而达到获取全局上下文的目的。

PSP网络

3.1 一些观察

这个在上面已经讲了，就是FCN的缺点。

3.2 PSP 模块

\quad