(论文阅读)实例分割之PANet

一、论文简介

1.1、论文和代码链接

paper:http://xxx.itp.ac.cn/pdf/1803.01534.pdf
code:https://codechina.youkuaiyun.com/mirrors/ShuLiu1993/PANet?utm_source=csdn_github_accelerator

1.2、论文基本信息

发表于CVPR2018
这篇论文名为:用于实例分割的路径聚合网络,它不仅是COCO2017实例分割比赛的冠军，也是目标检测比赛的第二名。
此文提出Path Aggregation Network (PANet)，是对Mask RCNN上进行多处改进，是一个二阶段实例分割算法，下面将详细解读此篇文章。

二、详细解读

2.1、摘要

信息在神经网络中的传播方式是非常重要的。本文提出了路径聚合网络(PANet)，旨在促进基于提议的实例分割框架中的信息流。具体地说，本文通过自底向上的路径增强，在低层精确定位信号，从而缩短低层与最高层特征之间的信息路径，同时提出了自适应特征池，它将特征网格和所有特征层连接起来，使每个特征层中的有用信息直接传播到下面的建议子网中。为每个提议创建一个互补的分支，捕获不同的视图，以进一步改进掩码预测。这些改进很容易实现，但有细微的额外计算开销。

2.2、介绍

①、探索与发现

本文研究表明，Mask R-CNN的信息传播可以进一步改善。具体来说，低级别的特性有助于识别大型实例。但是，从低级结构到最高级特征有很长的路径，增加了获取准确定位信息的难度。此外，每个提议都是基于一个特性层预测的，这是启发式分配的。这个过程可以进行更新，因为在其他层次丢弃的信息可能有助于最终的预测。最后，掩模预测是在单一视图下进行的，失去了收集更多信息的机会。

解读:
MaskRcnn存在一定问题:
1、高级特征的特征图与精准定位存在一定的矛盾。
2、生成提议过于片面，没考虑多层的信息。
3、mask掩码的生成也没考虑多种视图，会有信息丢失。

②、进行改进

首先，为了利用低层存在的精确定位信号缩短信息路径，增强特征金字塔，建立自底向上的路径增强方法;事实上，低层的特征在一些论文的系统中得到了利用。但目前还没有研究通过传播低级特征来增强整个特征层次结构。
其次，为了恢复每个提议和所有特征级别之间的破损信息路径，我们开发了自适应特征池。它是一个简单的组件，用于为每个提案聚合来自所有特性级别的特性，避免任意分配结果。
最后，为了捕获每个提议的不同观点，我们使用微小全连接(fc)层来增加掩码预测，这与mask R-CNN最初使用的FCN具有互补的特性。通过融合来自这两种观点的预测，信息多样性增加，并生产出质量更好的Mask。前两个组件由对象检测和实例分割共享，从而大大提高了两个任务的性能。

解读:
提到改进，那就必须要配合上MaskRcnn的网络架构和PANet的网络架构进行对比分析，请往下看PANet的网络架构。

2.3、网络架构

下图为PANet的网络架构，其中(a)是FPN骨架，(b)是自下而上路径扩展，©是自适应特征池化，(d)是分类box分支，(e)是全融合。如下图，第一张为PANet网络结构，第二张为MaskRcnn的网络架构。

解读： 如图中，红色指引线和绿色指引线的作用就是把低层的位置特征直接传接给P5和N5，让顶层的特征图融入底层的位置信息。相对于MaskRcnn该模型增加了一个(b)自下而上路径扩展，也就是增强了特征金字塔，相当于来了两次FPN操作，然后再把第二次得到的特征金字塔各层通过(c)自适应特征池化层聚合到一起，最后进行分类和加掩码，在(e)阶段,使用微小全连接(fc)层来增加掩码预测。

2.4、改进与创新

改进和创新就如上所述，如果简化成一个图的话大致如下：

2.5、实验结果

比较了2016实例分割挑战赛的冠军，RentinaNet还有MaskRcnn，MaskRcnn比较了ResNet-50，ResNet-101和ResNeXt101三种骨架，指标为AP值，AP50，AP75(指的是取detector的IoU阈值大于0.5，大于0.75),PANet采用ResNet-101时明显是最优的。APs，APm，APl分别代表小物体，中等物体和大物体。

2.6、使用的数据集

COCO2017数据集、Cityscapes数据集和MVD数据集。

三、总结与思考

这篇文章确实对MaskRcnn进行了较好的修改，而且获得了比较大的成果，其提出的多金字塔方法有点新意，融合不同层的特征也做得比较好，学到的东西还是蛮多的，踩在巨人肩膀上也能获得非凡成就，不过我感觉创新点还是缺了那么一点点，是在MaskRcnn基础上改的，而且很多方法已经出现于别人的论文当中，只是拿过来使用而已，还得继续努力，向大佬们学习。
实例分割中提高AP的方法: