《HTC：Hybrid Task Cascade for Instance Segmentation》论文笔记

代码地址：mmdetection

1. 概述

导读：级联优化策略在许多的任务中被证实是提升性能的有效策略，而在实例分割中引入级联优化策略还是比较新的尝试。而简单地将Cascade RCNN与Mask RCNN相结合（Cascade Mask RCNN）只能带来很少的性能提升，其中的关键是没有很好利用检测与分割之间相互关联，因而这篇文章基于此提出了一个新的网络结构Hybrid Task Cascade（HTC），文章的方法从如下的两个方面进行改进：1）在级联优化中将分割与检测任务组合在一起去完成多阶段地处理；2）采用了一个全卷积的分支（分割分支）提供空间信息，从而帮助区分分割任务中的前景与背景。从而网络可以学习到更具区分性的特征并且在每个stage上组合互补的特征。使用单纯的HTC网络在COCO数据集上相比Cascade Mask RCNN提升了1.5%到达38.4%（Cascade Mask RCNN中级联带来的收益更多是体现在边界框更为准确上），在测试集上获得了48.6的mask AP。

这篇文章的算法借鉴了级联优化的策略，其关键是通过每个stage上多任务与级联组合增强信息的流动，并利用空间信息来进一步提升分割精度。则这篇文章提供的级联优化策略与之前的优化策略的对比见下图2所示：

2. 方法设计

首先比较文章的方法与现有的方法的区别，其主要体现在如下几点上：

• 1）将检测框预测任务与实例分割任务相互组合起来而不是各自独立；
• 2）通过预测的分割mask相连使得mask特征得以从前一级流通到后级中去；
• 3）将分割分支的特征与box分支的特征融合丰富上下文信息；

2.1 分割分支的级联

在Cascade Mask RCNN中网络通过不断优化预测框的回归来得到更好的检测结果，从而实现整体网络的提升，这里主要的是检测框的级联，见图所示：

在上图的结构中mask分支与box分支是在每个阶段是独立运算的，它们之间并没有什么关联，这也是它存在的问题的一点，要是可以用回归的box与选择backbone的特征而不是直接使用RPN得到的结果，基于此其结构见下图所示：

主要的区别就是取消了第一个stage上的mask分支，使其实现了与box的相关联，从而达到提升的目的。

在之前的设计中mask分结果仅仅取决于RoI特征，其中并没有多个stage上mask分支之间的相互关系，也就是mask分支是相互独立存在的。套用级联优化的思路，maks分支也是可以通过不同stage上的特征来进行优化的，因而就需要将mask分支之间的信息流打通。其结构见下图所示：

对应的每个分割mask分支之间的融合是通过下面的网络结构进行实现的，见下图2所示：

2.2 分割中的空间上下文信息

为了更近一步增强前景背景的区分能力，这里还额外使用了空间信息。其结构就是在分割分支的基础上添加额外的语义分割特征输入。这一部分的语义特征输入是通过分割网络实现的，其在$stride=4$的特征尺度上进行语义分割。其结构见下图所示：

在进行运算的时候通过RoI 操作得到对应的特征，之后将这些特征与mask分割分支进行element-wise add操作进行特征增强。

2.3 损失函数设计

3 实验结果

与Mask RCNN系列的比较：

上文中涉及到的每个模块对于性能的影响：

mask与box分支关联与否对性能的影响：