《HTC：Hybrid Task Cascade for Instance Segmentation》论文笔记

代码地址：mmdetection

1. 概述

导读：级联优化策略在许多的任务中被证实是提升性能的有效策略，而在实例分割中引入级联优化策略还是比较新的尝试。而简单地将Cascade RCNN与Mask RCNN相结合（Cascade Mask RCNN）只能带来很少的性能提升，其中的关键是没有很好利用检测与分割之间相互关联，因而这篇文章基于此提出了一个新的网络结构Hybrid Task Cascade（HTC），文章的方法从如下的两个方面进行改进：1）在级联优化中将分割与检测任务组合在一起去完成多阶段地处理；2）采用了一个全卷积的分支（分割分支）提供空间信息，从而帮助区分分割任务中的前景与背景。从而网络可以学习到更具区分性的特征并且在每个stage上组合互补的特征。使用单纯的HTC网络在COCO数据集上相比Cascade Mask RCNN提升了1.5%到达38.4%（Cascade Mask RCNN中级联带来的收益更多是体现在边界框更为准确上），在测试集上获得了48.6的mask AP。

这篇文章的算法借鉴了级联优化的策略，其关键是通过每个stage上多任务与级联组合增强信息的流动，并利用空间信息来进一步提升分割精度。则这篇文章提供的级联优化策略与之前的优化策略的对比见下图2所示：

2. 方法设计

首先比较文章的方法与现有的方法的区别，其主要体现在如下几点上：

• 1）将检测框预测任务与实例分割任务相互组合起来而不是各自独立；
• 2）通过预测的分割mask相连使得mask特征得以从前一级流通到后级中去；
• 3）将分割分支的特征与box分支的特征融合丰富上下文信息；