【实例分割系列：三】Mask Scoring R-CNN

2019 CVPR Oral

Mask Scoring R-CNN

Introduction

问题：分类置信度 与 Mask IOU 的偏差

( Mask RCNN 是对每个类别独立地预测一 个二值掩模 ，没有引入 类间竞争 ， 每个二值掩模 的类别依靠 网络RoI分类分支给出的 分类 score 。但是，由下图可见 ，分类 score 与 MaskIoU 的相关性并不好. )

解决： 模型学习每个 Mask 与 gt 之间的 IOU score 乘 分类 score 。

• 实例分割利用预测 Mask 与 groud truthMask 之间的像素级 IoU 来描述实例分割质量，提出了一种直接学习 IoU 的网络。( MaskIoU )

• 一旦我们在测试阶段得到了预测的 Mask 分数，通过将预测的 Mask 分数与分类分数相乘 来重新评估Mask分数。因此，Mask Score 同时考虑语义类别和实例 Mask 的完整性。

Mask RCNN

Mask RCNN 简单回顾

• 第一阶段是区域建议网络(RPN)。它提出了候选对象边界框，而不考虑对象类别。
• 第二阶段称为R-CNN阶段，对每个proposal使用RoIAlign提取特征，并进行proposal分类、bbox 回归和Mask预测。

Network

网络模块 MaskIoU head 把 Mask Head 的输出(预测)与 pooling 后的 ROI 的特征 作为该分支的输入，去回归 mask IOU。

MaskIoU head

论文中将 mask score learning task 分解成 mask classification 和 IoU regression，如上图

• 在Mask head的基础上，加了一个分支，将 ROI对齐后的特征 与得到的