【阅读笔记】《Mask Scoring R-CNN》（MaskRCNN）

本文记录了博主阅读论文《Mask Scoring R-CNN》的笔记，代码。更新于2019.04.19。

Abstract

用于实例分割。

Introduction

主要贡献：

• 文中提出的Mask Scoring R-CNN是首个解决scoring instance segmentation hypothesis问题的架构，提供了实例分割提升精度的新方向。考虑到instance mask的完整性，score of instance mask在高分类score而mask不好的情况下可以被惩罚。
• MaskIoU head简单有效。在COCO数据库下，使用MS R-CNN可以提升AP约1.5%。

Related Work

Instance Segmentation

Detection Score Correction

Method

Motivation

在Mask R-CNN中，score of a detection（也就是实例分割）是由分类score中最大值决定的。但是由于背景混乱、遮挡等问题，很有可能分类score很高但是mask效果很差，如下图所示：

下图比较中使用的是Mask R-CNN with ResNet-18 FPN，COCO 2017 验证集。比较显示，classification score和MaskIoU在Mask R-CNN中没有多少相关性。

Mask scoring in Mask R-CNN

Mask Scoring R-CNN在概念上还是相对简单的：即带有MaskIoU Head的Mask R-CNN，其输入为实例特征和predicted mask，随后估计输入mask和真值mask之间的IoU，如下图所示。

Mask R-CNN： 先简单回顾一下Mask R-CNN。在Faster R-CNN之后，Mask R-CNN包括两个阶段。第一阶段是Region Proposal Network（RPN），其提供无类别的candidate object bounding boxes；第二阶段称为R-CNN阶段，其通过RoIAlign提取每个proposal的特征，并进行proposal分类、bounding box回归和mask估计。

Mask scoring： 定义${\text{s}}_{\text{mask}}$为score of the predicted mask，其概念与predicted mask和对应的ground truth mask之间的像素级IoU等