Mask R-CNN

Mask R-CNN

3. Mask R-CNN

mask RCNN在概念上很简单，faster RCNN对于每个候选对象都有两个输出，一个类标签和一个bounding box偏移量，在此基础上，我们添加了输出为object mask的第三个分支。但是附加的mask不同于其他两个输出，需要提取对象更精细的空间布局，接下来，我们将介绍mask RCNN的关键，包括像素对像素对齐，这是daster RCNN主要缺失的部分。

Mask R-CNN: 很多最近的系统的分类取决于mask的预测，而我们的方法遵循fast RCNN的精神，它并行的应用bounding box分类和回归。

在训练过程中，我们将每个抽样RoI上的多任务损失定义为：

Lcls和Lbox的损失和Fast RCNN中的损失相同，mask分支对每个RoI有一个Km2的输出，它编码分辨率为m×m的K个二进制mask，每个K类编码一个。为此，我们应用了一个每个像素的sigmoid，并定义了平均二进制交叉熵损失。对于与grounding box相关联的RoI，Lmask仅定义在第k个mask上（其他mask输出不造成损失）

我们对Lmask的定义允许网络为每个类生成mask，而不需要类之间的竞争，我们依靠专用的分类branch来预测类别标签，这个类别标签用来选择输出mask的类标签。这将分离mask和class的预测。这与FCN应用于语义分割时的做法