CenterMask paper笔记

CenterMask:实时无锚点实例分割技术详解

原创

已于 2023-02-21 14:56:19 修改 · 568 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#目标检测 #深度学习 #计算机视觉

于 2023-02-21 14:53:12 首次发布

CenterMask是一种基于FCOS的实例分割模型，使用VoVNetV2改进的backbone和SAGMask进行特征提取。它通过在FCOS预测的目标框基础上应用注意力机制生成掩模。backbone的改进包括OSA模块的残差连接和eSE通道注意力。此外，AdaptiveRoIAssignmentFunction的调整提高了对小目标的检测精度。SAGMask利用空间注意力机制生成掩模。文章还讨论了训练策略和损失函数，并进行了消融研究以验证各个组件的效果。

CenterMask是一个anchor free的实例分割模型，
来自paper: CenterMask: Real-Time Anchor-Free Instance Segmentation

提起anchor free, 会想到FCOS模型，是用来目标检测的，
那么这里就用到了FCOS, 不过换了backbone,

在FCOS检测出目标框后，提取目标框内的特征，用了一个SAG Mask，这是一个spatial attention module,
这个attention的输出会和输入端相乘，再上采样，过1x1 conv, 就得到了每个class的mask，

具体见下面的结构图：

在这里插入图片描述

backbone的改进

backbone用的是VoVNetV2, 改进自VoVNet(paper)，这篇paper没有看，就不在这里展开了，但是有几个改进的点如下。

1.OSA模块添加residual connection

把OSA模块叠加之后，发现效果是下降的，比如VoVNetV1-99, 作者联想到和ResNet的原理有关，于是在每个OSA模块中都添加了residual connection, 提升了效果。

2.eSE channel attention

VoVNet中用的是SE（Squeeze-Excitation）channel attention, 作者发现FC layer会减少channel size, 引起channel信息的损失。所以将两个FC layer换成了一个，保持了channel的维度，防止信息的损失，提升了效果。
改进后成为effective SE (eSE).

在这里插入图片描述

前面说了，CenterMask是在FCOS预测的目标框基础上提取mask,
类似Mask R-CNN,
ROI是根据FPN中不同层的feature中预测的，所以ROI Align也应该从FPN的不同层中提取特征。
至于在哪个层中提取，有一个函数。

Adaptive RoI Assignment Function的改进

直觉上来说，大尺寸的ROI对应的感受野大，应该从FPN的高层中提取feature，反之同样。
在Mask R-CNN中，FPN的层数是这样指定的：
在这里插入图片描述
k0是4，w,h是每个ROI的宽和高。
224是imageNet的输入，这个是写S的。
也就是说，看ROI和input size的比例，以4层为中心移动，
如果刚好w和h都是224, 那么log项为0，就从第4层提取，如果w和h都是112，log项为-1，k=3。