【算法思考】端到端实例分割模型 SOLO

背景

不同于语义分割，实例分割不仅需要输出图像的语义蒙版，还要对图像中不同的实例作区分。如下图所示，实例分割任务需要多不同的羊做区分，输出不同的实例蒙版。

由于图片中实例个数的不确定性，实例分割一直以来都是比较难的话题。因此在端到端的方法问世之前，大多数方法可以分为两类：一类是先做目标检测，提出包围盒，然后从包围盒中分割出语义实例，比如 mask RCNN。另一类是给每个像素预测出一个向量表示，然后基于向量表示进行聚类。如果想要了解这两类方法的一些具体做法，可以参考 SOLO 这篇论文中的一些讨论。我们今天主要介绍的也是SOLO这篇文章的算法，其可以说是第一篇能做到端到端训练实例分割任务的模型，不要任何包围盒的辅助。

工作

SOLO这篇工作中提出了三个模型，分别是SOLO HEAD，Decoupled SOLO Head，Decoupled SOLO Light Head。我们今天把Decoupled SOLO Light Head的架构拿出来进行分析，方便大家深度了解这篇工作。

首先，如果输入是 288x384, 那么其网络的数据流和架构如下所示：