语义分割--End-to-End Instance Segmentation with Recurrent Attention

End-to-End Instance Segmentation with Recurrent Attention
CVPR2017
https://github.com/renmengye/rec-attend-public

本文针对 Instance Segmentation 使用 recurrent neural network (RNN) architecture 将每个物体依次定位分割出来，使用了 an attention mechanism to model a human-like counting process

2 Recurrent attention model
我们的系统包括四个部分：1） an external memory 用于记录每个分割物体的状态，2）box proposal network 用于定位感兴趣物体，3） segmentation network 对矩形框内物体进行像素级别分割，4） scoring network 用于判断一个物体是否被发现和是否结束分割
整个系统分割实例图：

网络结构示意图：

Input pre-processing 输入图像预处理
这里我们训练了一个 FCN 作为预处理系统，这个FCN 包括两个部分：1）一个 有 skip connections 的 DeconvNet 用于前景检测，2）第二个模块是参照文献【40】输出每个物体的 an angle map

2.1. Part A: External memory
这个模块主要用于在已经分割一部分物体的基础上下一步要分割图像的哪个区域
To decide where to look next based on the already segmented objects, we incorporate an external memory , which provides object boundary details from all previous steps.

2.2. Part B: Box network
定位出下一个要分割的物体，这里使用了 LSTM
localizing the next object of interest

2.3. Part C: Segmentation network
这个部分就是基于单个物体的语义分割，使用了 a variant of the DeconvNet [ 29 ] with skip connections

2.4. Part D: Scoring network
用于对已分割物体计数和终止分割流程
To estimate the number of objects in the image, and to terminate our sequential process

2.5. Loss functions
这里主要定义三个损失函数： the segmentation matching IoU loss L-y ; the box IoU loss L-b ; and the score cross-entropy loss L-s

4 Experiments

Cityscapes instance-level segmentation results

分割效果图