【Deep Snake】DeepSnakeforReal-TimeInstanceSegmentation

浙江大学 CVPR 2020 oral

paper

code

---

从论文题目就可以看出论文要做的事情：实时的实例分割。方法，就是利用snake algorithm，但是这里结合深度学习，进而表述为Deep snake

overview

---

本文使用基于轮廓(contour-based)的deep snake方法，其中，论文提出自己的做法（Innovation）circlular convolution来更好取捕捉contour信息。将整个方法步骤分为2个阶段: initial contour proposal和contour deformation

最终论文的结果：可以在Cityscapes, Kins and Sbdatasets上获得了最好的成绩，且real-time(32.3fps, 512x512 images on 1080Ti GPU)。

Related work

---

现在有许多的pixel-wise分割方法，同样也有另一种形状表达：object contour

• 轮廓表达：这个方法用在实例分割上也有很长一段历史了，可追溯到1988年Kass的论文Snakes。整体思想：给定一个初始的轮廓，之后利用snakes algorithm来迭代的调整轮廓到物体的边界，这个迭代优化的过程就是不断优化一个energy functional，能量函数指的是轮廓能量和图能量的总和（一般只能达到局部最优）
• 近来也有利用contour去表达目标的实时分割方法，但是效果同pixel-wise仍有和的那差距。
• CVPR2019的一篇论文Fast interactive object annotation with curve-gcn，论文也使用了Snake algorithm向object boundary调整初始contour（将contour视为graph，并且使用graph convolutional network去预测offset）。做到的结果就已经很好了，且很快。所以本文算是对Snakes: Active contour models、Fast ineractive object annotation with curve-gcn的上层工作啦。大致步骤如下：

Detail

---

• Learning-based snake algorithm

  • 对于Deep snake，给定contour作为输入，contour的表达则用N个顶点(vertices) { X i ∣ i = 0 , 1 , 2 , . . . N } {\{X_i|i=0,1,2,...N\}} { X