1. Deep Snake用于实例分割
- 提出基于学习的snake算法用于实时实例分割,对初始轮廓调整至目标边界,并且引入循环卷积(circular convolution)进行轮廓特征的学习。
- 提出two-stage流程进行实例分割,先初始化轮廓再调整轮廓,两个步骤均可以用于修正初始定位的误差。
- Deep snake能在多个实例分割数据集上达到SOTA,对于512的图片输入能达到32.3fps
2. YOLACT:Real-time Instance Segmentation
论文:https://arxiv.org/abs/1912.06218
作者团队:加利福尼亚大学戴维斯分校
时间:2019年12月16日
在 COCO 上,34.1 mAP,速度高达 33.5 FPS!
它主要是通过两个并行的子网络来实现实例分割的:
(1)Prediction Head分支生成各个anchor的类别置信度、位置回归参数以及mask的掩码系数;
(2)Protonet分支生成一组原型mask。然后将原型mask和mask的掩码系数相乘,从而得到图片中每一个目标物体的mask。
YOLACT是一个one-stage模型,它和two-stage的模型(Mask R-CNN)相比起来,速度更快,但是精度稍差一些
3.Mask Encoding for Single Shot Instance Segmentation
作者 | Rufeng Zhang, Zhi Tian, Chunhua Shen, Mingyu You, Youliang Yan
单位 | 同济大学;阿德莱德大学;华为诺亚方舟实验室
代码 | https://github.com/aim-uofa/AdelaiDet/
one-stage的实例分割方法的AP没有two-stage的高,主要原因是one-stage的方法很难紧凑地表示mask。作者提出了single-shot的实例分割框架MEInst。MEInst无需直接预测二维mask,而是将其提炼成一个紧凑且固定的二维表示矢量,从而使实例分割任务可以合并到一个阶段的边界框检测器中并生成一个简单而有效的实例分割框架。
1)将二维实例腌膜编码为紧凑的表示向量。 这个压缩的向量利用了原始腌膜中的冗余,并被证明对重建是有效的。可以使用一些字典学习方法来完成编码,包括PCA,稀疏编码和自动编码器。 在这里,我们显示即使是最简单的PCA也已经足够进行腌膜编码。
(2)通过这种腌膜表示,通过扩展FCOS和腌膜分支用于腌膜系数回归,引入了一个用于单阶段实例分段的新框架,称为基于掩码编码的实例分段(MEInst)。
(3)最佳模型在COCO测试集中获得38.2%的掩膜AP,在准确性和速度之间取得了良好的平衡。
————————————————
版权声明:本文为优快云博主「玉米泡」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.youkuaiyun.com/weixin_42102791/article/details/106987308
4. PolarMask: Single Shot Instance Segmentation with Polar Representation
代码:https://github.com/xieenze/PolarMask
来自作者本人的详细解读:Johnny ez:(CVPR20'Oral) PolarMask: 一阶段实例分割新思路
基于FCOS,把实例分割统一到了FCN的框架下。
原文链接:
https://blog.youkuaiyun.com/moxibingdao/article/details/106894205
https://blog.youkuaiyun.com/wh8514/article/details/105520870/
https://blog.youkuaiyun.com/weixin_42102791/article/details/106987308