实例分割
zero-shot
1. Zero-Shot Instance Segmentation
keywords:视觉特征、词向量,更新背景类别
用seen的类别训练,要求在测试中分割出seen和unseen类别的物体。--> 利用一个额外特征词向量作为媒介,把问题的核心转换为如何利用额外特征在特征空间对齐视觉特征和语义信息,并迁移到没有见过的新类上。
方法概述:
SMH:在训练时,将图像特征映射为语义-文字特征向量
zero-shot decteror,采用编码解码结构,但测试的时候只用编码器
BA-RPN and Synchronized Background:
BA-RPN利用T将视觉特征转换成语义特征,用v_b替换ws、wu、ws-conv和wu-conv中的背景向量组成。通过loss训练,得到新的vb。
2.RefineMask: Towards High-Quality Instance Segmentation with Fine-Grained Features
keywords:细粒度特征,逐级细化
基于mask rcnn存在的问题是边界错误,其原因有二,深层feature空间尺寸较小,难以保留细节信息、池化操作例如ROI Pooling造成了细节信息的丢失。
本文通过多阶段的方式在IS中融合了细粒度的特征。通过逐级融合更多的细节信息,得到准确的边界。
语义分割: