【论文阅读】IRNet:具有像素间关系的实例分割的弱监督学习

文章介绍了一种新的实例分割方法IRNet,它通过图像级类标签进行弱监督学习,生成高质量的伪实例分割标签。IRNet利用注意力图和像素间关系,包括位移向量场和类边界检测,显著提高了实例分割的性能。实验结果表明,IRNet在PASCALVOC2012数据集上表现出色。

【论文阅读】IRNet:具有像素间关系的实例分割的弱监督学习


Weakly Supervised Learning of Instance Segmentation with Inter-pixel Relations

本文提出了一种以图像级类标签为监督的学习实例分割的新方法

方法生成训练图像的伪实例分割标签,用于训练全监督模型

  

生成伪标签,我们首先从图像分类模型的注意力图中识别对象类的置信种子区域

并传播它们以发现具有精确边界的整个实例区域

  

提出了IRNet,它估计单个实例的粗略区域,并检测不同对象类之间的边界

实例标签分配给种子,并在边界内传播它们

从而可以准确地估计实例的整个区域

  

IRNet是用注意力图上的像素间关系进行训练的,因此不需要额外的监督

在PASCAL VOC 2012数据集进行对比实验

  

一、介绍

实例分割是一项联合估计单个对象的类标签和分割掩码的任务。

卷积神经网络(CNNs)的监督学习推动了实例分割的最新进展

  

方法需要大量带有基本事实标签的训练图像,而这些图像通常是手工给出的

学习能够处理现实世界中不同对象类的实例分割模型并不简单

  

弱标签的低注释成本

可以利用图像级类标签来学习实例分割,因为这样的标签在大规模图像分类数据集中很容易获得

CAM通过调查局部图像区域对类分类分数的贡献来粗略估计每个类的面积

cam不能直接用作实例分割的监督,因为它们的分辨率有限,通常只突出对象的部分区域

  

提出了一种使用图像级类标签学习实例分割的新方法

甚至优于一些依赖于更强监督的方法

我们的方法对给定图像级标签的训练图像生成伪实例分割标签,并用伪标签训练已知的CNN模型

  

为了克服cam的这些局限性,我们引入了像素间关系网络(IRNet),该网络用于估计与cam互补的两种类型的附加信息

  • 类别无关的实例映射
  • 配对语义亲和力

IRNet有两个分支,分别估计实例映射和语义关联。

  

  • 第一个分支预测一个位移向量场,其中每个像素处的2D向量表示像素所属实例的质心。
  • 第二个分支检测不同对象类之间的边界。然后从检测到的边界以这样的方式计算成对语义亲和力,即被强边界分隔的两个像素被认为是具有低语义亲和力的一对

  

我们发现IRNet可以有效地训练来自cam的像素间关系

    <
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值