Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation

最新推荐文章于 2022-07-25 13:30:52 发布
原创 最新推荐文章于 2022-07-25 13:30:52 发布 · 2k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文笔记

本文探讨了在仅有弱监督数据（如图像级标签、边界框标注）或少量强监督数据的情况下，如何训练深度卷积神经网络进行图像语义分割。提出了一种基于期望最大化（EM）的方法，在这种设置下训练模型，并在PASCAL VOC 2012基准测试上取得了竞争性的结果，显著减少了标注工作量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

abstract

Deep convolutional neural networks (DCNNs) trained on a large number of images with strong pixel-level annotations have recently significantly pushed the state-of-art in semantic image segmentation. We study the more challenging problem of learning DCNNs for semantic image segmentation from either

  1. weakly annotated training data such as bounding boxes or image-level labels or
  2. a combination of few strongly labeled and many weakly labeled images, sourced from one or multiple datasets.

We develop Expectation-Maximization (EM) methods for semantic image segmentation model training under these weakly supervised and semi-supervised settings. Extensive experimental evaluation shows that the proposed techniques can learn models delivering competitive results on the challenging PASCAL VOC 2012 image segmentation benchmark, while requiring significantly less annotation effort. We share source code implementing the proposed system at https://bitbucket.org/deeplab/deeplab-public.

Proposed Methods

像素级别的标注（全监督）

目标函数是：
J ( θ ) = log ⁡ P ( y ∣ x ; θ ) = ∑ m = 1 M log ⁡ P ( y m ∣ x ; θ ) J(\boldsymbol{\theta})=\log P(\boldsymbol{y} | \boldsymbol{x} ; \boldsymbol{\theta})=\sum_{m=1}^{M} \log P\left(y_{m} | \boldsymbol{x} ; \boldsymbol{\theta}\right) J(θ)=logP(y∣x;θ)=m=1∑M​logP(ym​∣x;θ)
式中， θ \theta θ是DNN的参数，每个像素的标签分布可以按照下式计算：
P ( y m ∣ x ; θ ) ∝ exp ⁡ ( f m ( y m ∣ x ; θ ) ) P\left(y_{m} | \boldsymbol{x} ; \boldsymbol{\theta}\right) \propto \exp \left(f_{m}\left(y_{m} | \boldsymbol{x} ; \boldsymbol{\theta}\right)\right) P(ym​∣x;θ)∝exp(fm​(ym​∣x;θ))
式中， f m ( y m ∣ x ; θ ) f_{m}\left(y_{m} | \boldsymbol{x} ; \boldsymbol{\theta}\right) fm​(ym​∣x;θ)是DCNN在第 m m m个像素的输出，使SGD即可优化 J ( θ ) J(\boldsymbol{\theta}) J(θ)

图象级别的标注

当只有图像级注释可用时，我们可以观察到图像像素值 x \boldsymbol{x} x和图像级标签 z \boldsymbol{z} z，但像素级分割结果 y \boldsymbol{y} y是潜在变量。建立如下概率图模型：
P ( x , y , z ; θ ) = P ( x ) P ( y ∣ x ; θ ) P ( z ∣ y ) = P ( x ) ( ∏ m = 1 M P ( y m ∣ x ; θ ) ) P ( z ∣ y ) P(\boldsymbol{x}, \boldsymbol{y}, \boldsymbol{z} ; \boldsymbol{\theta})=P(x)P(y|x;\theta)P(z|y)=P(\boldsymbol{x})\left(\prod_{m=1}^{M} P\left(y_{m} | \boldsymbol{x} ; \boldsymbol{\theta}\right)\right) P(\boldsymbol{z} | \boldsymbol{y}) P(x,y,z;θ)=P(x)P(

最低0.47元/天 解锁文章

200万优质内容无限畅学
【论文总结】weakly- and semi-supervised learning of a DCNN for semantic Image Segmentation
u011582187的专栏
05-13 5717
一、概述这篇文章研究了如何从弱注释的训练数据（如边界框或图像级标签）或少量强标记图像和许多弱标记图像的组合中学习DCNN用于语义图像分割的问题，在弱超监督和半监督条件下提出了期望最大化（EM）方法。代码：https://bitbucket.org/deeplab/deeplab-public二、研究内容文章将焦点放在用弱标签训练调参上，所以训练阶段没使用CRF，只在测试阶段使用。编码：m表示像素，...
17-WILDCAT-Weakly-Supervised-Learning-of-DeepConvNets
u010067397的专栏
12-23 1380
who(对谁有效) 弱监督 图像语义分割 where 只有图像级标签的数据 when CVPR 2017 what（WILDCAT是什么） 这篇论文提出了一个框架，可以使用弱监督的方法识别一个物体显著的局部特征。 首先我们来直观感受下结果，如下图所示，WILDCAT可以识别狗的头部和腿部信息，从而利用这些信息来对狗进行Localization和segmentation. 结构 ...
Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for.pdf
05-22
Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for.pdf Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for.pdf
论文笔记（6）：Weakly-and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segme...
weixin_30604651的博客
01-31 357
这篇文章的主要贡献点在于： 1.实验证明仅仅利用图像整体的弱标签很难训练出很好的分割模型； 2.可以利用bounding box来进行训练，并且得到了较好的结果，这样可以代替用pixel-level训练中的ground truth； 3.当我们用少量的pixel-level annotations和大量的图像整体的弱标签来进行半监督学习时，其训练效果可和全部使用pixel-leve...
gcn语义分割_弱监督语义分割论文阅读（一）
weixin_29587979的博客
01-11 542
GraphNet: Learning Image Pseudo Annotations for Weakly-Supervised Semantic Segmentation（2018 ACM MM）一.总览该文章利用bboxing 和 Scribble 作为先验，接着对图片提取卷积层的特征作为像素embedding和超分辨的区域。最后利用GraphNet提取得到相应的类别标签，而后利用可置信的...
Weakly-Supervised Semantic Segmentation via Sub-category Exploration
青灵_Yaffa的博客
07-18 1515
Weakly-Supervised Semantic Segmentation via Sub-category ExplorationAbstract问题1.Introduction Abstract 现有的使用图像级标注的弱监督语义分割方法通常依赖于初始响应来定位目标区域。然而，分类网络生成的这种响应图通常集中在有区别的对象部分，因为网络不需要优化目标函数的整个对象。为了强制网络关注对象的其他部分，我们提出了一种简单而有效的方法，通过利用子类别信息引入一个自我监督任务。具体来说，我们对图像特征进行聚类，
【CVPR2020】Semi-Supervised Semantic Image Segmentation with Self-correcting Networks
PRIS-SCMonkey的博客
04-13 4608
在本文中，介绍了一种有原则的半监督框架，该框架仅使用一小组完全监督的图像（具有语义分割标签和检测框标签：Boundingbox+mask）和一组仅具有对象边界框标签的图像（具有检测框标签：Boundingbox）。框架借助一个辅助模型（该模型为弱集生成初始分割标签）和一个自校正模块来训练主分割模型，该模块使用越来越精确的主模型在训练过程中改善了生成的标签。
论文梳理：Associating Inter-Image Salient Instances for Weakly Supervised Semantic Segmentation
lgy_study的专栏
01-24 543
论文标题：Associating Inter-Image Salient Instances for Weakly Supervised Semantic Segmentation 论文来源：ECCV 2018 研究内容：使用图像标记进行弱监督语义分割
Image-Level 弱监督图像语义分割汇总简析
小白学视觉
07-25 1278
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达来源：知乎作者：Uno Whoiam链接：https://zhuanlan.zhihu.com/p/80815225本文已由作者授权转载，未经允许，不得二次转载。总结Image-Level 的弱监督语义分割基本都是以 CAM 作为起点，然后迭代训练，过程中不断恢复出 object 的 mask，各论文...
【阅读笔记】《Weakly- and Semi-Supervised Panoptic Segmentation》（一）——论文部分
ShuqiaoS的博客
03-04 4226
本文记录了博主阅读论文《Weakly- and Semi-Supervised Panoptic Segmentation》的笔记，论文有代码，主页。 更新于2019.02.27。 文章目录AbstractIntroductionRelated WorkProposed ApproachTraining with weaker supervisionApproximate ground truth...
【阅读笔记】《Weakly- and Semi-Supervised Panoptic Segmentation》（二）——代码部分
ShuqiaoS的博客
03-11 1337
本文记录了论文《Weakly- and Semi-Supervised Panoptic Segmentation》的代码的阅读笔记。更新于2019.03.08。 文章目录demo_instanceTrainId_to_dets.minstanceTrainId_to_dets.mdemo_merge_cam_mandg.mdemo_make_iterative_gt.m其他说明get_opts....
Adversarial Learning for Semi-Supervised Semantic Segmentation(BMVC2018)
feitianlzk的博客
08-04 1080
Adversarial Learning for Semi-Supervised Semantic Segmentation 本文核心要点如下 SegNet as Generator Discriminator: use a FCN(HxWxC -> HxWx1) Semi-supervised: 对于unlabeled data, adv loss, (fix D, maximi...
Weakly Supervised Cascaded Convolutional Networks阅读笔记
CZ505632696的博客
01-10 1489
一、摘要部分   摘要部分是说他们针对弱监督情况下检测或分类任务提出了级联的网络架构，他们提出了两种模型结构，第一种结构分为两步，还有有一种结构分为三步，比第一种中间多了目标分割。实验是在PASCAKL VOC2007，2010，2012和ILSCRC 2013、2014上做的。 二、两步结构 两步分别是定位和多实例学习，这两步共享前面的卷积网络。 1、定位   通过一个带有全局池化层的去全卷积...
多篇用DL做Semantic Segmentation的文章总结
热门推荐
轻枫叶跃的专栏
10-27 2万+
这是我在其中一篇文章(deconvolution network)中看到的近期一些方法的评估表: 下面谈到的一些文章整理都是关于以上的方法。 1.      FCN8s 文章出处：CVPR2015-FullyConvolutional Networks for Semantic Segmentation CNN对分类问题的效果非常好，但不适合直接做分割； CNN模型的输
图像语义分割
Marshall的专栏
09-15 1万+
从特斯拉到计算机视觉之「图像语义分割」 关于图像语义分割的总结和感悟 FCNN: Fully Convolutional Networks for Semantic SegmentationDeeplab: Semantic Image Segmentation with Deep Convolutional Nets and Ful
ICCV2017关于GAN和semantic文章
Touch_Dream的博客
10-18 4160
ICCV 2017文章（http://openaccess.thecvf.com/ICCV2017.py） 1、关于semantic  Visual Semantic Planning Using Deep Successor Representations Yuke Zhu,  Daniel Gordon,  Eric Kolve,  Dieter Fox, 
《弱监督/半监督的DCNN图像分割》笔记
lytxiaohou的博客
12-19 3878
《Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation》笔记学习笔记，如有谬误，还请不吝赐教！解决的问题以及方法分类标签EM-FixedEM-AdaptBoundingbox标签Bbox-RectBbox-SegBbox-EM-Fixed后记 Sema...
【阅读笔记】《An End-to-End Network for Panoptic Segmentation》
ShuqiaoS的博客
04-09 2695
本文记录了博主阅读论文《An End-to-End Network for Panoptic Segmentation》的笔记，论文代码如果公布则回来更新。更新于2019.04.09。 文章目录AbstractIntroductionRelated Work实例分割语义分割全景分割多任务学习Proposed End-to-end Framework端到端网络结构空间排序模块Experiments数...
Multi-class Token Transformer for Weakly Supervised Semantic Segmentation
最新发布
03-26
<think>好的，我现在需要帮助用户了解多类标记Transformer（MCTformer）在弱监督语义分割中的应用或实现。首先，我得先回顾一下用户提供的引用内容，看看有哪些关键点需要覆盖。 根据引用[2]和[4]，MCTformer的核心是使用多个类别特定的token，替代传统ViT中的单一cls token。这样每个类别的token可以生成对应的注意力图，从而定位不同类别的对象。这点很重要，需要详细解释。 然后，用户提到实现和应用。应用方面，引用[5]指出MCTformer能生成高质量的伪标签，用于训练语义分割模型。实现的话，可能需要包括模型架构，比如多类token的设计，类感知训练策略，以及如何结合补丁到补丁的注意力来优化定位图，如引用[2]所述。 还有，引用[3]讨论的过度平滑问题，MCTformer可能通过多类token和注意力机制来缓解，这也是一个值得提到的点。此外，如何与CAM互补，如引用[2]和[5]提到的，需要说明两者结合的优势。 用户可能需要具体的实现步骤或代码结构，但根据引用中没有提供代码，可能需要从架构层面描述。例如，模型由哪些部分组成，训练时如何利用多类token，如何计算损失等。 需要确保回答结构清晰，分点说明原理、实现步骤和应用场景，并引用正确的来源。同时，要使用中文，数学公式用$...$，独立公式用$$...$$，但根据问题描述，可能不需要太多公式，但如果有的话要注意格式。 最后，生成相关问题，帮助用户进一步探索。比如优化方法、与其他技术的对比、实验效果等。这些问题应该基于引用内容，比如引用[3]提到的过度平滑解决方案，可以作为相关问题之一。 现在，整理这些思路，确保覆盖所有关键点，引用正确的文献，并保持回答的自然流畅。</think>### 多类标记Transformer（MCTformer）在弱监督语义分割中的应用与实现 #### 核心原理 1. **多类标记设计** 传统视觉Transformer（ViT）仅使用单个`[CLS]`标记生成类别无关的注意力图（class-agnostic）。而MCTformer引入与类别数量相等的多个`[CLS]`标记，每个标记对应一个特定类别（class-specific）。通过类到补丁（class-to-patch）的注意力机制，可直接定位不同类别对象的空间区域[^4]。 **数学表示**：设类别数为$C$，则注意力图矩阵为$A \in \mathbb{R}^{C \times N}$（$N$为图像块数量），每个类别对应一行注意力权重。 2. **补丁间关联优化** 通过补丁到补丁（patch-to-patch）的Transformer自注意力，捕捉图像块之间的语义关联性。例如，若两个补丁的注意力权重较高，则可能属于同一物体。这有助于细化初始定位图，解决边界模糊问题[^2]。 3. **与CAM的互补性** MCTformer生成的注意力图可与传统的类激活图（CAM）结合： $$ L_{final} = \alpha L_{MCT} + (1-\alpha)L_{CAM} $$ 其中$\alpha$为权重系数，实验表明两者结合可显著提升伪标签质量[^5]。 #### 实现步骤 1. **模型架构** - **输入**：图像分割为$N$个补丁，嵌入为序列$X \in \mathbb{R}^{N \times d}$。 - **多类标记**：添加$C$个可学习的类别标记$\{t_1, t_2, ..., t_C\}$，构成输入序列$[t_1, t_2, ..., t_C; X]$。 - **Transformer编码器**：通过多层自注意力计算，输出标记与补丁的交互特征。 2. **类感知训练策略** - 仅用图像级类别标签监督，损失函数为多标签分类损失： $$ \mathcal{L}_{cls} = -\sum_{c=1}^C y_c \log(p_c) $$ 其中$y_c$为类别$c$的标签，$p_c$为预测概率。 - **注意力图生成**：从最后一层Transformer提取类标记与补丁的注意力权重，归一化后得到定位热图。 3. **定位图优化** - 利用低层Transformer的patch-to-patch注意力构建亲和矩阵$S \in \mathbb{R}^{N \times N}$，通过随机游走（Random Walk）优化初始定位图： $$ \hat{A}_c = S \cdot A_c $$ 其中$A_c$为类别$c$的初始注意力图。 #### 应用场景 1. **伪标签生成** MCTformer输出的定位图可直接作为语义分割模型的训练标签。例如，在PASCAL VOC数据集上，其生成的伪标签mIoU达到68.2%，优于CAM基线（56.3%）[^5]。 2. **与其他技术的结合** - **弱监督目标检测**：定位图可扩展用于对象边界框预测。 - **医学图像分析**：在标注稀缺的医疗影像（如肿瘤分割）中减少人工标注成本。 #### 代码框架（伪代码） ```python class MCTformer(nn.Module): def __init__(self, num_classes, embed_dim): super().__init__() self.cls_tokens = nn.Parameter(torch.randn(num_classes, embed_dim)) # 多类标记 self.transformer = TransformerEncoder() # 标准Transformer编码器 def forward(self, x): # x: [batch_size, num_patches, embed_dim] cls_tokens = self.cls_tokens.unsqueeze(0).expand(x.size(0), -1, -1) x = torch.cat([cls_tokens, x], dim=1) # 拼接多类标记 x = self.transformer(x) # 提取类标记与补丁的注意力权重 attn_weights = self.transformer.get_last_selfattention()[:, :, :num_classes, :] return attn_weights ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值