Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation论文解读

最新推荐文章于 2024-06-09 09:44:31 发布
原创 最新推荐文章于 2024-06-09 09:44:31 发布 · 3.6k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉

（ CVPR 2020｜中科院VIPL实验室 ）
1.要解决的问题：

基于类别标签的弱监督语义分割是一个具有挑战性的问题，类别响应图（class activation map，简称CAM）始终是这一领域的基础方法。但是由于强监督与弱监督信号之间存在差异，由类别标签生成的CAM无法很好地贴合物体边界。因为在强监督语义分割的数据增广阶段，像素层级标注和输入图像需经过相同的仿射变换，自此这种同变性约束被隐式地包含，而这种约束在只有类别标签的CAM的训练过程中是缺失的，类别标签没有变化，原数据data做了scale处理，因而会影响CAM的训练过程。

（CAM: 类别响应图，根据图像中的不同类别，来为图像中的不同物体打分，一般是前景图高分，后景图低分，以此来生成的热力图）

 
2.贡献：
1 .提出self-supervised equivariant attention mechanism （SEAM）模型，结合pixel correlation module(PCM) ,减少了全监督与弱监督的gap.
2.利用（ECR）loss 优化了孪生网络（两个相同网络共享权重）
3.在主流数据
最低0.47元/天 解锁文章
阅读笔记：Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
02-01 2501
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation 基于等变注意力机制的弱监督语义分割 论文来源：https://arxiv.org/abs/2004.04581v1 源码：https://github.com/YudeWang/SEAM 1概述 语义分割是计算机视觉领域一个基础性任务。它通过预测图像的像素级分类结果，以形成图像语义分割的mask，从而...
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
m0_50888279的博客
09-17 336
A new way to generate CAMs by equivalent after affine PCM ( Pixel Correlation Module): less some function: avoid over-fitting no residual: keep the same activation intensity of the original CAM ReLU: ?We use ReLU activation function with L1 normalizatio
2020CVPR:Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
THE XING
04-13 4994
[2020 CVPR (Oral)] Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation 目录
自注意力机制_自监督等变注意力机制
weixin_39929877的博客
12-19 758
来源：CVPR 2020论文题目：Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation论文地址：https://arxiv.org/abs/2004.04581本文作者提出了一个Self-supervised Equivariant Attention Mechanis...
CVPR2020|论文阅读——SEAM：Self-supervised Equivariant Attention Mechanism
Liaojiajia-Blog
12-04 1185
SEAM Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation 论文阅读分享PPT
Self-supervised Equivariant Attention Mechanismfor Weakly Supervised Semantic Segmentation.zip
02-02
针对这一挑战，研究者们提出了一种名为“Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation”的技术，简称为SEAM。SEAM技术的核心在于它结合了自监督学习和等变注意力...
Self-supervised Equivariant Attention Mechanism
qchongwangzhe的博客
10-18 234
1、为了使得网络保持某种性质或约束，可以设计对应的损失函数2、让网络保持某种性质或约束，实际上给模型提供先验知识，让模型更容易优化到合适的参数。3、注意力机制，可以融合不同的特征。
自监督论文阅读笔记 SAENet: Self-Supervised Adversarial and Equivariant Network for Weakly Supervised Object D
YoooooL_的博客
05-03 805
SAENet：用于遥感图像中 弱监督目标检测的 自监督对抗和等变网络 Abstract： 大多数工作倾向于通过 利用贡献最大的区域 来优化检测模型，从而被目标最具辨别力的部分所支配。同时，这些方法忽略了同一图像在不同空间变换之间的一致性，总是用不同的类来标记它们，这会引入潜在的歧义。 为了应对这些挑战，本文提出了一个独特的自监督对抗和等变网络 (SAENet)，旨在学习 RSI 中 WSOD 的互补和一致的视觉模式。为此，首先设计了一个对抗性的 ...
Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation
qq_49230659的博客
07-28 710
Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation摘要1. Introduction for Weakly-Supervised Semantic Segmentation) 论文地址 摘要 本文通过移除噪音来提升mapping function的准确性。本文提出self-supervised difference detection模块，通过预测mapping前后的分割掩码来减少noise。 1.
把因果干预用到弱监督语义分割上！这篇NeurIPS 2020 oral论文不简单
迈微AI研习社 · 号主
10-10 2642
本文介绍一篇今年被NeurIPS 2020收录的一篇oral文章:《Causal ...
《Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation》笔记
qq_24548569的博客
11-05 2294
Intorduction 该论文讲述如何用弱监督的方法训练语义分割器。弱监督方法没有强监督信息，比如ground truth。在这篇论文里，语义分割的样本标签只有图片的分类类别。已经有许多方法能够从分类信息中生成语义分割的mask。论文在这些工作的基础上，对生成的语义分割的mask调整成更加准确的mask。 输入的是粗糙的mask，输出是精细的mask的函数叫做mapping function。有...
论文阅读：Weakly-Supervised Semantic Segmentation via Sub-Category Exploration
m0_43409779的博客
11-21 2272
Abstract Introduction Related Work Weakly-Supervised Semantic Segmentation Algorithm Overview Preliminaries: Initial Response via CAM.
论文笔记：CVPR2022 Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation
Blair_2的博客
03-28 1586
任务：image-level标签的弱监督分割 Motivation：numerous semantically similar but visually different instances; for any two different concepts (e.g., cat and dog), all their instances are semantically different, even though some may look very similar with each other。且现
推荐：Causal Intervention for Weakly Supervervised Semantic Segmentation
gitblog_00002的博客
06-09 437
推荐：Causal Intervention for Weakly Supervervised Semantic Segmentation 项目介绍 Causal Intervention for Weakly Supervervised Semantic Segmentation(CONTA)是一个深度学习项目，旨在解决弱监督语义分割问题。由NeurIPS 2020会议论文提出，该项目提供了实现...
论文梳理：Associating Inter-Image Salient Instances for Weakly Supervised Semantic Segmentation
lgy_study的专栏
01-24 568
论文标题：Associating Inter-Image Salient Instances for Weakly Supervised Semantic Segmentation 论文来源：ECCV 2018 研究内容：使用图像标记进行弱监督语义分割
弱监督语义分割模型MCIS：Mining Cross-Image Sementics for Weakly Supervised Semantic Segmentation论文解读
tcltyan的博客
02-28 1650
MCIS是ECCV2020的一篇文章，它比较少见地讨论了利用inter-image information去做弱监督语义分割。文章在工作的motivation处指出，当前图像级标签监督下的语义分割大多数都在挖掘intra-image information上面下功夫，主要的研究思路集中在怎样用图像级标签和分类网络去找更多、更好的上下文信息，但却完全忽略了不同照片之间的的信息关联。 如原文图1所示，(a)部分展示了传统分类网络的训练以及产生目标定位图的简单框架，即训练时完全按照标准的分类网络训练方式，推理产
Weakly-Supervised Semantic Segmentation by Iteratively Mining Common Object Features-CVPR2018论文笔记
weixin_41950276的博客
09-30 3064
Abstract.   在图像标签的的监督下，弱监督的语义分割任务是一件很困难的事情，因为他直接将high-level semantic和low-level appearence结合了起来。 Introduction.   在图像的label的监督下，弱监督的语义分割是对于图像进行像素级的分割，只能给图像中已经现存的语义物体提供 label。由于semantic segmentation只需...
弱监督语义分割 SEAM
m0_53232957的博客
11-05 1408
图像级弱监督语义分割是一个具有挑战性的问题，已在重新深入研究分年。大多数先进的解决方案利用类激活化地图（CAM）。然而，CAM 很难充当由于充分监督和弱监督之间的差距而造成的对象掩模西翁。在本文中，我们提出了一种自我监督的等变注意力机制（SEAM）发现额外的监督并缩小差距。我们的方法基于观察到等变性是一个隐含的约束完全监督的语义分割，其像素级标签采用与输入图像相同的空间变换数据增强期间的年龄。然而，这个约束在经过图像级监督训练的 CAM 上丢失了。
shardingsphere整合springboot和mybatis实现分库分表
weixin_36338164的博客
12-29 976
1、springboot、mybatis整合sharding-jdbc，引用jar compile group: 'org.apache.shardingsphere', name: 'sharding-jdbc-spring-boot-starter', version: '4.0.0-RC1' compile group: 'org.apache.shardingsphere', name: 'sharding-jdbc-spring-namespace', version: '4.0.0-RC1'
Multi-class Token Transformer for Weakly Supervised Semantic Segmentation
最新发布
03-26
<think>好的，我现在需要帮助用户了解多类标记Transformer（MCTformer）在弱监督语义分割中的应用或实现。首先，我得先回顾一下用户提供的引用内容，看看有哪些关键点需要覆盖。 根据引用[2]和[4]，MCTformer的核心是使用多个类别特定的token，替代传统ViT中的单一cls token。这样每个类别的token可以生成对应的注意力图，从而定位不同类别的对象。这点很重要，需要详细解释。 然后，用户提到实现和应用。应用方面，引用[5]指出MCTformer能生成高质量的伪标签，用于训练语义分割模型。实现的话，可能需要包括模型架构，比如多类token的设计，类感知训练策略，以及如何结合补丁到补丁的注意力来优化定位图，如引用[2]所述。 还有，引用[3]讨论的过度平滑问题，MCTformer可能通过多类token和注意力机制来缓解，这也是一个值得提到的点。此外，如何与CAM互补，如引用[2]和[5]提到的，需要说明两者结合的优势。 用户可能需要具体的实现步骤或代码结构，但根据引用中没有提供代码，可能需要从架构层面描述。例如，模型由哪些部分组成，训练时如何利用多类token，如何计算损失等。 需要确保回答结构清晰，分点说明原理、实现步骤和应用场景，并引用正确的来源。同时，要使用中文，数学公式用$...$，独立公式用$$...$$，但根据问题描述，可能不需要太多公式，但如果有的话要注意格式。 最后，生成相关问题，帮助用户进一步探索。比如优化方法、与其他技术的对比、实验效果等。这些问题应该基于引用内容，比如引用[3]提到的过度平滑解决方案，可以作为相关问题之一。 现在，整理这些思路，确保覆盖所有关键点，引用正确的文献，并保持回答的自然流畅。</think>### 多类标记Transformer（MCTformer）在弱监督语义分割中的应用与实现 #### 核心原理 1. **多类标记设计** 传统视觉Transformer（ViT）仅使用单个`[CLS]`标记生成类别无关的注意力图（class-agnostic）。而MCTformer引入与类别数量相等的多个`[CLS]`标记，每个标记对应一个特定类别（class-specific）。通过类到补丁（class-to-patch）的注意力机制，可直接定位不同类别对象的空间区域[^4]。 **数学表示**：设类别数为$C$，则注意力图矩阵为$A \in \mathbb{R}^{C \times N}$（$N$为图像块数量），每个类别对应一行注意力权重。 2. **补丁间关联优化** 通过补丁到补丁（patch-to-patch）的Transformer自注意力，捕捉图像块之间的语义关联性。例如，若两个补丁的注意力权重较高，则可能属于同一物体。这有助于细化初始定位图，解决边界模糊问题[^2]。 3. **与CAM的互补性** MCTformer生成的注意力图可与传统的类激活图（CAM）结合： $$ L_{final} = \alpha L_{MCT} + (1-\alpha)L_{CAM} $$ 其中$\alpha$为权重系数，实验表明两者结合可显著提升伪标签质量[^5]。 #### 实现步骤 1. **模型架构** - **输入**：图像分割为$N$个补丁，嵌入为序列$X \in \mathbb{R}^{N \times d}$。 - **多类标记**：添加$C$个可学习的类别标记$\{t_1, t_2, ..., t_C\}$，构成输入序列$[t_1, t_2, ..., t_C; X]$。 - **Transformer编码器**：通过多层自注意力计算，输出标记与补丁的交互特征。 2. **类感知训练策略** - 仅用图像级类别标签监督，损失函数为多标签分类损失： $$ \mathcal{L}_{cls} = -\sum_{c=1}^C y_c \log(p_c) $$ 其中$y_c$为类别$c$的标签，$p_c$为预测概率。 - **注意力图生成**：从最后一层Transformer提取类标记与补丁的注意力权重，归一化后得到定位热图。 3. **定位图优化** - 利用低层Transformer的patch-to-patch注意力构建亲和矩阵$S \in \mathbb{R}^{N \times N}$，通过随机游走（Random Walk）优化初始定位图： $$ \hat{A}_c = S \cdot A_c $$ 其中$A_c$为类别$c$的初始注意力图。 #### 应用场景 1. **伪标签生成** MCTformer输出的定位图可直接作为语义分割模型的训练标签。例如，在PASCAL VOC数据集上，其生成的伪标签mIoU达到68.2%，优于CAM基线（56.3%）[^5]。 2. **与其他技术的结合** - **弱监督目标检测**：定位图可扩展用于对象边界框预测。 - **医学图像分析**：在标注稀缺的医疗影像（如肿瘤分割）中减少人工标注成本。 #### 代码框架（伪代码） ```python class MCTformer(nn.Module): def __init__(self, num_classes, embed_dim): super().__init__() self.cls_tokens = nn.Parameter(torch.randn(num_classes, embed_dim)) # 多类标记 self.transformer = TransformerEncoder() # 标准Transformer编码器 def forward(self, x): # x: [batch_size, num_patches, embed_dim] cls_tokens = self.cls_tokens.unsqueeze(0).expand(x.size(0), -1, -1) x = torch.cat([cls_tokens, x], dim=1) # 拼接多类标记 x = self.transformer(x) # 提取类标记与补丁的注意力权重 attn_weights = self.transformer.get_last_selfattention()[:, :, :num_classes, :] return attn_weights ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值