【弱监督语义分割论文阅读】基于多尺度注意力融合的弱监督语义分割自训练框架

最新推荐文章于 2025-04-16 15:11:13 发布
原创 最新推荐文章于 2025-04-16 15:11:13 发布 · 711 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #深度学习 #计算机视觉 #图像处理 #pytorch

文章提出一种基于多尺度注意力融合的弱监督语义分割自训练框架，通过融合不同尺度的注意力图来解决仅依赖图像级标签的挑战，使用去噪和再激活策略优化模型性能，实验在PASCALVOC2012上进行。

【论文阅读】基于多尺度注意力融合的弱监督语义分割自训练框架

文章目录


  A Self-Training Framework Based on Multi-Scale Attention Fusion for Weakly Supervised Semantic Segmentation

  由于难以获得完整的语义区域，基于图像级标签的弱监督语义分割(WSSS)具有挑战性，所以这里的标签都是用的图像级的标签

  为了解决这个问题，我们提出了一种利用融合的多尺度类意识注意图的自我训练方法

特征图中：

  • 特别是对于大对象和小对象，包含丰富的互补信息
  • 从不同尺度的注意图中收集信息，得到多尺度的注意图

  

我们应用去噪和再激活策略来增强潜在区域并减少噪声区域

;使用改进的注意力图对网络进行再训练

  

PASCAL VOC 2012验证集和测试集上进行实验

  

一、介绍

语义分割作为计算机视觉中的一项重要任务，在许多领域发挥着重要作用

训练一个完全监督的语义分割需要密集的注释

引入了弱监督语义分割(WSSS)，它只需要粗糙的标签

  

本文主要研究基于图像级标签的WSSS

  

现有方法大多采用类激活映射(Class Activation Mapping, CAM)提供初始位置线索，并作为伪分割标签训练语义分割模型

类感知注意图(CAMs)倾向于关注最具区别性的区域，这与语义分割所需的密集注释存在差距

为了减少CAM存在的差距：

  • 区域删除和增长
  • 使用额外的监督信息
  • 以及自监督学习

  

其实本质上都是为了生成更精确的伪掩码

当呈现不同尺度的图像时，WSSS模型的响应可能会有所不同

最低0.47元/天 解锁文章
川川子溢
关注
IJCV 2025 | 基于对比语言与图像预训练模型的弱监督语义分割方法
小白学视觉
08-07 186
对比语言与图像预训练（CLIP）在各种计算机视觉任务中取得了巨大成功，其大规模预训练知识也为增强弱监督图像理解提供了契机。作为减少对像素级人工标注依赖的有效途径，弱监督语义分割（WSSS）旨在优化类别激活图（CAM）并生成高质量伪掩码。弱监督语义分割旨在将类别激活图优化为伪掩码，但严重依赖手工先验和数字图像处理方法等归纳偏置。对于视觉语言预训练模型CLIP，作者提出了一种用于弱监督语义分割的新型文本到像素匹配范式。
【深度学习】语义分割：论文阅读(没太懂)：（2022-1）Lawin Transformer：大窗口注意力改进多尺度表示的语义分割
zhe470719的博客
05-19 3081
目录详情 详情 论文 代码
自监督语义分割面模型——(MAE)论文阅读与代码解析
qq_41627642的博客
07-17 4001
本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习算法。我们屏蔽输入图像的随机补丁并重建缺失的像素。它基于两个核心设计。首先，我们开发了一个非对称编码器-解码器架构，其中一个编码器仅对补丁的可见子集(没有掩码令牌)进行操作，以及一个轻量级解码器，该解码器从潜在表示和掩码令牌重建原始图像。其次，我们发现掩盖输入图像的高比例，例如75%，产生了一个重要的和有意义的自我监督任务。这两种设计的结合使我们能够高效地训练大型模型:我们加速了训练(3倍或更多)并提高了准确性。
AttentionColorName:基于注意力的弱监督领域特定颜色命名（ICPR2018）
05-13
基于注意的弱监督域特定颜色命名 该论文将发表在2018年国际模式识别会议（ICPR）上。 现在可以进行。 抽象的 现有的大多数颜色命名方法都集中在英语的11种基本颜色术语上。 但是，在许多应用程序中，使用不同的颜色名称集来精确描述对象。 标记数据以学习这些特定于域的颜色名称是一项昂贵且费力的任务。 因此，在本文中，我们旨在从标记较弱的数据中学习颜色名称。 为此，我们将一个注意分支添加到颜色命名网络。 注意分支用于调制网络的像素级颜色命名预测。 在实验中，我们说明了注意力分支正确地识别了相关区域。 此外，我们证明了我们的方法在EBAY数据集上获得了按像素和按图像分类的最新结果，并且能够学习各个域的颜色名称。 作者 陆宇，成永美，Joost van de Weijer 特定领域颜色名称的数据集 数据集可以下载到“数据集”文件夹中。
SAC:简单高效的域自适应语义分割自监督方法（CVPR2021语义分割）
CV计算机视觉
06-20 6792
今天和大家分享一篇发表在CVPR2021上的语义分割论文，面向域自适应语义分割领域。 论文下载地址：https://arxiv.org/abs/2105.00097 代码下载地址：https://github.com/visinf/da-sac 0.动机 无监督的域自适应（Unsupervised domain adaptation，UDA）解决无标签测试数据和带标签训练数据分布不一致问题。 在语义分割领域中，相比于手工或者半手工标注真实世界的标签，使用合成的数据集和标签有更低的成本。 近年来，多种用于解
SEAM:弱监督语义分割的自监督等变注意机制，CVPR 2020（口头）
05-29
接缝 的。 您还可以从下载存储库 抽象的 图像级弱监督语义分割是近年来深入研究的一个具有挑战性的问题。 大多数高级解决方案利用类激活图 (CAM)。 然而，由于全监督和弱监督之间的差距，CAM 很难作为对象掩码。 在本文中，我们提出了一种自监督的等变注意机制（SEAM）来发现额外的监督并缩小差距。 我们的方法基于观察到等方差是完全监督语义分割中的隐式约束，其像素级标签在数据增强期间采用与输入图像相同的空间变换。 然而，这种约束在通过图像级监督训练的 CAM 上丢失了。 因此，我们建议对来自各种转换图像的预测 CAM 进行一致性正则化，以提供网络学习的自我监督。 此外，我们提出了一个像素相关模块（PCM），它利用上下文外观信息并通过其相似的邻居细化当前像素的预测，从而进一步提高 CAM 的一致性。 在 PASCAL VOC 2012 数据集上进行的大量实验表明，我们的方法优于使用相同监督级
CVPR2020 | SEAM：弱监督语义分割的自监督等变注意力机制
AI算法修炼营的博客
05-07 2781
点击上方“AI算法修炼营”，选择“星标”公众号精选作品，第一时间送达论文地址：https://arxiv.org/pdf/2004.04581.pdf代码地址：https://githu...
【论文阅读】用于遥感弱监督语义分割的对比标记和标签激活
川川自溢的博客
04-19 1874
【论文阅读】用于遥感弱监督语义分割的对比标记和标签激活
论文阅读笔记：利用水下图像质量 Attention 和多尺度聚合 Attention 改进水下语义分割
最新发布
m0_65551120的博客
04-16 731
然而，水下环境的低光照会降低成像质量，进而严重影响水下语义分割的性能，特别是在物体区域边界划分方面。本文提出的UWSegFormer方法通过水下图像质量注意力(UIQA)和多尺度聚合注意力(MAA)模块，有效提升了在低光照水下环境中的分割性能，在SUIM和DUT数据集上分别达到了82.12%和71.41%的mIoU。但这也带来了1.2%的误检率上升，说明。通过计算不同特征通道的重要性权重（如图2所示），模型能自动抑制受水下散射影响严重的特征通道，这解释了为何在低对比度区域的分割精度提升了15.7%。
三种基于自监督深度估计的语义分割方法（arXiv 2021）
3D视觉工坊
04-15 3366
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨泡泡机器人来源丨泡泡机器人SLAM标题: Three Ways to Improve Semantic Segmentationwith Self-Supervised Depth Estimation作者：Lukas Hoyer, Dengxin DaiYuhua Chen, Guangming Shi来源：a...
超像素池化弱监督语义分割
Nick Blog
12-16 2497
Weakly Supervised Semantic Segmentation Using Superpixel Pooling Network 摘要 我们提出了一种基于深度神经网络的弱监督语义分割算法，该算法仅依赖于图像级别标签。所提出的算法在生成分割注释和使用生成的注释学习语义分割网络之间交替。在该框架中成功的关键决定因素是仅在给定图像级标签的情况下构建可靠的初始注释的能力。为此，我们提出了超像素合并网络（SPN），它利用输入图像的超像素分割作为池化层，以反映用于学习和推断语义分割的低级图像结构。然后，
自监督等变注意力机制在弱监督语义分割中的应用 - SEAM
gitblog_00882的博客
09-27 595
自监督等变注意力机制在弱监督语义分割中的应用 - SEAM 项目介绍 SEAM（Self-supervised Equivariant Attention Mechanism）是针对图像级弱监督语义分割提出的一种新方法，该工作发表于CVPR 2020，并进行了口头报告。它旨在解决弱监督情况下类激活映射（CAM）难以作为准确目标掩模的问题。通过观察到全监督语义分割中隐含的等变性约束——即像素级标签在...
[弱监督语义分割]Reliability Does Matter: An End-to-End Weakly Supervised Semantic Segmentation Approach
qq_38932073的博客
04-04 1709
可靠性确实重要:端到端弱监督的语义分割方法（AAAI2020） 论文地址 开源代码
【计算机视觉】简述对MSAA（多尺度注意力融合）的理解
weixin_48845174的博客
03-28 7180
对于点云分割而言，自PointNet发布以来，很多算法都意识到了这个算法的问题，可能它首先解决了点云的无序性问题，但是它的网络丢失了很多信息，即分割效果差，没有学习邻域的局部特征，虽然目前很多模型都在此基础之上去学习邻域的局部特征，像经典的RandLA（局部特征学习+自注意力池聚合+扩展残差）就是大场景点云分割中比较早去学习邻域局部特征的，所以它在2020年分割效果还是挺好的。后面很多不管是SemanticKI还是一些其他建筑大场景点云分割算法，都是在此基础之上添加模块，提升分割效果， ...
【文献阅读】用对比学习做弱监督语义分割（Sung-Hoon Yoon等人，ArXiv，2021）
QQ704630835的博客
02-21 5479
一、背景 文章题目：《Exploring Pixel-level Self-supervision for Weakly Supervised Semantic Segmentation》 文章下载地址：2112.05351.pdf (arxiv.org)https://arxiv.org/pdf/2112.05351.pdf 文献引用格式：Sung-Hoon Yoon,Hyeokjun Kweon, Jaeseok Jeong, Hyeonseong ...
端到端弱监督语义分割的self correspondence蒸馏
qq_45745941的博客
04-04 1195
目前的方法对综合语义信息的提取不足，导致伪标签质量较低。
阅读论文计划 13/10000 弱监督语义分割
qq_41037660的博客
02-03 667
如果M_k的某个部分与另一个mask相交，并且该部分在另一个mask对应的得分S_j高于M_k对应的得分S_k，那么该部分将被跳过。这种方法简单而有效，能够显著改善现有弱监督语义分割方法中存在的问题，如部分激活和错误激活，为应用分割基础模型到计算机视觉任务中开辟了新的途径。这两个度量指标用于评估掩码S与伪标签P之间的重叠程度，以确定哪些掩码可以被保留为增强的伪标签。通过这些步骤，算法可以确保每个区域只被分配给最相关的类别，从而提高了伪标签的质量和准确性。，提高了伪标签的质量，使其。，从而提高伪标签的质量。
pytorch ocr_使用PyTorch解决CAPTCHA（不使用OCR）
weixin_26632369的博客
07-19 1387
pytorch ocrAfter completing Jeremy Howard’s excellent deep learning course , I was wondering if I could crack real world CAPTCHAs by basic neural nets instead of using the conventional OCR technique. ...
End-to-End Weakly-Supervised SemanticSegmentation with Transformers
sanguine__的博客
03-03 1653
CVPR2022
RANet：基于区域注意力的语义分割网络实现
RANet（Region Attention Network）是一种专门针对语义分割任务设计的深度神经网络架构，其核心创新在于引入了“区域注意力机制”（Region Attention Mechanism），以提升模型对图像中不同语义区域的关注能力，从而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值