【半监督分割】UniMatch(CVPR2023)

原创 已于 2023-09-20 08:36:06 修改 · 1.7k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #python

于 2023-09-19 17:25:04 首次发布
本文提出了一种改进的半监督语义分割方法，通过在弱扰动分支添加特征扰动和将强扰动从单视图变为双视图，提升了模型的鲁棒性和性能。实验结果展示了新方法在多个数据集上的显著优势，强调了有效数据增强和策略的重要性。

Revisiting weak-to-strong consistency in semi-supervised semantic segmentation

paper

code

创新点：

在这里插入图片描述

创新点1：对弱扰动分支增添特征扰动（feature perturbation）

作者开篇就直白的表示这篇文章是基于一致性正则化的经典工作FixMatch进行创新。

在FixMatch中所有的扰动都基于image-level，作者认为feature-level的扰动同样重要，可以增加模型的鲁棒性。

做法是在图像输入后经encode提取到feature map后，对feature map进行扰动，再经decoder解码后，得到feature perturbation的p_fp。

创新点2：将强扰动由单视图更改为双视图

作者认

最低0.47元/天 解锁文章
CVPR 2023 中的半监督学习: FixMatch 的升级版 UniMatch
NJU phd 在读。
07-28 2000
我们首先回顾下发表在 NeurIPS 2020 上的 FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence，FixMatch 是一种更轻量的半监督分类方法。如下图所示，FixMatch 首先使用模型（带标签数据训练后的）对弱增强的未标记图像进行预测，生成伪标签。对于给定的图像，只有在模型产生高置信度的预测时，伪标签才会被保留。然后，在输入同一图像的强增强版本时，训练模型预测伪标签。
CVPR 2024 | RankMatch：探索更好的半监督语义分割一致性正则化
小白学视觉
03-19 338
半监督语义分割的关键在于如何充分利用大量未标注数据，通过构建有效的监督信号来提高模型的泛化性能。大多数方法倾向于直接应用对比学习来寻求额外的监督，以补充独立的逐像素一致性正则化。然而，这些方法往往由于设计复杂、内存占用大以及对确认偏差的敏感性而不被青睐。本文分析了基于对比学习的方法存在的瓶颈，并提出了一种新的视角，通过像素间的相关性来构建更安全、更有效的监督信号，这与语义分割的本质相契合。
Unimatch
weixin_40906230的博客
08-01 349
光流估计/立体匹配/深度估计大一统！ 场景理解新范式！一种更新的光流估计算法GMFlow，同时也将介绍其续作Unimatch，一种整合光流估计，立体匹配和双目深度估计的统一网络。这是一种全新的光流估计范式。Paper: https://arxiv.org/pdf/2211.05783.pdf Code: https://g...
半监督医学图像分割（一）：CANet(2023)Context-aware network fusing transformer and V-Net for semi-supervised
weixin_51775081的博客
11-13 3522
在复现了好几个半监督网络，这篇的训练过程较快，在2、3个小时就可以训练完。各项评价指标与文中给的10%的标签结果相差0.1~0.2左右。
segmentation_models.pytorch半监督分割：伪标签生成与模型优化
最新发布
gitblog_00008的博客
09-13 961
在医学影像、遥感图像等领域，获取大量精确标注数据（Labeled Data）的成本极高，而未标注数据（Unlabeled Data）却往往唾手可得。传统监督学习模型仅能利用少量标注数据，导致性能瓶颈；全监督模型在标注数据稀缺时泛化能力差。半监督学习（Semi-Supervised Learning, SSL）通过结合少量标注数据和大量未标注数据进行训练，成为解决这一矛盾的关键技术。 本文将聚焦*...
CVPR 2023 | UniMatch: 重新审视半监督语义分割中的强弱一致性
AI人工智能的海洋
09-21 1852
在这里和大家分享一下我们被CVPR 2023录用的工作"Revisiting Weak-to-Strong Consistency in Semi-Supervised Semantic Segmentation"。在本工作中，我们重新审视了中的“”方法。我们首先发现，最基本的约束强弱一致性的方法FixMatch[1](proposed three years ago in 2020)即可取得与当前SOTA相当的性能。
【半监督医学图像分割 2023】RCPS
wujing1_1的博客
03-30 3109
摘要医学图像分割方法通常被设计为全监督的，以保证模型的性能，这需要大量的专家注释样本，成本高，费力。半监督图像分割可以利用大量未标记图像和有限的标记图像来缓解这一问题。然而，由于伪标签中潜在的噪声和特征空间中的类可分性不足，从大量未标记图像中学习鲁棒的表示仍然是一个挑战，这削弱了现有半监督分割方法的性能。针对上述问题，我们提出了一种新的半监督分割方法–校正对比伪监督(RCPS)，该方法将校正伪监督和体素级对比学习相结合，以提高半监督分割的有效性。特别地，我们设计了一种新的基于不确定度估计和。
【半监督分割】Semi-supervised semantic segmentation with prototype-based consistency regularization
weixin_42748439的博客
09-23 1048
作者认为同一类的区域特征不同，导致了阻碍半监督分割的label标签学习到的语义信息传播到unlabel标签，因为传过去的有可能只是这个类其中的一个原型所代表的特征，没有传播更多有用的原型特征。作者认为同一类的区域特征不同，导致了阻碍半监督分割的label标签学习到的语义信息传播到unlabel标签，因为传过去的有可能只是这个类其中的一个原型所代表的特征，没有传播更多有用的原型特征。：从可视化的角度说明了原型分割头为什么会有用，如©所示，原型加入后是的类内更加的紧凑，同时类间的距离被拉开。
【半监督分割】CPCL（2023CVPR）
weixin_42748439的博客
09-19 759
取出两张unlabel样本X1、X2，将X1、X2经过cutmix后得到的Xs，将X1、X2作为一组送入保守分支生成预测Y_cw_1、Y_cw_2，并将Y_cw_1、Y_cw_2经过cutmix得到Y_cw。：将X1、X2作为一组送入激进分支生成预测Y_pw_1、Y_pw_2，并将Y_pw_1、Y_pw_2经过cutmix得到Y_pw。**progressive exploration（激进探索）**大胆的使用并集进行训练（指激进、保守不一致的像素）进行学校，旨在充分使用数据，对数据进行探索。
医学图像分割的UniMatch：半监督医学图像分割的新选择
OverlordDuke的博客
02-20 1136
UniMatch作为一种新颖的半监督医学图像分割方法，为解决医学图像分割中的标注困难和模型泛化问题提供了新的思路和解决方案。未来，我们将进一步完善UniMatch的功能和性能，探索更多适用于医学图像分割的技术和方法，为医学影像诊断和疾病研究提供更加有效和可靠的工具和支持。
【半监督分割】AugSeg(CVPR2023)
weixin_42748439的博客
09-19 1779
AugSeg
CCT:[CVPR 2020] 具有交叉一致性训练的半监督语义分割
05-30
具有交叉一致性训练 (CCT) 的半监督语义分割 , 本 repo 包含 CVPR 2020 论文的官方实现：Semi-Supervised Semantic Segmentation with Cross-Consistecy Training，它采用了传统的半监督学习的一致性训练框架进行语义分割，扩展到弱监督学习和在多个域。 强调 (1) 语义分割的一致性训练。 我们观察到，对于语义分割，由于任务的密集性，集群假设更容易在隐藏表示而不是输入上强制执行。 (2) 交叉培训。 我们为半监督语义分割提出了 CCT（Cross-Consistency Training），我们在其中定义了许多新的扰动，并展示了对编码器输出而不是输入执行一致性的有效性。 (3) 使用来自多个域的弱标签和像素级标签。 所提出的方法非常简单灵活，并且可以很容易地扩展到使用来自多个域的图像级标签和像素级标签。 要求
半监督的语义分割
skyfengye的博客
07-11 2422
半监督语义分割
半监督图像分割-综述
wujing1_1的博客
05-22 2301
语义分割是计算机视觉中一个重要而热门的研究领域，其重点是根据图像中像素的语义对其进行分类。然而，监督式深度学习需要大量的数据来训练模型，并且逐像素标记图像的过程既耗时又费力。本文旨在对半监督语义分割领域中伪标签方法的最新研究成果进行全面和有组织的综述，从不同的角度对其进行分类，并针对具体的应用领域提出具体的方法。此外，我们还探索了伪标签技术在医学和遥感图像分割中的应用。最后，针对目前存在的挑战，提出了未来可行的研究方向。
半监督语义分割笔记（1）-数据增强方法Mixup、Cutout、CutMix、ClassMix
weixin_54025883的博客
06-08 7545
本文为笔者在半监督语义分割方面的数据增强方法笔记，若有错误，欢迎批评指正。
【半监督图像分割】2021-CPS CVPR
wujing1_1的博客
11-21 4363
在这篇论文中，我们为半监督语义分割任务设计了一种非常简洁而又性能很好的算法：cross pseudo supervision (CPS)。训练时，我们使用两个相同结构、但是不同初始化的网络，添加约束使得两个网络对同一样本的输出是相似的。具体来说，当前网络产生的one-hot pseudo label，会作为另一路网络预测的目标，这个过程可以用cross entropy loss监督，就像传统的全监督语义分割任务的监督一样。
半监督医学影像分割综述
qq_45745941的博客
03-07 3623
分为五类:对抗性方法、一致性正则化、伪标记、对比学习和混合方法使用该领域最常见的两个数据集:PASCAL VOC 2012和Cityscapes10种方法组成，本文认为属于相互训练的方法(即DMT)是性能最好的方法反思了目前半监督分割的挑战和潜在的未来研究方向，强调了实验和评估框架标准化的必要性，在图像不受控制且类之间具有丰富语义依赖的情况下使用现实基准的方便性，以及最近应用于CV的新技术视觉变压器在半监督场景中的潜在应用区，不同的实现或基本模型的版本具有改进潜力的方法群。
半监督语义分割笔记（2）-self-training和consistency learning方法
weixin_54025883的博客
06-10 2367
半监督分割的工作总结为两种：self-training和consistency learning。
半监督3D医学图像分割（四）：SASSNet
weixin_44858814的博客
10-23 5340
​ 作者在分割网络的最后一层，增加一条支路输出SDM（signed distance map，带符号距离映射），SDM是分割二值图中，每个像素到目标边界的距离，包含目标的表面和形状信息。​ 这篇文章提出的形状感知半监督分割方法，在网络中加入更灵活的几何表示，以便对分割输出执行全局形状约束，同时处理具有不同位置或形状的目标，探究有标签和无标签图像的预测结果在几何空间上的一致性。有标签的图像和无标签的图像，分别标记为1和0，判别器（D）的输出在[0, 1]，越接近1，说明和有标签的图像越相似。
成本敏感半监督学习算法
04-19
好的，用户现在想了解成本敏感半监督学习算法的原理和实现方法。首先，我需要回忆一下之前的历史对话。用户之前询问了神经网络的基本原理，我详细解释了结构、数学建模...[^4]: 半监督语义分割算法 UniMatch(CVPR2023)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值