【论文阅读】火星语义分割的半监督学习

原创 于 2024-11-07 15:32:14 发布 · 1.7k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #学习

【论文阅读】火星语义分割的半监督学习

文章目录


S 5Mars: Semi-Supervised Learning for Mars Semantic Segmentation

深度学习已经成为火星探测的有力工具。火星地形语义分割是一项重要的火星视觉任务，是火星车自主规划和安全驾驶的基础。

缺乏足够详细和高置信度的数据注释

从联合数据和方法设计的角度提出了解决方案

提出了一个新的数据集S5Mars
  

用于半监督学习的Mars语义分割，基于置信度进行稀疏注释

提出了一种用于火星图像语义分割的半监督学习（SSL）框架,有限的标记数据中学习表征(就是特征图)

广泛使用的自然图像增强对火星图像的影响

  

组成成分：

  1. 两种新颖有效的火星分割SSL增强和增强实例规范化（AugIN）和SAM-Mix增强
  2. 我们引入了软到硬的一致性学习策略，基于预测置信度从不同的目标学习

  

该方法的性能明显优于现有的SSL算法

  

一、介绍

越来越多的可用数据促进了深度学习算法的应用和发展

本文探讨了火星地形语义分割的任务，该任务旨在从图像中识别出可驾驶区域和特定地形

  

火星语义分割面临着数据和方法设计两方面的问题

缺乏令人满意和可用的数据在一定程度上阻碍了深度学习方法的发展

火星漫游者的成本高，带宽有限，从火星到地球的数据传输丢失，收集火星数据非常昂贵。

  

由于地形的复杂性和相似性，精细和密集的像素级标记是高度专业化和耗时的

火星地形分割数据集AI4Mars只定义了4个简单的类别，难以满足复杂地形识别的实际需求
  

火星地形分割任务面临两个主要挑战：

  1. 缺乏足够详细和高置信度注释的数据
  2. 针对火星图像数据的SSL研究不足
      

我们从数据和方法设计两方面解决了上述问题，将其命名为火星半监督语义分割s5mars

为了提高标签的质量，数据集的标注采用稀疏标注的方式，即只标注人类置信度高的区域

  

从这些稀疏数据中学习，我们提出了一种新的火星图像地形分割的半监督框架。

  

基于最近流行的基于一致性正则化的方法，利用弱到强的增广来产生扰动

同时追求扰动的一致性

  

进一步提出了两种新颖有效的增强方法：增强实例规范化AugIN和SAM-Mix

  1. AugIN在图像之间交换统计信息以生成新的数据视图，同时避免剧烈的颜色分布变化
  2. SAM- mix利用预训练的segment-anything模型（SAM）[14]生成高质量的目标蒙版，减少了混合图像的不确定性

  

两种数据的增强使得学习一致性更好，性能显著提高

该策略在低置信度区域使用软伪标签，在高置信度区域使用硬伪标签，充分利用了未标记数据

  

贡献：

  1. 收集了一个新的细粒度标记火星数据集，用于地形语义分割，该数据集包含大量火星地貌数据，数据集由专业团队在多轮检查返工下进行稀疏注释<
最低0.47元/天 解锁文章
川川子溢
关注
计算机视觉与深度学习 ｜ 视觉里程计技术全景解析：从原理到前沿应用
尘世冰封的专栏
08-29 510
视觉里程计（Visual Odometry, VO）是通过分析连续图像序列估计相机或移动载体6自由度位姿（3个平移+3个旋转参数）的技术，其核心目标是从视觉数据中提取运动信息，实现对设备轨迹的实时跟踪[1][3][15]。与传统轮速里程计依赖物理接触不同，VO通过摄像头获取的环境视觉特征进行定位，在复杂地形（如火星表面、崎岖山路）和动态场景中具有独特优势[7]。作为同时定位与地图构建（SLAM）系统的关键组件，VO专注于短期运动估计，而SLAM还需结合回环检测和全局优化构建一致地图[7][29]。
【AI视野·今日CV 计算机视觉论文速览 第247期】Fri, 22 Apr 2022
TomRen
04-25 2011
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 22 Apr 2022 Totally 74 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Learning Future Object Prediction with a Spatiotemporal Detection Transformer Authors Adam Tonderski, Joakim Johnander, Christoffer Petersson, Kal.
半监督语义分割综述
weixin_45074568的博客
12-02 917
图像分割是指将图像划分为不同的非重叠区域，并将相应的标签分配给图像中的每个像素，最终获得ROI区域位置及其类别信息。一般，我们将分割任务分为语义分割和实例分割，前者是将每个像素与相应的语义类别进行分类，从而为属于该类别的所有对象或图像区域赋予相同的类别标签；然而，深度学习方法需要大量的数据与标记，尤其是像素级别的标记，这需要耗费巨大的人力和时间成本。半监督同时从有监督的标签信息和无监督的无标签信息中抽取数据，从而减少了全监督中所需要的标注工作，这在缺少标注信息任务中很有意义！
CCT:[CVPR 2020] 具有交叉一致性训练的半监督语义分割
05-30
具有交叉一致性训练 (CCT) 的半监督语义分割 , 本 repo 包含 CVPR 2020 论文的官方实现：Semi-Supervised Semantic Segmentation with Cross-Consistecy Training，它采用了传统的半监督学习的一致性训练框架进行语义分割，扩展到弱监督学习和在多个域。 强调 (1) 语义分割的一致性训练。 我们观察到，对于语义分割，由于任务的密集性，集群假设更容易在隐藏表示而不是输入上强制执行。 (2) 交叉培训。 我们为半监督语义分割提出了 CCT（Cross-Consistency Training），我们在其中定义了许多新的扰动，并展示了对编码器输出而不是输入执行一致性的有效性。 (3) 使用来自多个域的弱标签和像素级标签。 所提出的方法非常简单灵活，并且可以很容易地扩展到使用来自多个域的图像级标签和像素级标签。 要求
半监督语义分割方法汇总(附代码分析)
热门推荐
h8832077的博客
11-17 1万+
源码地址:https://github.com/HiLab-git/SSL4MIS 目的 本文主要通过对github上源码的分析，学习半监督语义分割的思想，并通过代码提供的数据对比各个半监督方法的效果。 介绍 在语义分割领域，标注往往是比较困难的。因为掩膜标注要求和目标边缘紧密贴合，否则会带来边界上的额外损失。如下图： 相反的，未标注的数据量一般要远远多于标注的数据量。基于此，半监督方法的研究就至关重要了。 机器学习按数据标注情况可分为三种：监督学习，无监督学习和半监督学习。 监督学习：在有标记的情况下
以CVPR2023的半监督语义分割工作UniMatch为例，聊聊一篇顶会论文的idea是如何获得并实现大幅超越以往方法的性能！
专注计算机视觉全栈知识分享
04-22 3414
在本工作中，我们展示了FixMatch迁移到半监督语义分割任务中的有效性。我们通过消融实验验证了强扰动的重要性，并进一步通过特征强扰动扩展了FixMatch的扰动空间，以及通过双路强扰动来更充分地探索原扰动空间。所提方法十分简单有效，在自然图像、遥感影像变化检测以及医学图像分割中都取得了最优的性能。此外，我们也有另外几个半监督语义分割相关的工作被CVPR[Paper][Code][Paper][Code][Paper][Code]
【半监督语义分割 2023 CVPR】CCVC
wujing1_1的博客
06-27 2552
半监督语义分割由于能够有效地利用大量的无标注数据，从而减少对大规模的完全标注训练数据的需求，近年来得到了越来越多的研究兴趣。现有的方法经常会受到伪标记过程中的确认偏差的影响，这种偏差可以通过协同训练框架得到缓解。现有的基于协同训练的半监督语义分割方法依靠人工扰动来防止子网之间的相互崩溃，但这些人工扰动不能导致最优解。在这项工作中，我们提出了一种基于冲突的跨视图一致性(CCVC)的半监督语义分割方法。我们的工作旨在加强这两个子网从无关的视图中学习信息特征。
幻觉侦探：小模型有大智慧
qq_59084968的博客
07-01 1517
背景：大型语言模型（LLMs）在生成文本时可能会出现幻觉（hallucinations），即看似合理但实际上没有事实支持的内容。这对于LLMs在现实世界的应用构成了挑战。现有方法：现有研究依赖于强大的闭源LLMs（如GPT-4）进行幻觉检测。HaluAgent：本文提出的HaluAgent框架允许相对较小的LLMs（例如Baichuan2-Chat 7B）主动选择适当的工具来检测多种类型的幻觉，如文本、代码和数学表达式。方法。
进入AI领域做产品 —— 我的自学之路
07-03 1万+
做产品经理这份工作将涉及大量选择，本质上，是需要“输入→内视→输出”的环节更多，所以为了更好的去进行“输出”，学习“输入”（AI基础认知、产品认知、技术通识）以及“内视”（认知框架）的重要性就不言而喻了。 所以，这份内容是关于一个要进入AI领域的产品经理，所需要积累的“输入”的归纳，以及搭建“内视”框架的过程。（第二份输出也已经完成——《出行服务 + AI —— 一次模拟的创业》)
半监督的语义分割
skyfengye的博客
07-11 2425
半监督语义分割
Interpolation-Consistency-Training-Semi-supervised-semantic-segmnetation-:半监督语义分割的插值一致性训练实现
04-09
插值一致性训练半监督语义分割 半监督语义分割的插值一致性训练实现
【综述】半监督语义分割
m0_61899108的博客
04-12 2435
图像分割是最古老、研究最广泛的计算机视觉 (CV) 问题之一。图像分割是指将图像划分为不同的非重叠区域，并将相应的标签分配给图像中的每个像素，最终获得ROI区域位置及其类别信息。一般，我们将分割任务分为语义分割和实例分割，前者是将每个像素与相应的语义类别进行分类，从而为属于该类别的所有对象或图像区域赋予相同的类别标签；后者则更进一步，试图区分出同一类别的不同实例（如上图所示）。本文主要围绕语义分割进行展开介绍。
半监督语义分割笔记（1）-数据增强方法Mixup、Cutout、CutMix、ClassMix
weixin_54025883的博客
06-08 7608
本文为笔者在半监督语义分割方面的数据增强方法笔记，若有错误，欢迎批评指正。
半监督的语义分割算法
skyfengye的博客
10-10 2237
现在随着标签数据成本的增加，现在无监督、半监督和弱监督，逐渐受到学术圈的研究。现在很多算法逐渐开始使用半监督的算法。这篇文章是一篇比较经典也是一种大家可以想到的简单的半监督分割算法。半监督语义分割算法的难点在于如何利用未标记的数据和如何训练未标记的数据。而这篇文章很好的解决了这个问题。在半监督中对于未标注的数据如何使用，每个人有不同的方法，在这篇文章中，作者使用了多视角的方法，对于同一个未标注的数据，使用多个网络进行相互的监督学习。这个思路很简单明了。论文精华就是上述这幅图，具体细节大家可以看一下论文。
半监督语义分割笔记（2）-self-training和consistency learning方法
weixin_54025883的博客
06-10 2396
半监督分割的工作总结为两种：self-training和consistency learning。
[论文笔记] 弱监督语义分割 半监督语义分割
Holeung blog
05-16 9978
Adversarial learning for semi-supervised semantic segmentation BLOG @vi_wsc GAN生成对抗网络：由两个子网络组成，generator和discriminator,在训练过程中，这两个子网络进行着最小最大值机制，generator用随机向量输出一个目标数据分布的样例，discriminator从目标样例中区分出生成器生成的样...
半监督语义分割_paper reading part1
猛码Memmat
04-11 812
semi-supervised semantic segmentation
使用交叉监督进行半监督语义分割（CVPR2021语义分割）
CV计算机视觉
07-06 4577
今天和大家分享CVPR2021中语义分割领域的一篇文章，面向半监督语义分割领域。 论文下载链接：https://arxiv.org/abs/2106.01226 代码下载链接：https://github.com/charlesCXK/TorchSemiSeg 0.动机 训练语义分割任务的卷积神经网络通常需要像素级别（pixel-level）的人工标注，相比于其他视觉任务，这种标注信息较为昂贵。因此，使用半监督方法，利用带标注信息的数据和无标注信息的数据一起训练语义分割网络是很有意义的。 作者提出了cro
半监督语义分割网络 Adversarial Learning for Semi-Supervised Semantic Segmentation论文阅读笔记
tcltyan的博客
12-13 3404
ALSS是半监督语义分割领域最早的文章之一，文章的动机仍然是ease the heavy human efforts of labeling pixel-level annotations。与弱监督领域通常采用的分类级标签数据和分类级损失函数不同，半监督学习更强调少量有标签数据与大量无标签数据的结合，其核心在于如何通过有标签数据更好地挖掘无标签数据的监督信息，从而达到提升模型性能而降低人力支出的目的。 ALSS提出采用对抗学习的方法，通过借鉴对抗生成网络里面的generator...
半监督框架 语义分割
最新发布
01-03
### 半监督学习框架在语义分割任务中的应用 #### 应用背景 语义分割作为计算机视觉的重要分支，旨在对图像中的每一个像素进行分类。尽管有监督的深度学习方法已经取得了一定的成功，但是这些方法通常需要大量的带标签数据来进行训练，而获取高质量的逐像素标注非常耗费时间和资源[^1]。 #### 实现方式一：增强技术与一致性正则化 一种有效的方法是在半监督设置下利用未标记的数据来改进模型的表现。例如，在火星语义分割的研究中，研究人员开发了两种创新的技术——增强实例规范化（AugIN）和SAM-Mix增强。这两种技术能够通过对输入图像施加变换并强制网络对于变化后的图像给出一致的结果，以此提升模型鲁棒性和准确性。此外，还采用了软到硬的一致性学习策略，该策略依据预测置信度调整损失函数权重，促进更稳定的学习过程[^3]。 #### 实现方式二：特征重构与跨模态融合 另一种值得注意的方式是由AllSpark提出的解决方案。此方案通过引入信道交叉注意力机制从未标记样本中提取有用的信息，并尝试重建已知类别的特征表示。具体来说，AllSpark不仅增强了未标记数据的作用，而且还确保了其表征能力接近甚至超越原始标记集。这种方法避免了传统两阶段训练模式带来的局限性，即先单独优化带有真实标签的部分再处理无标签部分；相反，它提供了一个更为紧凑高效的单一流程，适用于多种架构下的迁移学习场景[^4]。 ```python import torch.nn as nn class ChannelCrossAttention(nn.Module): def __init__(self, channels): super(ChannelCrossAttention, self).__init__() self.query_conv = nn.Conv2d(channels, channels//8, kernel_size=1) self.key_conv = nn.Conv2d(channels, channels//8, kernel_size=1) self.value_conv = nn.Conv2d(channels, channels, kernel_size=1) def forward(self, x_labeled, x_unlabeled): Q = self.query_conv(x_labeled).permute(0, 2, 3, 1).contiguous().view(-1, (channels//8)) K = self.key_conv(x_unlabeled).permute(0, 2, 3, 1).contiguous().view(-1, (channels//8)).transpose(1, 0) V = self.value_conv(x_unlabeled).permute(0, 2, 3, 1).contiguous().view(-1, channels) attention_weights = F.softmax(torch.matmul(Q, K), dim=-1) attended_features = torch.matmul(attention_weights, V).view(*x_labeled.size()) return attended_features + x_labeled ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值