Exploring Cross-Image Pixel Contrast for Semantic Segmentation

最新推荐文章于 2024-07-13 17:10:18 发布
原创 最新推荐文章于 2024-07-13 17:10:18 发布 · 960 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #机器学习

该论文提出了一种结合FCNencoder(如Resnet和HRNet)的特征提取方法，使用对比损失和交叉熵损失来增强分割网络的性能。记忆库(memorybank)被设计为存储像素特征，通过像素-区域对比和特定的采样策略如Semi-Hard和Segmentation-AwareHardAnchorSampling来优化学习过程，尤其是在处理困难样本时。实验结果显示这些策略能有效提升模型的表现。

ICCV2021

先将图片经过FCN encoder（Resnet和hrnet）得到feature I，其中一条支路会经过fSEG得到Y，|C|是真实类别的数量,

是GT label，将其onehot后和softmax后的y进行交叉熵损失： 

fPROJ将每个嵌入i∈I的高维像素映射为256的l2归一化特征向量，用于计算对比损失Lnce。fPROJ通过ReLU实现为两个1×1卷积层。

最低0.47元/天 解锁文章
quarter-moon
关注
Cross-Image Attention for zero-shot appearance transfer
liguandong
08-14 368
3.利用AdaIN来对齐外观图像和输出图像的统计信息，更好的保留外观图像的颜色。更具体的说，给定一张外观图和一张结构图，首先将这两张图反向转换到一个预训练的文本到图像的扩散模型的隐空间，然后在去噪过程中的每个时间步，通过将与结构图相对应的q乘以外观图像的k来计算修改后的自注意力图，这种跨图像操作在两个图像之间建立了隐式的语义对应关系，而无需额外的监督，将输出的跨图像的注意力图与外观图的v相乘，就可以准确的外观图中的每个像素转移到结构图中相应的，语义相似的像素上。
Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation
qq_49230659的博客
07-26 1180
Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation摘要1 Introduction2 Related Work3 Methodology3.1 Co-attention Classification Network 摘要 本文研究只在image-level监督下学习语义分割。目前流行的解决方法是使用分类器生成的目标localization maps作为监督，致力于让localization maps捕捉更完整的目标
2-27-Exploring Cross-Image Pixel Contrast for Semantic Segmentation(arxiv2021)有代码
qq_40723205的博客
03-02 4022
原文链接： http://www.myzaker.com/article/60348715b15ec0509c7170d3/ 在这篇论文中，研究者提出了一种新的、全监督语义分割训练范式「像素对比学习」，强调利用训练集中、跨图像的像素 - 像素对应关系来学习一个结构化的特征空间，用来替代传统的、基于图像的训练范式。 论文地址：https://arxiv.org/pdf/2101.11939.pdf 代码地址：https://github.com/tfzhou/ContrastiveSeg 当前，语义分
ICCV2021 Exploring Cross-Image Pixel Contrast for Semantic Segmentation (Oral)
qq_43656233的博客
09-07 855
当前的语义分割方法仅侧重于通过上下文聚合模块（例如，扩张卷积、神经注意力）或结构感知优化标准（例如，类 IoU 损失）来挖掘“局部”上下文，即各个图像内像素之间的依赖关系。然而，他们忽略了训练数据的“全局”上下文，即不同图像的像素之间丰富的语义关系。受无监督对比表示学习最新进展的启发，我们提出了一种在完全监督环境下进行语义分割的逐像素对比算法。核心思想是强制属于同一语义类的像素嵌入比来自不同类的嵌入更相似。它通过明确探索以前很少探索的标记像素的结构，提出了用于语义分割的像素级度量学习范例。
都2021年了！医学图像分割还能继续魔改U-Net吗？
阿木寺的博客
07-01 4278
引言医学图像分割其实是一个很宽泛的概念，不可否认的是，U-Net[1]对于促进医学图像分割领域的发展起着至关重要的作用。直至今天，许多公开发表的文献仍然会以U-Net作为基础网络。本文将为...
对比学习用于图像语义分割（两篇文章）
weixin_45657478的博客
07-15 8138
包含Exploring Cross-Image Pixel Contrast for Semantic Segmentation和Contrastive Learning for Label-Efficient Semantic Segmentation两篇文章。
论文专题笔记：cross-image segmentation
Blair_2的博客
02-28 1050
论文汇总：前两篇全监督，后两篇弱监督 1.Region-aware Contrastive Learning for Semantic Segmentation --ICCV2021 2.Exploring Cross-Image Pixel Contrast for Semantic Segmentation --ICCV2021 3.Weakly Supervised 3D Semantic Segmentation Using Cross-Image Consensus and Inter-Vo
《Cross-Image Pixel Contrasting for Semantic Segmentation》论文解读
qq_46981910的博客
07-13 1525
本文提出一种像素级对比算法PiCo，用于全监督学习环境下的语义分割。其核心思想是强制属于相同语义类的像素嵌入比来自不同语义类的嵌入更相似。通过明确探索以前很少研究的标记像素的结构，提出了一种用于语义分割的像素级度量学习范式。所提出的训练算法与现代分割解决方案兼容，在测试期间没有额外的开销。
CVPR2022自适应/语义分割：Class-Balanced Pixel-Level Self-Labeling for Domain Adaptive Semantic Segmentation
ssshyeong的博客
11-01 2657
域自适应语义分割的目的是在监督源域数据的情况下学习模型，并在未标记的目标域上产生令人满意的密集预测。为解决上述问题，我们建议直接探索目标域数据的内在像素分布，而不是过度依赖源域。具体来说，我们同时对像素进行聚类，并使用获得的聚类分配对标签进行整流。这个过程以在线的方式完成，因此伪标签可以与分割模型共同进化，而不需要额外的训练。为了克服长尾类的类不平衡问题，我们采用一种分布对齐技术，使簇分配的边缘类分布接近于伪标签的边缘类分布。所提出的方法，即类平衡像素级自标记(CPSL)
IJCAI2022 Uncertainty-Guided Pixel Contrastive Learning for Semi-Supervised Medical Image Segmen...
qq_43656233的博客
09-05 906
最近，对比学习在医学图像分割中显示出巨大的潜力。然而，由于缺乏专家注释，在半监督场景中应用对比学习具有挑战性。为了解决这个问题，我们提出了一种新颖的用于半监督医学图像分割的不确定性引导像素对比学习方法。具体来说，我们为每个未标记图像构建不确定性图，然后去除不确定性图中的不确定性区域以减少噪声采样的可能性。不确定性图是由精心设计的一致性学习机制确定的，该机制通过鼓励两个不同解码器的一致网络输出来生成对未标记数据的全面预测。此外，我们建议图像编码器学习的有效全局表示应该与不同的几何变换等效。
CVPR 2022 | Cross-Image Relational Knowledge Distillation for Semantic Segmentation
画心
07-08 1892
当前用于视觉分割的知识蒸馏 (KD) 方法通常指导学生模仿教师网络从独立数据样本生成的结构化信息。然而，他们忽略了对 KD 有价值的跨图像的像素间全局语义关系。本文提出了一种新的跨图像的关系知识蒸馏 (CIRKD)，其重点是在整个图像之间迁移 pixel-to-pixel 和 pixel-to-region 的关系。其中的动机是一个好的教师网络可以根据全局像素依赖性构建一个结构良好的特征空间。CIRKD 使学生更好地模仿教师的结构化语义关系，从而提高分割性能。...
SePiCo: Semantic-Guided Pixel Contrast for Domain Adaptive Semantic Segmentation
m0_46598543的博客
12-01 1351
语义分割 迁移学习 域适应
探索深度学习的未来：Cross-Image Relational Knowledge Distillation for Semantic Segmentation
gitblog_00087的博客
06-10 515
探索深度学习的未来：Cross-Image Relational Knowledge Distillation for Semantic Segmentation 在这个日益智能化的时代，深度学习在图像处理领域的应用正在不断拓展新的边界。今天，我们向您隆重推荐一个开源项目——Cross-Image Relational Knowledge Distillation (CIRKD)，这是一个专为语义...
【论文阅读笔记】对比学习与语义分割
anlianzhiye的博客
10-23 1244
【论文阅读笔记】对比学习与语义分割
【语义分割】类别不平衡损失函数合集
热门推荐
AI爱好者的博客，分享计算机领域相关知识
03-14 1万+
在语义分割领域，我们会常常遇到类别不平衡的问题。比如要分割的目标（前景）可能只占图像的一小部分，因此负样本的比重很大，导致网络倾向于将所有样本判断为负样本。本文介绍了在数据不平衡时常用的一些损失函数。 类别不平衡会出现什么问题呢？假设我们需要训练一个分类器来对黄豆和绿豆分类，用100颗豆子训练分类器，其中99颗黄豆、1颗绿豆，那么分类器会倾向于把所有豆子都分类为黄豆，因为这么做就可以达到99%的准确率。但是我们不希望分类器这么做，所以需要一些方法来提升分类器的性能。 一、Weighted Cross E
基于PPSeg框架的HRNet_W48_Contrast复现
m0_63642362的博客
11-15 1503
Cross-Image pixel contrast是一种新的语义分割训练范式，在cityscapes验证集上HRNet_W48的mIou为81.0%，本次复现的mIou为82.47%。
图像分割专题复现课今晚开课；百度AI校招提前批第二场直播在等你！
PaddlePaddle
08-23 371
点击左上方蓝字关注我们直播课表8月23日（今晚）20:30 准时开讲！课程报名地址https://aistudio.baidu.com/aistudio/course/introduce/...
安装FVCOM
qq_39733581的博客
12-23 6961
1 准备工作，确定这些是否安装 [gq@localhost ~]$ su root 密码： [root@localhost gq]# which icc /opt/intel/composer_xe_2013_sp1.1.106/bin/intel64/icc [root@localhost gq]# which ifort /opt/intel/composer_xe_2013_sp1.1.10...
Exploring Real-Time Satellite Computing: From Energy and Thermal Perspectives
最新发布
11-13
从能源和热学角度进行实时卫星计算是一个多学科交叉的重要研究领域。 在能源方面，卫星的能源主要依赖太阳能电池板。太阳能电池板将太阳能转化为电能，为卫星上的各种设备包括计算单元供电。实时卫星计算需要保证稳定的能源供应，因为计算任务的执行会消耗大量电能。例如，当卫星进入地球阴影区时，太阳能电池板无法工作，此时就需要依靠卫星上的储能装置，如电池，来维持计算任务的进行。同时，为了提高能源利用效率，需要对卫星的能源管理系统进行优化，合理分配能源到不同的计算任务和设备上。 ```python # 简单示例：模拟卫星能源分配 total_energy = 1000 # 总能源 computing_task_1_energy = 300 # 计算任务1所需能源 computing_task_2_energy = 200 # 计算任务2所需能源 other_devices_energy = 400 # 其他设备所需能源 if computing_task_1_energy + computing_task_2_energy + other_devices_energy <= total_energy: print("能源分配合理，可以正常运行计算任务") else: print("能源不足，需要调整任务或设备能耗") ``` 在热学方面，卫星计算过程中会产生大量的热量。如果热量不能及时散发出去，会导致卫星内部温度过高，影响计算设备的性能和寿命。因此，需要设计高效的热管理系统。常见的热管理方法包括使用散热片、热管等被动散热方式，以及主动制冷系统。散热片通过增大散热面积来加快热量散发，热管则利用工质的相变来高效传递热量。 ```python # 简单示例：模拟卫星温度控制 current_temperature = 50 # 当前温度 max_allowable_temperature = 60 # 最大允许温度 if current_temperature > max_allowable_temperature: print("温度过高，启动制冷系统") else: print("温度正常，无需额外制冷") ``` 实时卫星计算还需要考虑能源和热学之间的相互关系。例如，制冷系统的运行会消耗额外的能源，因此在设计热管理系统时需要权衡能源消耗和温度控制的效果。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值