Few-shot Segmentation 论文阅读总结

最新推荐文章于 2025-09-05 17:28:34 发布
原创 最新推荐文章于 2025-09-05 17:28:34 发布 · 9.2k 阅读 · 48 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文概述了Few-shot Segmentation的任务设置，强调其利用少量样本进行学习的目标。介绍了四篇相关论文，包括One-Shot Learning for Semantic Segmentation、Conditional Networks for Few-Shot Semantic Segmentation、SG-One: Similarity Guidance Network以及PANet，详细解析了各论文的网络结构、训练和测试策略。这些工作旨在解决深度学习中通过少量样本进行有效学习的挑战。

 

目录

 

 

One-shot/Few-shot segmentation一般任务设置

paper 1：One-Shot Learning for Semantic Segmentation                     BMVC 2017

paper 2 : CONDITIONAL NETWORKS FOR FEW-SHOT SEMANTIC SEGMENTATION  ICLR 2018

paper 3：SG-One: Similarity Guidance Network for One-Shot Semantic Segmentation   

paper 4: PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment       ICCV2019

相关论文

 

One-shot/Few-shot segmentation一般任务设置

  • 在测试任务上：通过利用很少的具有分割标签的support set 来获得query set上目标的分割结果；所以说对于query set 和 support set 两者的要求就是类别是相同的；
  • 训练任务的要求：训练任务的support set与query set都需要给出分割的mask, support  set 的mask是用于提供指导信息；query set mask用于计算预测损失，用于反向传播更新网络参数；
  • 训练任务与测试任务的要求：训练任务中的类别与测试任务中的类别需要是不同。

从问题设置角度来说，one-shot/few-shot segmentation 的终极目的是利用support 中的K个训练图像对来“学习”一个模型，使得该模型能对训练图像对中出现的类别的新样本能够实现分割。至于“学习”为什么加引号后面再说；首先乍一看，one-shot/few-shot 可真厉害，就用几个训练样本"学习"一下就可以对新样本进行分割；不过还是那句话 No free lunch ! 为了实现小样本的学习，前提是我们需要一个更大样本库；具体流程描述如下：

训练的时候，我们构建一系列训练任务，每个训练任务都包含K个图像对，每个图像对是指训练图像与其对应的mask，通过构建很多的训练任务来对模型进行训练；测试过程其实就是前面所说的one-shot/few-shot segmentation的终极目的。所以说，测试过程中support set 中图像的目的并不是为了学习，因为网络参数在训练过程结束的时候已经固定了，更准确来说它们应该是起到一种指导的作用；来指导网络利用已学得的知识进行"举一反三"。这就好比让你在做一种新类型的题目前先给你看一遍参考答案的解题过程；然后让你学会做这种类型的题目。这时候又突然想到这与迁移学习的区别，同样借这个比方来解释一下迁移学习，迁移学习就是在做题目前你已经刷题无数，但是恰好现在的题目没见过，咋办，重新找和现在已有题目相似的题目重刷一遍，更新知识库，再去做题。所以当前的深度学习大部分情况下只能从头开始训练。使用Fine-tune来学习新任务，而Meta Learning 就是研究如何让神经网络很好的利用以往的知识，使得能根据新任务的调整自己。

paper 1：One-Shot Learning for Semantic Segmentation                     BMVC 2017

问题设置：

 

 

 

网络结构

本文首次提出双分支的网络用于few-shot segmentation，使用conditioning branch直接预测segmentation branch的权重参数，对segmentation branch提取到的特征进行加权融合，经过上采样后得到分割结果。每个网络分支的细节如下:

conditioning branch:

  • 输入将原始三通道彩色图像与其中目标对应的mask相乘得到，这样就保证了输入只包含目标的信息。

  • 输出的时候，为了是参数量与segmentation branch的特征图的通道数相对应，采用weight hashing的策略，将输出的1000维向量映射为4097维（w:4096, b:1），论文中是把这种映射机制建模成固定权重参数的全

最低0.47元/天 解锁文章
Few-Shot-Semantic-Segmentation-Papers:少量镜头语义分割论文
04-09
少量镜头语义分割论文 注意：如果您的论文不在清单中，请随意或给我。 2021年 标题 会场 PDF格式 代码 少量分割的自适应原型学习和分配 心肺复苏术 自我指导和交叉指导学习，用于少量分割 心肺复苏术 没有元学习的少量分割：您只需要一个好的转换推论？ 心肺复苏术 关于少量CNN分割的纹理偏差 WACV 用于少量分割的深高斯过程 arXiv -- 2020年 标题 会场 PDF格式 代码 用于少量语义分割的动态扩展网 毫米 代码 用于医学图像分割的半监督数次学习 arXiv PDF格式 代码 没有元学习的少量分割：您只需要一个好的转换推论？ arXiv PDF格式 代码 用于图像分割的元学习初始化 NeurIPS-W PDF格式 代码 BriNet：在一击式细分中弥合类内和类间的差距 arXiv PDF格式 代码 具有超像素的自我监督：无需注释即可训练很少的医学图像分割 EC
RePRI-for-Few-Shot-Segmentation:（CVPR 2021）用于少量分割的RePRI方法的代码。 http上的论文
05-02
少数分割的区域比例正则推断（RePRI） 更新03/21：CVPR 2021接受论文！ 论文代码：“无需元学习的少量分割：您只需要一个良好的转导推论？”，可通过以下免费获得： : ： 入门 最低要求 软件 ： 火炬== 1.7.0 numpy == 1.18.4 cv2 == 4.2.0 pyyaml == 5.3.1 对于培训和测试，指标监视都是通过visdom_logger （ ）完成的。 要使用pip安装此软件包，请使用以下命令： pip install git+https://github.com/luizgh/visdom_logger.git 硬件：支持11 GB + CUDA的GPU 下载资料 全部从Google云端硬盘进行预处理 我们提供用于此工作的Pascal-VOC 2012和MS-COCO 2017版本。 您可以下载完整的.zip文件，然后直接将
论文分享|NeurIPS 2022，FPtrans，Feature-Proxy Transformer for Few-Shot Segmentation，代码已复现
m0_74277350的博客
07-15 951
浙江大学团队在NeurIPS 2022提出FPTrans，一种基于特征代理的少样本分割方法。针对现有方法依赖复杂解码器的问题，FPTrans回归“特征提取+线性分类”的简洁框架，通过两类创新提升性能：1）提示策略增强查询-支持特征交互，优化有限样本利用；2）多局部背景代理解决背景异质性。实验表明，FPTrans在PASCAL-5i和COCO上达到SOTA性能（如1-shot PASCAL-5i 64.8mIoU），尤其跨域场景表现优异。消融实验验证了ViT主干与代理设计的协同有效性。代码已开源，复现难度低。
[小样本语义分割]Few-Shot Segmentation via Cycle-Consistent Transformer
qq_38932073的博客
06-30 4412
基于循环一致Transformer的Few-Shot分割 论文地址 摘要 Few Shot分割的目的是训练一种能够快速适应样本较少的新类别的分割模型。传统的训练范式是促使模型学习根据支持图像的特征对查询图像进行预测的能力。以前的方法通常只利用支持图像的语义级原型作为条件信息，但这些方法不能利用所有像素级支持信息来进行查询预测，而这对于分割任务通常是非常重要的。在本文中，我们着重于利用支持图像和查询图像之间的像素级关系来促进Few-Shot语义分割任务。我们设计了一个新颖的循环一致Transformer模块（
【人工智能】提示词技巧：如何用“少样本学习（few-shot）”让大模型快速上手新任务
最新发布
m0_70680929的博客
09-05 984
少样本学习(Few-Shot Learning)是一种让大模型快速掌握新任务的高效方法。通过在提示词中提供2-5个典型示例，帮助模型理解任务规则、输出格式和质量标准。这种方法特别适用于有固定格式要求、明确判断标准或专业领域的任务。 设计有效的少样本提示词需注意：1)选择典型、一致且简洁的示例；2)构建清晰的任务说明-示例展示-新任务指令结构；3)控制示例数量在2-5个；4)确保示例与新任务类型匹配。 实际应用中，可结合角色设定、思维链等技巧提升效果。当遇到复杂任务时，可将其拆分为子步骤并分别设计示例；遇到多
【Few-Shot Segmentation论文阅读笔记】Part-aware prototype for few-shot semantic Segmentation, ECCV, 2020
Raymond_Love的博客
01-11 2716
Abstract 问题： 现有Few-shot segmentation方法的缺点包括： 只能处理有限的问题：one-way few-shot segmentation, 比较难向multi-way进行扩展 Single prototype 表征能力有限，无法涵盖object的全部regions 目标： 针对上述问题，本文引入semi-supervised framework，将其作为semi-supervised few-shot semantic segmentation问题，从两方面入手en
one/few-shot segmentation 笔记
DreamLike_zzg的博客
03-18 2317
数据集 pascal-5i 每个sub-dataset中，trainset来自pascal trainset，testset来自pascal valset One-Shot Learning for Semantic Segmentation (Sep 2017) 使用dataset：pascal-5i train时，support 和 query 均从Dtrain中抽样，cla...
【Few-Shot Segmentation论文阅读笔记】Prototype Mixture Models for Few-Shot Semantic Segmentation, ECCV, 2020
Raymond_Love的博客
01-08 3716
Abstract Target Probelm：Single Prototype ===> semantic ambiguity problem 为此，本文提出了Prototype Mixture Models (PMMs) PMMs使用多个prototype用来分别对应不同的image regions, 进而提高其语义表征能力 使用EM算法来估算prototype, 使得PMMs能够富含丰富的channel-wised和spatial语义信息 PMMs既可以作为representation
【论文阅读】Prior Guided Feature Enrichment Network for Few-Shot Segmentation
栗子菜菜
10-01 1593
Prior Guided Feature Enrichment Network for Few-Shot SegmentationAbstractIntroductionRelated WorkSemantic Segmentation（语义分割）Few-shot Learning（小样本学习）Few-shot Segmentation（小样本分割）Our MethodTask Description（任务描述）Prior for Few-Shot Segmentation重要的观察（为什么使用先验引导）P
《Generalized Few-shot Semantic Segmentation》论文解读
xieguohuan的博客
04-21 924
《Generalized Few-shot Semantic Segmentation》背景及技术解读
【论文阅读】Singular Value Fine-tuning: Few-shot Segmentation requires Few-parameters Fine-tuning
GinPd的博客
10-10 638
Freeze 预训练的backbone（(冻结主干网络的参数)已经成为FSS任务中预防 over-fitting 的标准范式，但本文提出一种新范式，即fine-tuning a small part of parameters in the backbone。
【论文翻译】Self-Guided and Cross-Guided Learning for Few-Shot Segmentation
栗子菜菜
11-24 2947
Self-Guided and Cross-Guided Learning for Few-Shot Segmentation摘要1 Introduction2 Related Work2.1 完全监督语义分割2.2 小样本分割3. Problem Setting4 Methodology（方法论）4.1. 概述4.2支持集上的自我引导学习（SGM）4．3查询集训练4．4. 交叉引导的multiple shot学习5实验5.1实施细节5.2数据集和评估指标5.3与先进的方法进行比较5.4消融实验6结论 论文
【Few-Shot Segmentation论文笔记】CANet, IAAA, 2019
Raymond_Love的博客
01-14 1494
Abstract 本文研究的问题： Few-shot Segmentation 致力于应对标注数据获取困难，且耗时耗力的问题和场景 同类别的个体外观也会有很大差异，如何挖掘这些同一类别对象的共享特征，也是一个难点。 主要工作： 本文提出了CANet（Class-Agnostic Segmentation Network），其主要贡献在于以下几点： 本文提出了一个新颖的Two-branch dense comparison module (DCM)，能够有效的利用来自CNN的...
few-shot segmentation 2022年数据
qq_44996943的博客
11-27 328
few-shot segmentation 2022年数据
【论文速览_01】Awesome Few Shot Segmentation论文
qq_41234663的博客
02-02 1314
少样本分割论文总结
[小样本图像分割]Self-Guided and Cross-Guided Learning for Few-Shot Segmentation
qq_38932073的博客
04-05 2670
用于 Few Shot 分割的自引导和交叉引导学习 摘要 Few Shot Segmentation由于能够有效地分割少量带注释样本的未见对象类而备受关注。现有的方法大多使用掩码全局平均池化(GAP)将带注释的支持图像编码为特征向量，以方便查询图像分割。然而，由于平均操作，这一操作不可避免地丢失了一些判别信息。在本文中，我们提出了一种简单但有效的自我引导学习方法，其中丢失的关键信息被挖掘。具体来说，通过对标注的支持图像进行初始预测，将覆盖和未覆盖的前景区域分别用masked GAP转换成主支持向量和辅助支持
从 Metric Learning 看 Few-Shot Semantic Segmentation
Jingyang.Zhang的博客
04-15 2022
Few-Shot Segmentation 问题定义 假设模型在 CtrainC_{train}Ctrain​ 类上训练，我们的目标是 在测试时，给定一些新类 CtestC_{test}Ctest​ 的有标签的图像，用这个 训练好的 的模型对其他新类的图像进行预测 (分割)。 一般文章中把上述有标签的新类图像称为 Support Image，把其他待分割的新类图像成为 Query Image。 ...
【Few-Shot Segmentation论文阅读笔记】PANet: Few-Shot Image Semantic Segmentation with Prototype , ICCV, 2019
Raymond_Love的博客
01-12 2151
Abstract Target Question: Few-shot Segmentation 本文主要工作： 基于metric-learning的思想，本文提出了PANet(Prototype Alignment network)，能够更好地利用support set中包含的语义信息，实现小样本语义分割。 算法优点： segmentation阶段没有引入额外的learnable parameters, 减少了over-fitting的可能性 Prototype embedding &amp
[小样本分割] Few Shot Medical Image Segmentation with Cross Attention Transformer
weixin_44832243的博客
05-16 4269
在深度学习医学图像分割领域，训练一个性能强，可以大规模部署落地的模型，往往需要大量手动标注的数据进行监督训练，其中花费的成本是非常高的。为了解决这一挑战，少样本学习（few-shot）技术有潜力从有限的几个sample中学习新类别的能力。本文提出了一种基于交叉掩码注意力的少样本医学图像分割新框架CAT-Net：通过挖掘support和query图像之间的相关性，并限制模型仅关注有用的前景信息，来提高support和query特征的表达能力。同时，本文还进一步设计了一个迭代细化训练框架来优化查询。
Domain-Rectifying Adapter for Cross-Domain Few-Shot Segmentation复现
07-24
为了复现 *Domain-Rectifying Adapter for Cross-Domain Few-Shot Segmentation* 这篇论文中的方法和实验，需要按照论文中描述的模型结构、训练策略、数据处理方式以及评估指标进行系统性实现。以下是一个详细的复现指南： ### 模型架构与组件 论文中提出了一种领域修正适配器（Domain-Rectifying Adapter），其主要目标是在跨域少样本分割（CD-FSS）任务中提升模型的泛化能力。该方法基于一个少样本分割的基线模型（SSP），并在其主干网络（ResNet-50）上引入了扰动模块，用于增强模型对不同领域数据的适应性。 - **主干网络**：使用 ResNet-50 作为特征提取器，扰动模块应用于 ResNet 的前三个层，以增强模型对输入特征的鲁棒性[^3]。 - **扰动模块**：分为局部扰动和全局扰动两个部分。局部扰动通过在 ResNet 的前三个层中添加均值为 0、标准差为 0.75 的高斯噪声来实现；全局扰动则是在整个特征图上添加均值为 0、标准差为 1 的高斯噪声[^3]。 - **适配器结构**：该适配器模块被插入到主干网络中，用于调整特征表示，使其更适应目标领域的分布。 ### 训练设置与超参数 为了确保实验的可复现性，论文中提供了详细的训练设置和超参数配置： - **优化器**：使用随机梯度下降（SGD），动量设置为 0.9，初始学习率为 1e-3。 - **图像尺寸**：所有输入图像被统一调整为 400×400 的分辨率。 - **Batch Size**：训练过程中使用的 batch size 为 8。 - **训练轮数（Epoch）**：整个训练过程共进行 5 个 epoch。 ### 数据集与预处理 - **数据集**：论文中使用的数据集包括多个领域，用于构建 CD-FSS 基准数据集。这些数据集涵盖了不同的图像域，如自然图像、医学图像等。 - **数据增强**：在训练过程中，应用了数据增强技术，包括随机裁剪、旋转、颜色抖动等，以提高模型的泛化能力。 - **任务采样**：在少样本学习设置下，每个训练任务从支持集中随机选取少量样本（例如 1-shot 或 5-shot），并结合查询集进行训练。 ### 评估指标 - **评估方式**：使用平均交并比（mIOU, mean Intersection over Union）作为主要评估指标，该指标越大表示模型的分割性能越好。 - **测试阶段**：在测试阶段，模型需要在未见过的领域上进行少样本分割任务，评估其对新领域的适应能力。 ### 代码实现建议 以下是一个简化的代码框架，用于实现该论文中的方法： ```python import torch import torch.nn as nn import torch.optim as optim from torchvision import models class DomainRectifyingAdapter(nn.Module): def __init__(self, backbone): super(DomainRectifyingAdapter, self).__init__() self.backbone = backbone self.adapter = nn.Sequential( nn.Conv2d(256, 256, kernel_size=3, padding=1), nn.BatchNorm2d(256), nn.ReLU() ) # 局部扰动层 self.local_noise = GaussianNoise(mean=0, std=0.75) # 全局扰动层 self.global_noise = GaussianNoise(mean=0, std=1) def forward(self, x): features = [] for i, layer in enumerate(self.backbone.children()): if i < 3: x = layer(x) x = self.local_noise(x) else: x = layer(x) features.append(x) x = self.adapter(features[-1]) x = self.global_noise(x) return x class GaussianNoise(nn.Module): def __init__(self, mean=0, std=1): super(GaussianNoise, self).__init__() self.mean = mean self.std = std def forward(self, x): if self.training: noise = torch.randn_like(x) * self.std + self.mean return x + noise else: return x # 初始化模型 resnet50 = models.resnet50(pretrained=True) model = DomainRectifyingAdapter(resnet50) # 设置优化器 optimizer = optim.SGD(model.parameters(), lr=1e-3, momentum=0.9) # 定义损失函数 criterion = nn.CrossEntropyLoss() # 训练循环 for epoch in range(5): for images, labels in train_loader: images, labels = images.to(device), labels.to(device) outputs = model(images) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() ``` ### 实验注意事项 1. **数据集划分**：确保训练集、验证集和测试集的划分符合 CD-FSS 的设定，即训练阶段使用源域数据，验证和测试阶段使用目标域数据。 2. **任务采样策略**：在每个训练迭代中，应从支持集中随机采样少量样本，并结合查询集进行训练，以模拟少样本学习的设置。 3. **超参数调优**：虽然论文中提供了默认的超参数设置，但在实际复现过程中，可能需要根据具体硬件环境和数据集特性进行微调。 4. **评估方式**：在测试阶段，使用 mIOU 作为主要评估指标，并确保评估过程与论文中描述的一致。 ###
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SuperLee188

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值