【CVPR2022】【小样本分类和分割】Integrative Few-Shot Learning for Classification and Segmentation

原创 已于 2022-07-15 19:34:04 修改 · 4.8k 阅读 · 42 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #深度学习 #人工智能

于 2022-06-27 16:41:36 首次发布
本文探讨了在小样本条件下，如何融合分类和分割的综合任务(iFSL)解决FS-CS问题。提出了一种iFSL框架，利用深度语义和自注意力机制的ASNet模型，实现多标签分类和背景感知的分割。实验部分展示了ASNet在面对复杂场景时的有效性。

用于分类和分割的综合小样本学习

文章目录

Abstract

本文介绍了小样本分类和分割(FS-CS)的综合任务，即when the target classes are given with a few examples，对查询图像中的目标对象进行分类和分割。该任务结合了两个传统的小样本分类和分割任务。FS-CS将它们概括为具有任意图像对的更真实的事件，其中每个目标类可能出现在查询中，也可能不存在。为了解决这一任务，我们提出了FS-CS的综合小样本学习(iFSL)框架，该框架训练学习者构建用于多标签分类和像素级分割的类级前景地图。我们还开发了一个有效的iFSL模型，注意挤压网络(ASNet)，它利用深度的语义相关性和全局的自注意来生成可靠的前景地图。

一、Problem formulation

Integrative few-shot classification and segmentation (FS-CS)：给定一个查询图像和一些针对目标类的支持图像，我们的目标是识别每个类的存在，并从查询中预测其前景掩模。
在这里插入图片描述

多标签背景感知的预测。传统的少镜头分类(FS-C)[18,69,78]公式将查询只分配给目标类中的一个类，而忽略了查询不属于任何目标类或多个目标类的可能性。FS-CS解决了这一限制，并将FS-C推广为具有背景类的多标签分类。一个多标签少镜头分类学习器fC比较查询和支持图像之间的语义相似性，并估计类的出现：ˆyC=fC(x，S；θ)，其中ˆyC是一个N维多维向量，每个条目表示相应的目标类的出现。请注意，如果没有检测到任何目标类，则查询

最低0.47元/天 解锁文章
JOJO-9
关注
深度学习论文: A Zero-/Few-Shot Anomaly Classification and Segmentation Method for CVPR 2023 VAND Workshop
mingo_敏
08-14 1893
为了解决工业视觉检测中产品类型的广泛多样性，我们构建一个可以快速适应众多类别且不需要或只需要很少的正常参考图像的单一模型，为工业视觉检测提供更加高效的解决方案。提出了针对2023年VAND挑战的零/少样本跟踪的解决方案。1） 在zero-shot任务中，所提解决方案在CLIP模型上加入额外的线形层，使图像特征映射到联合嵌入空间，从而使其能够与文本特征进行比较并生成异anomaly maps。
计算机视觉：少样本学习（Few-Shot Learning）在视觉中的应用
热门推荐
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
06-04 4万+
计算机视觉：少样本学习（Few-Shot Learning）在视觉中的应用 ，人工智能，计算机视觉，大模型，AI，少样本学习（Few-Shot Learning, FSL）应运而生，其目标是利用极少量的标注样本训练模型，使模型能够对新的样本进行准确分类或预测。这一技术模拟人类从少量示例中快速学习并泛化到新情况的能力，为解决数据稀缺问题提供了有效的途径，在计算机视觉领域展现出巨大的潜力和应用价值。
【论文笔记1】小样本分类
XingshiXu
07-24 1234
小样本学习论文笔记
小样本语义分割（MSDNet网络详解）
weixin_45409613的博客
10-27 1678
小样本语义分割解决了在查询图像中分割对象的挑战，只有少量的注释示例。然而，许多现有技术的方法要么必须丢弃复杂的局部语义特征，要么遭受高计算复杂度的困扰。为了克服上述缺陷，本文提出一种新的基于Transformer架构的小样本语义分割框架。我们的方法引入了空间Transformer解码器和上下文掩码生成模块，以提高支持图像和查询图像之间的关系理解。此外，我们还引入了一个多尺度解码器，通过以分层方式合并来自不同分辨率的特征来细化分割掩模。
常用语义分割小样本模型
吴建明wujianming_110117
05-21 3149
常用语义分割小样本模型 1.介绍 深度卷积神经网络在图像分类、目标检测、语义分割等许多视觉理解任务上都取得了重大突破。一个关键的原因是大规模数据集的可用性，比如ImageNet，这些数据集支持对深度模型的培训。然而，数据标记是昂贵的，特别是对于密集的预测任务，如语义分割和实例分割。此外，在对模型进行训练之后，很难将模型应用于新类的预测。与机器学习算法不同的是，人类只看到几个例子就能很容易地从图像中分割出一个新概念。人类和机器学习算法之间的差距激发了对小样本学习的研究，其目的是学习一个模型，可以很好地推广到具
论文翻译《Integrative Few-Shot Learning for Classification and Segmentation》
薛铁钢的博客
03-14 768
我们介绍了小样本分类和分割（FS-CS）的集成任务，目的是在目标类给出的例子很少的情况下，对查询图像中的目标对象进行分类和分割。该任务结合了两个传统的小样本学习问题，小样本分类和分割。FS-CS将它们推广到具有任意图像对的更真实的任务中，其中每个目标类可能出现在查询图像中，也可能不出现在查询图像中。为了解决这一任务，我们提出了FS-CS的综合小样本学习。
DeepBDC:最强小样本学习，CVPR2022 SOTA，小样本分类
m0_63642362的博客
06-21 6620
DeepBDC文献提出了深度布朗距离协方差方法用于解决小样本分类问题。DeepBDC的核心思想是通过测量嵌入特征表示的联合特征函数与边缘特征函数的差异，来学习图像的表征。
[小样本图像分割]Self-Guided and Cross-Guided Learning for Few-Shot Segmentation
qq_38932073的博客
04-05 2677
用于 Few Shot 分割的自引导和交叉引导学习 摘要 Few Shot Segmentation由于能够有效地分割少量带注释样本的未见对象类而备受关注。现有的方法大多使用掩码全局平均池化(GAP)将带注释的支持图像编码为特征向量，以方便查询图像分割。然而，由于平均操作，这一操作不可避免地丢失了一些判别信息。在本文中，我们提出了一种简单但有效的自我引导学习方法，其中丢失的关键信息被挖掘。具体来说，通过对标注的支持图像进行初始预测，将覆盖和未覆盖的前景区域分别用masked GAP转换成主支持向量和辅助支持
小样本元学习论文阅读 | Few-shot Learning with Noisy Labels, Facebook, CVPR2022
RitaRao的博客
11-10 1255
针对noisy few-shot learning问题，提出一个新的transformer架构——TraNFS，用于聚合支持集样本特征得到类的原型，另一方面判断样本标签是否正确；方法通常假定支持集是干净的，也就是样本标记是准确的。存在噪声的情况下，很容易想到用中值作为均值的替代方案。
论文阅读《Integrative Few-Shot Learning for Classification and Segmentation》
薛铁钢的博客
03-20 608
小样本分类问题：FS-C，总是事先假定查询图像中包含且只包含一个目标类，这个目标类属于支持类中，且支持集中的各个类之间不能存在包含关系，如{苹果，橘子，水果，桌子，椅子，家具}这种类别设置是不允许的。 小样本图像分割问题：FS-S，当查询图像中不包含目标类别时，会选择分割出图像中最显著的部分。
最新《小样本学习》综述教程（来自CVPR 2020）
06-20
在过去的几年里，基于深度学习的方法在图像理解问题上取得了令人印象深刻的效果，如图像分类、目标检测或语义分割。然而，真实字计算机视觉应用程序通常需要模型能够(a)通过很少的注释例子学习，(b)不断适应新的数据而不忘记之前的知识。不幸的是，经典的监督深度学习方法在设计时并没有考虑到这些需求。
小样本分割综述
Paper weekly
05-19 8273
©PaperWeekly·作者｜艾超义学校｜中国矿业大学本科生研究方向｜小样本分割介绍深度卷积神经网络在图像分类、目标检测、语义分割等许多视觉理解任务上都取得了重大突破。一个关键的原...
【小样本学习】【CVPR2021】补全原型网络达到SOTA，Prototype Completion with Primitive Knowledge for Few-Shot Learning
【原创】【论文复现】【Matlab】【图像处理】基于三维直方图降维重建与高斯分布拟合的Otsu全局阈值分割算法的优化
02-04 2440
小样本学习是一种通过少量样本训练分类器的方法，目前是一项比较困难的任务。目前比较有效的方法是基于元学习的预训练方法，首先在样本比较丰富的基础类别上训练一个特征提取器，然后在样本比较少的新类别上进行微调。然而实验表明微调对网络在新类别上的分类准确率的改进比较有限，本文发现，在用于预训练的基础类别数据集中，每个类别中样本的分布都比较紧凑，不同类别之间泾渭分明，而在样本比较少的新类别数据集中，各个类别中的样本分布比较混乱，不同类别的样本混在一起，不容易分开，即方差比较大。针对上述问题，该文对所有类别的名称进
小样本学习之半监督的小样本分类
逸乡
03-13 1万+
本次介绍的论文： 2018 - ICLR - 《Meta-Learning for Semi-Supervised Few-ShotClassification》 在上篇博客中介绍了原型网络，一种基于度量的小样本分类方法，核心思想便是在一个嵌入空间中将所有同类的样本拉到较近的位置，然后通过距离度量的方式来判断一个样本x属于哪一个类。对于原型网络，这是一个监督学习，即训练数据全都是有标签的数据。...
FS-CS 用于分类和分割的综合少样本学习
m0_63642362的博客
08-20 615
论文：Integrative Few-Shot Learning for Classification and Segmentation
【小样本分割】PFENet++
qq_40946524的博客
12-03 4456
作者：Xiaoliu Luo∗, Zhuotao Tian∗, Taiping Zhang, Bei Yu, Yuan Yan Tang,Life Fellow, IEEE, Jiaya Jia,Fellow, IEEE（贾佳亚，香港中文大学） 发表：2021Arxiv 关键词：小样本分割 论文： Code： 背景 1. 小样本分割任务 2. PFENet 这篇论文基于PFENet论文进行改进。其中PFENet的作者和本篇论文作者是同一个。 具体内容见PFENet论文笔记。 动机 PFENet在获取先.
零基础小样本图像分类入门到毕业①：基础概念
qq_45233572的博客
10-05 4650
本入门博客面向零基础的小样本图像菜狗硕士，或者其他想学习小样本图像分类的业余人士。本篇简单介绍一下小样本的图像分类的前置基础知识和几个小样本图像分类任务的基本概念，以及我对小样本图像领域发论文，毕业情况的看法。
小样本学习-小样本分类：KNN+Faiss【Metric Based 方法：通过度量测试集中的样本和support集中样本的距离，借助最近邻的思想完成分类】
u013250861的博客
03-24 1321
Model Based 方法旨在通过模型结构的设计快速在少量样本上更新参数，直接建立输入 x 和预测值 P 的映射函数；Santoro 等人 [5] 提出使用记忆增强的方法来解决 Few-shot Learning 任务。基于记忆的神经网络方法早在 2001 年被证明可以用于 meta-learning。他们通过权重更新来调节 bias，并且通过学习将表达快速缓存到记忆中来调节输出。然而，利用循环神经网络的内部记忆单元无法扩展到需要对大量新信息进行编码的新任务上。
「CVPR2020」分布传播图网络的小样本学习
weixin_45519842的博客
10-22 801
点击蓝字，设为星标❝本文来自知乎作者@「周大侠」，点击阅读原文可直达作者知乎首页。「CVPR2020」：Distribution Propagation GNN for FSL❞DPGN...
解读文献《Few-Shot Anomaly Detection for Industrial Surfaces via Meta-Learning (CVPR 2022)》
最新发布
07-09
### 方法概述 文献《Few-Shot Anomaly Detection for Industrial Surfaces via Meta-Learning (CVPR 2022)》提出了一种基于元学习的少样本工业表面异常检测方法。该方法的核心思想是通过模拟多任务学习环境，使模型能够在少量正常样本的情况下快速适应新类别的异常检测任务[^1]。其整体框架结合了深度神经网络与元学习策略（MAML），旨在提升模型在有限数据下的泛化能力。 - **双分支特征提取架构**：模型采用双分支结构，分别处理全局信息和局部细节。全局分支负责重建图像的整体结构，而局部分支则专注于捕捉微小缺陷区域的变化。这种设计使得模型能够同时关注宏观一致性与微观异常特征[^2]。 - **元学习优化机制**：训练过程中，每个任务由一组支持集（support set）和查询集（query set）构成。支持集中包含少量正常样本，用于更新模型参数；查询集用于评估当前模型在未见过的数据上的表现。通过不断迭代，模型学会了如何根据少量示例快速调整自身参数以适应新的检测任务[^3]。 - **自注意力增强重构损失**：为了进一步提升异常定位精度，作者引入了基于自注意力机制的损失函数。该损失不仅考虑像素级别的重构误差，还引入空间相关性约束，从而更有效地识别出偏离正常模式的区域[^4]。 ### 应用场景与优势 此方法特别适用于工业质检中常见的“零样本”或“少样本”异常检测问题，例如金属零件、钢带、玻璃等表面质量控制环节。由于实际生产线上异常样本稀缺且难以获取大量标注数据，传统监督学习方法往往效果不佳。该研究提出的框架可以在仅需5个正常样本的情况下完成对新类别产品的异常检测，极大地降低了部署成本并提高了实用性[^5]。 - **高效迁移能力**：实验结果显示，在DAGM 2007和NEU-DET两个标准工业缺陷检测数据集上，该方法在AUC指标上分别达到了98.6%和97.2%，显著优于基于GAN、自编码器及迁移学习的传统方法[^6]。 - **可视化解释性增强**：除了定量性能提升外，模型还提供了可视化的异常热图输出，帮助工程师直观理解模型决策依据。例如，局部分支生成的注意力图可以清晰地指出图像中潜在缺陷的位置，这对于工业自动化系统中的故障诊断具有重要意义[^7]。 - **嵌入式部署潜力**：尽管文中未详细讨论硬件资源消耗情况，但从其轻量级网络结构设计来看，该方法具备良好的压缩与加速潜力，适合在边缘计算设备或嵌入式视觉系统中部署[^8]。 ```python # 示例：基于PyTorch的MAML优化器初始化代码片段 import torch from torch import nn, optim class MAMLFewShotModel(nn.Module): def __init__(self, base_model): super(MAMLFewShotModel, self).__init__() self.base = base_model self.reconstruction_loss = nn.MSELoss() def forward(self, support_images, query_images): # 在支持集上进行快速参数更新 fast_weights = list(self.base.parameters()) logits = self.base(support_images) loss = self.reconstruction_loss(logits, support_images) grads = torch.autograd.grad(loss, fast_weights) fast_weights = [w - 0.01 * g for w, g in zip(fast_weights, grads)] # 使用更新后的权重预测查询集 query_logits = self.base(query_images, weights=fast_weights) return query_logits ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值