薛铁钢的博客

本文提出了一种新颖的语义提示方法，利用类名的文本信息作为语义提示，自适应地调整特征提取网络，使得图像编码器只关注和语义提示相关的视觉特征，忽略其他干扰信息。本文主要提出了一个语义提示SP模块和模块中两种互补的信息交互机制：1、SP模块：可以插入到特征提取器的任何层中，包含空间和通道交互部分。2、空间交互机制：将语义提示特征和图像块特征串联在一起，然后送入Transformer层中，通过自注意力层，语义提示可以和每个图像块特征进行信息交互从而使模型关注类别相关的图像区域。

小样本学习是一个具有挑战性的问题，因为只有很少的例子可以识别一个新的类。最近的一些研究利用额外的语义信息，例如类名的文本嵌入，通过结合语义原型和视觉原型来解决稀少样本的问题。然而，这些方法仍然会受到从稀少的支持样本中学习到的虚假视觉特征的影响，从而导致有限的性能增益。在本文中，我们提出了一种新颖的面向小样本学习的语义提示方法

针对增量小样本学习问题，探索一种可以快速从小样本中学习新类别，又不会忘记以前见过的类别的模型Sylph，且不需要对模型参数进行任何额外的优化。面对新类别会直接训练，不用联合训练（连带着基类和已经学习到的新类别一起训练）在基础训练的时候训练出一个和类别无关的回归器，在适应新类别时，只需要用这个回归器进行定位操作就可以了；因此只需要考虑小样本分类问题，只关注分类器的参数；训练新类别时，生成一组新的分类器参数（新类类代码），再通过元测试阶段将新类类代码和基类类代码合成在一起。

我的配置：Python ：3.6.5(ubuntu20.04)Pytorch ：1.9.0Cuda ：11.1GPU：RTX 3090 Ti(24GB)

论文地址：[https://arxiv.org/abs/2003.06957](https://arxiv.org/abs/2003.06957)论文代码：[https://github.com/ucbdrive/few-shot-object-detection](https://github.com/ucbdrive/few-shot-object-detection)

小样本分类问题：FS-C，总是事先假定查询图像中包含且只包含一个目标类，这个目标类属于支持类中，且支持集中的各个类之间不能存在包含关系，如{苹果，橘子，水果，桌子，椅子，家具}这种类别设置是不允许的。小样本图像分割问题：FS-S，当查询图像中不包含目标类别时，会选择分割出图像中最显著的部分。

我们介绍了小样本分类和分割（FS-CS）的集成任务，目的是在目标类给出的例子很少的情况下，对查询图像中的目标对象进行分类和分割。该任务结合了两个传统的小样本学习问题，小样本分类和分割。FS-CS将它们推广到具有任意图像对的更真实的任务中，其中每个目标类可能出现在查询图像中，也可能不出现在查询图像中。为了解决这一任务，我们提出了FS-CS的综合小样本学习。

【代码调试】《FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding》Python ：3.8(ubuntu18.04)Pytorch ：1.6.0Cuda ：10.1GPU：RTX 2080 Ti(11GB) * 2

本文提出了一种基于对比建议编码（FSCE）的小样本目标检测方法，在RoI 特征提取后添加了一个和回归、分类分支并行的建议框对比编码（CPE）分支。

近些年来，人们开始对识别以前从未见过的物体产生兴趣，这种使用很少的样本进行训练的目标检测任务被称为小样本目标检测（FSOD）。最近的研究表明，良好的特征嵌入是获得良好的小样本学习性能的关键。我们观察到，具有不同的IoU分数的目标建议框议类似于对比方法中使用的图像内增强。我们利用这种类比并结合监督对比学习，在FSOD中实现更健壮的目标表示。我们提出了一些通过对比建议编码（FSCE）的小样本目标检测方法，这是一种简单而有效的来学习对比感知的对象建议编码的方法，有助于对检测到的目标进行分类。

在以往的小样本目标检测工作中，支持特征和查询特征之间的关系没有得到充分的发掘和利用，传统方法利用支持特征的全局池化生成的分类向量来调整查询特征，从整体角度指导特征学习。然而，由于外观变化或遮挡在自然图像中是常见的，当同一类对象在查询和支撑样本之间变化很大时，整体特征可能会产生误导。另外，当大部分物体由于遮挡而看不见时，局部上下文细节丢失，这时局部细节特征的检索变得非常重要，而以往的方法完全忽略了这一点。同时，小样本目标检测问题中，多尺度特征提取器存在基类和新类过拟合的问题。

传统的基于深度学习的物体检测方法需要大量的边界框注释来进行训练，获取如此高质量的标注数据代价高昂。小样本目标检测在只有少数注释实例的情况下学习适应新的类别，这是一种非常具有挑战性的方法，因为在只有少量可用数据的情况下，新对象的细粒度特征很容易被忽略。在本文中，为了充分利用带注释的新对象的特征，获取查询对象的细粒度特征，我们提出了基于上下文感知聚合的密集关系蒸馏法（DCNet）来解决小样本目标检测的问题。

本文提出一种SRR-FSD算法，尝试在使用视觉信息的同时使用语义关系，并且将显式的关系推理引入到小样本目标检测中。