Bluebro的博客

1.在FSL的episode训练过程中，目前自监督方法无法捕捉和充分利用图像样本中的局部视觉信息和整个episode的数据结构信息。2.大多数 SSL pretext 任务都是基于全局图像嵌入构建的，往往会忽略包含更丰富和更可迁移的低级视觉信息的局部空间图像特征3.现有的 SSL 方法通常单独处理每个输入样本，无法充分利用 few-shot episode 中多个图像样本的相互关系，这将导致整个 episode 的数据结构信息丢失

这篇论文的题目是 用于小样本Transformers的监督遮掩知识蒸馏论文接收： CVPR 20231.将类标签纳入自监督知识蒸馏中，以填补自监督与监督学习之间的空白，从而有效地利用自监督学习的优势来缓解监督训练的过度拟合问题；2.在 类(全局) 和 patch(局部) 级别上都制定了监督对比损失，允许在 类 和 patch tokens 上进行类内知识蒸馏，以学习到效果更好的小样本Transformer模型；3.引入跨类内图像遮掩patch tokens重建的挑战性任务，以提高模型泛化性能。

这篇论文在2022年发表在ECCV上，论文的题目是用于小样本Transformer的self-promoted supervision（自我推荐监督）。文章提出了一种新的ViTs的小样本训练框架，即self-promoted supervision（SUN），它的核心是通过密集的特定位置的监督来快速准确地学习patch tokens地依赖关系，解决Transfomrer较差归纳偏置的问题。

在一些论文中，也称为Conv-64F，其中“64F”表示网络中使用了64个滤波器（filters），它包含 4 个重复的卷积块。总体来说，Conv-64F主干网络是一个相对简单的卷积神经网络结构，但在许多图像分类和目标识别任务中已经表现出良好的性能。Resnet12包含4个残差块，每个残差块有3个卷积层。“12”表示一共有12个卷积层。ResNet12被广泛应用于图像分类、目标检测和语义分割等任务中，其具有优秀的性能和较低的计算复杂度。

小样本学习（few-shot learning，FSL）旨在从有限的标记实例（通常只有几个）中学习，并对新的、未见过的实例进行识别。首先，在FSL设置中，通常有三组数据集，包括支持集S、查询集Q和辅助集A。S中的实例类别已知，Q中实例类别未知但一定属于S，S和A的实例类别一定不相交，即S中的类别一定不会出现在A中。FSL任务通常被设定为 N-way K-shot 的形式，其中N是类别的数量，K是每个类别中标记的样本数量，表示支持集 S有N个类，每个类有K个标记样本。N通常为5。K通常设为1或5