专注计算机视觉全栈知识分享

本文介绍了一个用于视觉-语言模型的两阶段无监督提示蒸馏框架。该框架旨在通过使用未标记的领域数据，将大型CLIP教师模型的知识转移给轻量级CLIP学生模型，通过提示模仿。首先在领域少样本标记数据上对大型教师模型进行预训练，然后在大量未标记的领域数据上执行学生提示蒸馏。通过利用CLIP独特的解耦模态特性，我们提出重用预存的教师文本特征，并将其合并到学生图像编码器中，用于蒸馏和推理。通过对11个识别数据集进行的大量实验表明了我们方法的有效性。但是，蒸馏方法的有效性与通过未标记领域样本传递的知识密切相关。

什么是知识蒸馏？2015年，Hinton[1]注意到深度学习模型变得越来越大，率先想到是否可以利用一个训练好的大模型（俗称Teacher、教师模型），教授一个小模型（俗称Student、学生模型）进行学习。以常见的分类问题举例，给定一个包含NNN个样本的图像分类数据集xnynn1Nxnxn​yn​n1N​xn​是其中第nnn个样本图像，yny_nyn​是xnxn​对应的标签（数据集如果有KKK个类，则yny_nyn​。

本文介绍了Q-YOLO，一种高效的一阶段目标检测器，采用低比特量化方法解决传统量化 YOLO 模型中激活分布不平衡引起的性能下降问题。Q-YOLO 采用全面的后训练量化（PTQ）流程，结合了经过精心设计的基于单边直方图（UH）的激活量化方案。在COCO数据集上进行的广泛实验证明了 Q-YOLO 的有效性。它在准确性和计算成本之间取得了更好的平衡，优于其他后训练量化方法。这项研究显著推进了在资源有限的边缘设备上高效部署目标检测模型，实现了减少计算和内存需求的实时检测。

本文通过在min-max框架中最大化教师模型和学生模型之间的预测差异，提出了一个新的对抗蒸馏目标函数。此外，作者设计了一种自适应对抗蒸馏方案，即AdaAD，通过在内层优化中自适应地搜索最佳的“匹配点”来进行对抗性鲁棒蒸馏。最后，大量的实验证明，提出的方法在准确率和鲁棒性上明显优于当前最先进的对抗训练和对抗性鲁棒蒸馏方法。