CVPR离群值检测论文ID-like Prompt Learning for Few-Shot Out-of-Distribution Detection

标题	期刊	年份	关键词	项目地址
ID-like Prompt Learning for Few-Shot Out-of-Distribution Detection	CVPR	2024	OOD检测、Few-Shot学习、CLIP、ID-like样本	项目地址

概览

今天我们来分享一篇来自CVPR 2024的论文：ID-like Prompt Learning for Few-Shot Out-of-Distribution Detection。这篇论文由天津大学和郑州大学的研究人员合作完成，提出了一种新颖的少样本（Few-Shot）离群值（Out-of-Distribution，OOD）检测框架。🔍

研究背景

在机器学习模型的实际部署中，我们经常会遇到训练时未见过的OOD样本，这在自动驾驶和医疗诊断等领域可能引发严重的安全问题。因此，OOD检测对于机器学习模型的安全部署至关重要。🚨

创新点

• ID-like样本的发现：论文提出了一种方法，使用CLIP从ID样本的邻近空间中发现与ID样本相似的OOD样本，即ID-like样本。
• Prompt Learning框架：提出了一个利用ID-like样本进一步利用CLIP进行OOD检测的提示学习框架。
• 少样本学习：在仅有少量ID样本的情况下，该方法能够学习模型的提示，而无需暴露其他辅助离群值数据集。

方法介绍

1. 输入（ID样本）：

   • 模型的输入是一些已知类别（In-Distribution，ID）的样本，这些样本是模型在训练阶段见过的。

2. 计算余弦相似度（CLIP模型）：

   • 使用预训练的CLIP模型，计算输入样本与对应的文本描述（prompt）之间的余弦相似度。CLIP模型包含一个图像编码器和一个文本编码器，它们将图像和文本映射到同一个特征空间。

3. 相似度高低判断（决策节点）：

   • 根据计算出的余弦相似度，将样本分为两组：
     • 高相似度：这些样本被认为是ID样本，因为它们与已知类别的描述高度相似。
     • 低相似度：这些样本被认为是OOD样本，因为它们与已知类别的描述相似度较低，可能是未知类别。

4. ID样本集合：

   • 将高相似度的样本收集起来，形成ID样本集合，用于后续的ID提示学习。

5. OOD样本集合：

   • 将低相似度的样本收集起来，形成OOD样本集合，用于后续的OOD提示学习。

6. ID提示学习：

   • 对于ID样本，初始化一个可学习的提示（prompt），并通过优化过程调整这个提示，使其能够更好地表示ID样本的特征。

7. OOD提示学习：

   • 对于OOD样本，同样初始化一个可学习的提示，并通过优化过程调整这个提示，使其能够捕捉到与ID样本相似但不属于ID类别的OOD样本的特征。

8. 推理（分类和OOD检测）：

   • 在推理阶段，使用优化后的ID提示进行分类任务，使用OOD提示进行OOD检测任务。模型会计算输入样本与ID提示和OOD提示的相似度，根据相似度的高低来判断样本是否属于OOD。

• 

模型图

相关工作

论文还回顾了预训练视觉-语言模型在OOD检测中的应用，以及对比性视觉-语言模型的最新进展。📚

实验

实验部分，作者在多个真实世界的大型数据集上验证了他们的方法，并与现有的几种OOD检测方法进行了比较。结果表明，他们的方法在4-shot OOD检测中平均FPR95降低了12.16%，平均AUROC提高了2.76%，相比最先进的方法取得了更好的性能。🏆

结论

这项工作提出了一种基于预训练视觉-语言模型的少样本提示学习方法，用于OOD检测。通过引入ID-like提示并构建与ID数据高度相关的异常值，该方法有效地解决了以前OOD检测方法中的关键限制。🎯