蓝鲸鱼的博客

OODformer: Out-Of-Distribution Detection Transformer是2021年12月发表在CVPR上的一篇比较新的OOD的论文。顾名思义，OODformer使用Transformer做异常检测。算法流程图如下：OODformer是一种比较简单的算法，和之前的SSD、CSI等OOD方法的思路接近。OOD的主要步骤都如下：介绍三篇One-CLass+Transformer的算法，采用的基本结构都是encoder-decoder的经典无监督异常检测方法。AnoViT: Un

1. 背景异常检测目标给定数据集{xm}m=1M\{x_m\}^M_{m=1}{xm​}m=1M​，分布外（OOD）检测的目标是对{xm}\{x_m\}{xm​}上的检测器建模，识别x为分布内（ID）或者分布外（OOD）数据。对比学习对比学习的思想是学习编码器fθf_θfθ​，以提取必要的信息，将相似样本与其他样本区分开来。设xxx为查询，x+{x_+}x+​与x−{x_−}x−​ 分别为一组正样本和负样本。对比损失的原始形式定义如下： 其中∣x+∣|{x_+}|∣x+​∣表示集合{x+}的势，z

1. 异常检测背景介绍符号说明XXX：输入空间YYY：标签空间PX×YinP^{in}_{X×Y}PX×Yin​：分布内（in-distribution，ID） 数据（没有数据标签时：PXinP^{in}_{X}PXin​）PXoodP^{ood}_{X}PXood​：分布外（out-of-distribution，OoD） 数据fff：特征提取器X→ZX→ ZX→Z、 其中Z⊂RdZ⊂ R^dZ⊂Rd（有监督学习中：g◦f:X→Rcg◦ f:X→ R^cg◦f:X→Rc）问题表述分布外（O

1. Softmax-based 方法这类方法利用预训练模型输出的最大 softmax 概率进行统计分析，统计发现 OOD 样本和 ID 样本 softmax 概率的分布情况，试图将二者的分布差距加大，然后选取合适的阈值来判断一个样本属于 OOD 还是 ID。这类方法简单且有效，不用修改分类模型的结构，也不需要训练一个 OOD 样本分类器。SMOOD提出分类正确的样本会得到更大的maximum softmax概率， 通过预测样本的softmax概率可以有效的检测出 OOD 样本。ODIN提出使用tem

目录1 AUROC和AUPR2 Softmax3 辅助分类器4 小结所谓异常检测，就是发现与大部分对象不同的对象，即离群点。异常检测以训练集为核心，判断输入数据是否与训练集中的数据类似。异常检测的论文集合可以参考这里。本文要介绍的论文为A baseline for detecting misclassified and out-of-distribution examples in neural networks（原文地址， 翻译地址）是OoD（Out-of-Distribution Detection