chadlee

《Enhancing the reliability of out-of-distribution image detection in neural networks.》 ICLR’18OOD经典baseline。ODIN 的想法很简单，既然模型对ID 和 OOD 样本输出的 softmax 预测概率分布不同，那么可不可以让它们分布差异变得更大呢？这样便可以更容易的检测 OOD 样本。本文提出两种方法辅助：Temperature scaling和Input Preprocessing：相比于 .

这篇文章把自监督学习用在OOD检测上。训练过程分两步，在有标签的ID数据上有监督学习，在无标签的OOD数据上自监督学习，目的是在最小的模型改动下让模型学会“拒绝”为OOD数据分类。额外节点+两步训练为模型的最后一层添加额外的节点，使其包含kkk个拒绝分类，即模型从原来的nnn分类模型变为n+kn+kn+k分类模型。训练算法如下所示：为了更直观的说明，我画了一个示意图：在step 1时，输入是ID数据，训练的目标函数是正常的关于数据标签的交叉熵损失函数。在step 2时，输入数据里包含ID数据

https://arxiv.org/pdf/1912.03263v3.pdf常用的分类器模型都是在建模pθ(y∣x)p_{\theta}(y \mid \mathbf{x})pθ​(y∣x)，这篇文章从能量的视角解释分类模型，进而得到一个生成模型和分类模型的混合模型。该模型能够同时建模pθ(y∣x)p_{\theta}(y \mid \mathbf{x})pθ​(y∣x)和pθ(x)p_{\theta}(\mathbf{x})pθ​(x)，从而提高分类精度和样本生成质量。这篇文章也被用作OOD检测的ba

这篇文章有些像“learning loss”那篇一样，一股“end to end DL system solve everything”的味道。我需要一个confidence来评估一个样本是否为OOD数据，那我的神经网络模型就输出一个confidence指标来预测当前样本。文章虽然没有发表在会议，但是被引量很高。Motivation作者用一个例子来引入设计模型的动机。假设学生在考试中要回答一系列问题获得分数，途中学生可以选择请求提示获得帮助，但是请求提示会受到小惩罚。那么这个时候学生应该在有信心的题目

利用异常数据集训练异常检测器，这种方法称为异常暴露（Outlier Exposure，OE）。这使异常检测器能够泛化和检测未见的异常。在大量自然语言处理以及小规模和大规模视觉任务的广泛实验中，文章发现Outlier Exposure可显着提高检测性能。Outlier Exposure所谓异常暴露，就是给异常检测器引入异常数据，让模型能从已有的异常数据中获得启发，从而能泛化出未曾见过的异常。这篇文章只有一个公式，即模型引入OE后的优化目标：E(x,y)∼Din [L(f(x),y)+λEx′

《Energy-based Out-of-distribution Detection》 NIPS’20不改变模型结构，在任意模型上用能量函数替代softmax函数，识别输入数据是否为异常样本。还提出一个基于能量的正则化项，用来针对性fine-tuning模型。解决什么问题当模型遇到和训练数据差别很大的数据时，就会出现out-of-distribution （OOD）uncertainty，这个时候模型表现很差。识别出这些OOD数据很重要，比如对抗样本、异常检测。传统的OOD检测方法是基于softm