【Out-of-Distribution Detection】Evidential Deep Learning in NeurIPS 2018 个人理解

一、简介

题目： Evidential Deep Learning to Quantify Classification Uncertainty
会议： NeurIPS 2018
任务： 分布外检测（Out-of-Distribution Detection, OOD Detection），测试集中可能出现超出训练集样本分布的样本（可以是来自未知类的样本、被破坏的样本、异常样本等等），要求将这些样本隔离出来。
Idea：
使用主观逻辑（Subjective Logic）理论形式化DS证据理论（Dempster–Shafer Evidence Theory）中单子集的概念推导出样本属于各已知类（训练集中包含的类）的概率，并评估不确定性作为样本处于分布外或属于未知类的概率。核心思想是将分类器的概率输出视为一个狄利克雷分布（Dirichlet Distribution）并替换，之后引入两个损失分别负责保证预测结果准确性和提升被错误分类的样本的不确定性。
Note： OOD Detection与开放集识别（Open Set Recognition, OSR）的任务目标类似，但通常OSR比OOD Detection更难一些。例如，如果训练类为数字1⃣️～5⃣️，OSR要拒绝的可能是测试集中的数字6⃣️、7⃣️，而OOD Detection要拒绝的可能是✈️、🚗。显然，相比✈️、🚗，数字6⃣️、7⃣️与1⃣️～5⃣️更加相似，也就更难被区分出来。

如图，转动数字1⃣️的图片进行分类概率预测。从左图可以看出，如果使用SoftMax训练分类器，即便将旋转后的1⃣️预测为2️⃣或5⃣️，其输出的最高概率值仍然很大。简单来说，就是SoftMax分类器即便面对一个完全陌生的样本也会给一个极高的置信分数（该现象被称为Over-Confidence），并且无法估计样本处于分布外或属于未知类的可能性。从右图可以看出，证据深度学习（Evidential Deep Learning）能够评估不确定性，当样本属于未知类时，不确定性会高于各已知类的预测概率，从而隔离该样本。

二、详情

1. 主观逻辑

主观逻辑将Dirichlet分布的参数与证据进行了关联。

首先，我们看一下Dirichlet分布：

其中，$\mathbf{\alpha }=[{\alpha }_i,\cdots ,{\alpha }_K]$是Dirichlet分布的参数，$B(\mathbf{\alpha })$是一个$K$维的多项式函数，${\mathcal{S}}_K$是一个集合，满足如下条件：

可以看出这里的$p_i$是范围0到1且和为1的，这与SoftMax输出的特性是一致的，再考虑到SoftMax不能评估不确定性并且Over-Confidence，作者将SoftMax的输出，即在各个类别上的概率预测，假设成是服从Dirichlet分布的。

然后，我们看一下证据。在DS证据理论中，Belief Mass指的是为一个假设分配的置信度。以三分类（类别为A、B、C）为例，单子集假设是指样本属于类别A、类别B、类别C，多子集假设则是指样本属于类别A或B、类别B或C、类别A或C、类别A或B或C（多子集假设就是说不知道具体是哪个类，只知道是该集合中的某一个）。显然，对于确定性的样本分类任务来说，我们只需要关注其中的单子集。Belief Mass则可以简单理解为某一假设成立的可能性。

假设训练集已知类有$K$个，主观逻辑就是要给一个样本分配$K$个Belief Mass作为样本属于各已知类的可能性估计，记为$b_k$，和1个不确定性（Uncertainty Mass）作为样本处于分布外或属于未知类的可能性估计，记为$u$。$\{[b_1,\cdots ,b_K],u\}$被称为主观观念（Subjective Opinion），它们是大于等于0且和为1的，即：

其中，$b_k\ge 0,k=1,\cdots ,K$且$u\ge 0$。

可以看出，主观逻辑中的$b_k$与Dirichlet分布中的$p_i$都是在表达分配给某个已知类的预测概率。

在主观逻辑中，主观观念可以通过下式计算：

其中，$e_k$是证据（在该工作中，作者将SoftMax替换为ReLU后的分类器网络输出当作了证据$e_k$，因为它是根据训练数据拟合而来的用于指导分类的度量，使用ReLU是为了让输出都大于等于0）；$S={\sum }_{}$