Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

这篇论文中作者用集成学习的思想来进行不确定性的度量。

问题设定

训练数据用 D={xn,yn}n=1N\mathcal{D} = \{\mathbf{x}_{n}, y_{n}\}_{n=1}^{N}D={xn​,yn​}n=1N​ 表示，$\mathbf{x}\in {\mathbb{R}}^D$ 代表 $D$ 维的数据，对于分类任务，y∈{1,…,K}y \in \{1, \ldots, K\}y∈{1,…,K}, 对于回归任务，$y\in \mathbb{R}$。给定输入特征 $\mathrm{x}$, 用神经网络对概率性预测分布进行建模为 $p_{\theta }(y\mid \mathbf{x})$, 其中 $\theta$ 是神经网络的权重参数。

本文中采用集成学习（emsemble）的方法进行不确定性的预测，就是将 $M$ 个不同的神经网络进行集成，用 {θm}m=1M\{\theta_{m}\}_{m=1}^{M}{θm​}m=1M​ 来表示这些神经网络的权重参数。

回归任务上的训练

文章将训练数据看作是来自某种高斯分布中采样，所以神经网络应该能通过{xn,yn}n=1N\{\mathbf{x}_{n}, y_{n}\}_{n=1}^{N}{xn​,yn​}n=1N​ 的对应关系预测出这种高斯分布，也就是得到该分布的均值和方差，普通的神经网络的输出可以看作是均值 $\mu (\mathrm{x})$，该文章在此基础上增加了方差的输出 ${\sigma }^2>0$ , 则优化目标可以指定为最小化以下 negative log-likelihood criterion:
$$-\log p_{\theta }\left(y_n\mid {\mathbf{x}}_n\right)=\frac{\log {\sigma }_{\theta }^2(\mathbf{x})}{2}+\frac{{\left(y-{\mu }_{\theta }(\mathbf{x})\right)}^2}{2{\sigma }_{\theta }^2(\mathbf{x})}+\mathrm{constant}\text{\hspace{1em}(1)}$$
作者除了用采用集成学习的策略，还利用了对抗样本来对预测结果进行平滑，本文采用最速梯度轨迹方法（$fast$ $gradient$ $sign$ $method$）来获取对抗样本，具体来说就是，给定输入 $\mathbf{x}$ 以及对应标签 $y$，网络前馈计算获取损失值 $\ell (\theta ,\mathbf{x},y)$，所求取的对抗样本为 ${\mathbf{x}}^{\prime }=\mathbf{x}+\mathbf{ϵ}$，其中 $\mathbf{ϵ}$ 是某个方向的一个比较小的值，获取方法就是求损失函数对于 $\mathbf{x}$ 的导数，即 $\mathbf{ϵ}=\mathrm{sign}({\nabla }_{\mathbf{x}}\ell (\theta ,\mathbf{x},y))$，将 $({\mathbf{x}}^{\prime },y)$ 也看作是一个训练样本。

最后训练过程的伪代码如下图所示：

对于集成的策略，作者采用最简单的加起来就平均的方式，则最终的预测结果为：
$$p(y\mid \mathbf{x})=\frac{1}{M}\sum _{m=1}^{M}p(y\mid \mathbf{x},{\theta }_m)\text{\hspace{1em}(2)}$$预测均值为：
$${\mu }_{\ast }(\mathbf{x})=\frac{1}{M}\sum _m{\mu }_{{\theta }_m}(\mathbf{x})$$预测方差为：
$${\sigma }_{\ast }^2(\mathbf{x})=\frac{1}{M}\sum _m({\sigma }_{{\theta }_m}^2(\mathbf{x})+{\mu }_{{\theta }_m}^2(\mathbf{x}))-{\mu }_{\ast }^2(\mathbf{x})\text{\hspace{1em}(3)}$$