Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning

文章汉化系列目录

---

---

摘要

深度学习工具在应用机器学习中获得了极大的关注。然而，针对回归和分类问题的这些工具并未捕捉模型的不确定性。相比之下，贝叶斯模型提供了一个数学上有依据的框架来推理模型的不确定性，但通常伴随着巨大的计算开销。本文提出了一种新的理论框架，将深度神经网络（NNs）中的dropout训练视为深度高斯过程中的近似贝叶斯推理。该理论的直接结果为我们提供了使用dropout神经网络建模不确定性的工具——从现有模型中提取那些至今被丢弃的信息。这解决了深度学习中表示不确定性的问题，同时避免了牺牲计算复杂度或测试准确性。我们对dropout的不确定性进行了广泛的研究，评估了各种网络架构和非线性激活函数在回归和分类任务中的表现，以MNIST为例。我们展示了与现有最先进方法相比，在预测对数似然值和均方根误差（RMSE）上的显著提升，并最终在深度强化学习中应用了dropout的不确定性。

1、Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning这篇论文讲了什么

《Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning》这篇论文探讨了如何通过使用深度神经网络中的 dropout 技术来表示模型的不确定性，并将其与贝叶斯推理联系起来。

论文的主要内容可以总结如下：

1. 背景与动机：

   • 传统的深度学习方法，如回归和分类，并不直接捕捉模型的不确定性。然而，在很多实际应用中，了解模型预测的不确定性是至关重要的，尤其是在决策过程中。