独家 | 一文读懂机器学习中的贝叶斯统计学

作者：Matthew Stewart, PhD Researcher

翻译：吴金笛

校对：丁楠雅

本文约4300字，建议阅读15分钟。

本文主要是向新手介绍贝叶斯方法并将其与频率方法进行比较。

你有没有问过自己，以前从未发生过的事件发生的概率是多少？

在本文中，我们将深入探讨贝叶斯统计的神秘世界以及它的一些原则，Bernstein-von Mises定理和Cromwell规则，以及用它们分析现实世界的机器学习问题。

 

“贝叶斯统计之所以困难，是因为思考是困难的”

 - Don Berry

 

 

如果你想深入了解贝叶斯统计背后的数学原理，那么这篇文章不是你要找的（尽管未来我将发表关于这个的文章）。本文主要是给刚刚接触这个概念的人介绍贝叶斯方法。

 

想象一下，你正在设计一座核电站。你的任务是使用数据来确定工厂是否正常运转。这看起来似乎是一个相对简单的任务，直到你意识到你实际上没有任何关于核电站发生核泄露时的数据。你怎么能预测这样的事情呢？

 

如果你是一个精明的机器学习专家，你可能会提出某种无监督的方法，如（受限制的）波耳兹曼机，它能够了解“正常”的发电厂是什么样的，从而知道什么时候发生了错误（事实上，这是正人们预测核电厂正常运行情况的一种方式）。

 

然而，如果我们从更广泛的意义上考虑这个问题，当我们没有什么负面例子可以比较时，我们该怎么办？出现这种情况有几个原因：

 

• 低概率情景：该事件发生的概率如此之低，以至于在（有限的）样本数据中根本没有观察到该事件的发生。

• 数据稀疏情景：观察已经发生，但很少。

• 灾难情景：失败的结果将是灾难性的，它只能发生一次，例如，太阳的毁灭。

 

传统的统计方法不适用于这类问题，我们需要不同的方法。

 

一个更普遍的问题是，我们如何处理极低（但