如何深入理解贝叶斯？

如何理解贝叶斯这个重要的概念？

到底什么是贝叶斯

Bayes是用于推理的，而推理讲究证据，所以贝叶斯的推理过程就是通过不断的收集证据E来增强对假设事件H的信心。换而言之这很类似侦探办案的例子，假设凶手是H，福尔摩斯通过不断搜集证据，增强自己认定凶手就是A的信心，这个过程就是贝叶斯。

$$P(H|E) = \frac{P(H) \cdot P(E|H)}{P(E)}$$
贝叶斯公式推导: $$P(H|E) = \frac{P(H,E)}{P(E)} = \frac{P(H) \cdot P(E|H)}{P(B)}$$
贝叶斯公式和两个概率有关系: 先验概率(基础概率), 后验概率(观察到的概率)

贝叶斯的一些小概念

P(H) 是先验概率。就是没有任何条件限定下H发生的概率。比如凶手杀了个人，但是没有任何证据。
P(H|E)叫后验概率。就是通过贝叶斯计算最终得到的比较科学的概率。
P(E|H) 叫条件似然，也称之为似然概率，似然就是时间发生的可能性。
- 物以类聚，人以群分，如果我们把H与~H看作两类人，比如男人和女人，那么这两类人针对同一件事情会有不同的看法和倾向，比如男人可能更喜欢踢足球，而女人可能更喜欢逛街，似然概率描述的就是这两类不同的人针对事件$E_i$表现出的倾向概率
- 由于P(E|H)与P(E|~H)是针对两类不同的人的概率，因此它们之间并不互斥， $P(E|H) + P(E| \neg H) ≠ 1$

P(E)称之为整体似然，在所有情况下证据E发生的概率，不管事件H发生还是不发生。因为它起到归一化的作用，所以又称为归一化常量(normalizing constant)。

有关贝叶斯的例子

某城市发生了一起汽车撞人逃跑事件，该城市只有两种颜色的车，蓝色15%，绿色85%，事发时有一个人在现场看见了，他指证是蓝车。但是根据专家在现场分析,当时那种条件能看正确的可能性是80%。那么,肇事的车是蓝车的概率到底是多少？

令B为城市车为蓝色车事件, G为城市车为绿色车事件,E为观察到车子为蓝色的事件，不管有没有人在看到了，则有:
- P(B)就是先验概率
- P(E)就是传说中的整体似然，P(E|B)就是条件似然。
- P(B|E)就是我们要求的在有证人的情况下，肇事车为蓝色的概率，也就是后验概率。

那么有：

$$P(B) = 0.15; P(G)=0.85$$
当没有任何人看到是什么颜色的时候，只能盲猜，所以为蓝色的概率 (先验概率)是：
$$P(B) = 0.15$$
当 有人看到了肇事车是蓝色的，这时候要分成两种情况，一种是肇事车确实是蓝色的，一种是肇事车不是蓝色的，所以有：
$$P(E,B) = P(B)P(E|B) = 0.15 * 0.8 = 0.12$$
$$P(E,\neg B) = P(\neg B)P(E| \neg B) = 0.85 * (1 - 0.8) = 0.17$$
所以可以得出：
$$P(E) = P(E,B) + P(E,\neg B) = 0.12 + 0.17 = 0.29$$
那么后验概率为：
$$P(B|E) = \frac{P(E, B)}{P(E)} = \frac{0.12}{0.29} = 0.41$$
可见通过有人看到这个证据，增强了我们对肇事车辆时蓝色车的信心。

参考:

怎么简单理解贝叶斯公式？
机器学习-贝叶斯分类
朴素贝叶斯算法 & 应用实例
深度学习入门-贝叶斯规则
lixianmin/cloud