13、贝叶斯规则与机器学习中的函数特性

贝叶斯规则与机器学习中的函数特性

1. 贝叶斯规则基础

在概率领域，当我们观察到的结果与先验假设一致时，我们对该先验假设的信心会增强；反之，信心则会降低。例如在判断硬币是否公平的场景中，若只有“硬币是公平的”和“硬币是有偏的”这两种假设，当观察结果与“硬币是公平的”这一先验假设相矛盾时，“硬币是有偏的”这一假设就变得更有可能。即使只有少量的观察结果，我们也能较早地获得较高的置信度。

2. 多假设检验

我们不仅可以使用贝叶斯规则来检验单个假设，还能同时检验多个假设。例如，当一枚硬币抛出正面时，我们可以独立计算这是公平硬币的条件概率 (P(F|H)) 和这是有偏硬币的条件概率 (P(R|H))。计算公式如下：
- (P(F|H)=\frac{P(F)P(H|F)}{P(H)})
- (P(R|H)=\frac{P(R)P(H|R)}{P(H)})
- (P(H) = P(F)P(H|F)+P(R)P(H|R))

这里的 (P(F)) 是硬币是公平的先验概率，(P(R)) 是硬币是有偏的先验概率，(P(H|F)) 是在硬币公平的情况下抛出正面的概率，(P(H|R)) 是在硬币有偏的情况下抛出正面的概率。

下面通过一个考古学家的例子来说明多假设检验的应用：
- 考古学家发现了一个装有新游戏硬币的箱子，游戏用袋子装着成对的硬币，有偏硬币的偏差程度不同。
- 假设硬币只有五种可能的偏差值：0、0.25、0.5、0.75 和 1（偏差为 0.5 对应公平硬币），我们创建五个假设：
- 假设 0：“这是偏差为 0 的硬币”
- 假设 1：“这是偏差为 0.25 的硬币”
-