4、概率推理与贝叶斯机器学习

概率推理与贝叶斯机器学习

1. 概率推理中的贝叶斯与最大似然估计

在概率推理中，我们的预测会随着数据的增多而变得更加精确，这是符合直觉的。例如，当数据 $D = {16}$ 时，有许多后验概率不可忽略的假设，所以对整数的预测支持范围很广。然而，当我们看到 $D = {16, 8, 2, 64}$ 时，后验概率集中在一两个特定的假设上，整体的预测支持范围就变得更聚焦。

最大似然估计（MLE）则选择最小一致假设，并使用该单一模型进行未来预测。比如，当看到 $D = {16}$ 时，计算得到的 $h_{mle}$ 是“所有 4 的幂次方”（或者区间假设 $h = {16}$），由此得到的插件近似只预测 ${4, 16, 64}$ 具有非零概率，这是过拟合的一个例子，即我们过于关注训练数据的具体特征，而无法正确地推广到新的例子。当观察到更多数据时，MLE 会被迫选择更宽泛的假设来解释所有数据。例如，当看到 $D = {16, 8, 2, 64}$ 时，MLE 会扩展为“所有 2 的幂次方”，这与贝叶斯方法类似。在无限数据的极限情况下，两种方法的预测结果会趋于一致。但在小样本情况下，考虑多个假设的全贝叶斯方法会给出更好（不那么过度自信）的预测。

2. 连续概念学习：健康水平游戏

2.1 游戏介绍

之前的数字游戏涉及观察一系列离散变量，并从有限假设空间中推断另一个离散变量的分布，计算相对简单，只需进行求和、乘法和除法运算。但在许多应用中，我们观察到的变量是实值连续量，未知参数通常也是连续的，假设空间变为 $\mathbb{R}^K$ 的某个子集（$K$ 是参数数量），这使得数学计算变得复杂，需要用积分代替求和，但基本思想是相同的。