10、贝叶斯曲线拟合与预测分布详解

贝叶斯曲线拟合与预测分布详解

1. 引言与参数确定

在进行预测任务时，我们可以先确定支配均值的参数向量 (w_{ML})，随后利用它来找到精度 (\beta_{ML})，这与简单高斯分布的处理方式类似。当我们确定了参数 (w) 和 (\beta) 后，就能够对新的 (x) 值进行预测。由于我们现在拥有一个概率模型，这些预测将以预测分布的形式表达，它给出了关于 (t) 的概率分布，而非简单的点估计。通过将最大似然参数代入公式 (1.60) ，我们可以得到预测分布：
[p(t|x, w_{ML}, \beta_{ML}) = \mathcal{N}\left(t|y(x, w_{ML}), \beta_{ML}^{-1}\right)]

接下来，我们朝着更具贝叶斯风格的方法迈进，引入多项式系数 (w) 的先验分布。为了简化，我们考虑如下形式的高斯分布：
[p(w|\alpha) = \mathcal{N}(w|0, \alpha^{-1}I) = \left(\frac{\alpha}{2\pi}\right)^{\frac{M + 1}{2}}\exp\left{-\frac{\alpha}{2}w^Tw\right}]
其中，(\alpha) 是分布的精度，对于 (M) 阶多项式，向量 (w) 中的元素总数为 (M + 1)。像 (\alpha) 这样控制模型参数分布的变量被称为超参数。

2. 后验分布与最大后验估计

利用贝叶斯定理，(w) 的后验分布与先验分布和似然函数的乘积成正比，即：
[p(w|x, t, \alpha, \beta) \propto p(t|x, w, \beta)p(w|\alpha)] <