43、线性回归模型中的证据近似与参数估计

线性回归模型中的证据近似与参数估计

1. 多项式回归模型的阶数选择

在多项式回归模型中，模型的证据（evidence）对于选择合适的模型阶数 M 起着关键作用。证据反映了模型对观测数据的解释能力，同时也考虑了模型的复杂度。

通过绘制模型的对数证据与阶数 M 的关系图（如图 3.14），我们可以看到不同阶数的多项式模型的证据变化情况。
- 当 M = 0 时，模型对数据的拟合效果很差，证据值较低。
- 当采用 M = 1 的多项式时，数据拟合效果有了显著提升，证据值也大幅提高。
- 然而，当从 M = 1 提升到 M = 2 时，数据拟合的提升非常有限。这是因为生成数据的底层正弦函数是奇函数，在多项式展开中没有偶次项。实际上，从图 1.5 可以看出，从 M = 1 到 M = 2，残差数据误差仅略有减少。而且，由于更复杂的模型会受到更大的复杂度惩罚，证据值实际上从 M = 1 到 M = 2 有所下降。
- 当 M = 3 时，数据拟合有了显著的进一步改善，证据值再次增加，达到了所有多项式模型中的最高整体证据。
- 随着 M 值的进一步增加，对数据的拟合改善很小，但复杂度惩罚不断增加，导致证据值总体下降。

从图 1.5 还可以看出，泛化误差在 M = 3 到 M = 8 之间大致保持恒定，仅根据这一图很难在这些模型中做出选择。但证据值明确显示出对 M = 3 的偏好，因为它是能很好解释观测数据的最简单模型。

2. 最大化证据函数

接下来，我们考虑如何最大化证据函数 (p(t |α, β)) 关于参数 (α) 和 (β) 的值。

2.1 关于 (α) 的最大化