PRML3.4贝叶斯模型比较

3.4 贝叶斯模型比较

模型比较的贝叶斯观点涉及到使用概率表示模型选择的不确定性，和使用概率的加和、乘积规则。
现在讲解几个概念：
假设项比较L个模型，在多项式拟合时，概率分布被定义在目标t上，而输入值X被认为是已知的，其他类型的模型定义了X和t上的联合分布。假设数据由这些模型中的一个生成，不确定性通过先验概率分布表示p(Mi)。

后验分布

现在给定一个训练数据集D，估计出后验分布：

先验分布

其中的先验分布表达出不同模型之间的优先级。此时我们假设所有模型的都拥有相同的先验概率。上式中的模型证据p(D|Mi)，表达了数据展现出的不同模型的优先级，同时也被称作边缘似然函数(marginal likelihood),因为可以被看作模型空间中的似然函数，在模型空间中参数已经被求和或者积分。两个模型的边缘似然函数的比值被称为贝叶斯因子。

预测分布

根据概率的加和规则和乘机规则，预测分布为：

预测分布的获取方式：对各个模型的预测分布求加权平均，权值为这些模型的后验概率p(Mi|D)。

模型选择

模型选择：对于模型求平均的一个简单的近似是使用最可能的一个模型自己做预测。

---

对于一个由参数w控制的模型，根据概率的加和和乘积规则，模型证据：