8、概率建模、模型选择与概率图模型全解析

概率建模、模型选择与概率图模型全解析

1. 更具信息性的先验：Beta分布

在之前的例子基础上，我们开始审视先验分布。之前的先验可能缺乏足够信息，毕竟现实中大多数硬币是接近无偏的。因此，我们可以用Beta(α, β)先验来替代均匀先验。例如，选取α = β = 2，能得到一个在[0, 1]上以1/2为中心的分布，这就包含了硬币无偏的先验假设。

该先验的概率密度函数（pdf）为：
[p(\theta) = \frac{1}{B(\alpha, \beta)}\theta^{\alpha - 1}(1 - \theta)^{\beta - 1}, \forall\theta \in [0, 1]]

后验则变为：
[p(\theta | x_{1:n}) \propto p(x_{1:n} | \theta)p(\theta) = \theta^{\sum x_i}(1 - \theta)^{n - \sum x_i} \cdot \frac{1}{B(\alpha, \beta)}\theta^{\alpha - 1}(1 - \theta)^{\beta - 1} \propto \theta^{(\alpha + \sum x_i) - 1}(1 - \theta)^{(\beta + n - \sum x_i) - 1}]

这正是Beta分布的pdf：
[Beta(\theta | \alpha + \sum x_i, \beta + n - \sum x_i)]

选择这个先验分布的原因有两个：
- 其pdf定义在紧凑区间[0, 1]上，不像正态分布，其尾部会延伸到−∞和+∞。
- 我们可