20、贝叶斯统计中的共轭先验与非信息先验

贝叶斯统计中的共轭先验与非信息先验

1. 狄利克雷 - 分类模型的边缘似然

在贝叶斯统计中，狄利克雷 - 分类模型的边缘似然可以通过特定的公式来计算。边缘似然 $p(D)$ 的表达式为：
[p(D) = \frac{B(N + \alpha)}{B(\alpha)}]
其中，
[B(\alpha) = \frac{\prod_{k=1}^{K} \Gamma(\alpha_k)}{\Gamma(\sum_{k} \alpha_k)}]
通常，文献中会将其改写为以下形式：
[p(D) = \frac{\Gamma(\sum_{k} \alpha_k)}{\Gamma(N + \sum_{k} \alpha_k)} \prod_{k} \frac{\Gamma(N_k + \alpha_k)}{\Gamma(\alpha_k)}]

2. 单变量高斯的后验推导

为了推导单变量高斯的后验 $p(\mu, \sigma^2|D)$，我们分三步进行：仅推断 $\mu$、仅推断 $\sigma^2$ 以及同时推断两者。

2.1 已知 $\sigma^2$ 时 $\mu$ 的后验

当 $\sigma^2$ 为已知常数时，$\mu$ 的似然形式为：
[p(D|\mu) \propto \exp \left( -\frac{1}{2\sigma^2} \sum_{n=1}^{N} (y_n - \mu)^2 \right)]
其共轭先验是另一个高斯分布 $N(\mu|\tilde{m}, \tilde{\tau}^2)$。应用高斯的贝叶斯规则，相应的后验为：
[p(\mu|