共轭先验分布

背景

贝叶斯估计

贝叶斯参数估计的思考过程可以用下面这个公式说明：

$$先验分布+数据的知识=后验分布\ \ \ \ \ (*)$$

共轭先验分布的提出

1. 当没有任何观察数据时，随机变量 $\theta$ 服从概率分布 $P(\theta)$
2. 当观测到新的数据 $X$ 时，有如下问题：
   
   • 可否根据新观测到的数据$X$，更新参数 $\theta$
   • 根据新观测到的数据可以在多大程度上改变参数 $\theta$ : $\theta \leftarrow \theta+\Delta \theta$
   • 当重新估计 $\theta$ 的时候，如何给出其新的概率分布 $p(\theta|X)$

根据贝叶斯法则：

$$p(\theta|x)=\frac{P(x|\theta) \cdot P(\theta)}{P(x)} \propto P(x|\theta) \cdot P(\theta)$$ 其中 $P(x|\theta)$ 表示似然函数，可以直接求得。 $P(\theta)$ 表示 $\theta$ 的先验概率分布。若可以选择一个合适的先验分布 $p(\theta)$ 能使得。 后验概率分布 $P(\theta|x)$ 与 先验概率分布 $p(\theta)$ 有相同的形式，则能简化后验概率部分的求解。

定义

在贝叶斯概率理论中，如果后验概率 P(θ|x)