21、贝叶斯统计中的先验分布与层次模型

贝叶斯统计中的先验分布与层次模型

1. 非信息先验

1.1 杰弗里斯先验（Jeffreys Priors）

杰弗里斯先验是一种在参数变换下保持不变的先验分布。设 (p_{\theta}(\theta)) 是某个先验，(\varphi = f(\theta)) 是 (\theta) 的可逆变换，若要使先验分布在变换下不变，即 (p_{\varphi}(\varphi)) 与 (p_{\theta}(\theta)) 相同，则 (p_{\theta}(\theta)) 应选择为杰弗里斯先验。

• 一维情况 ：杰弗里斯先验 (p(\theta) \propto \sqrt{F(\theta)})，其中 (F) 是费舍尔信息。
• 多维情况 ：杰弗里斯先验 (p(\theta) \propto \sqrt{\det F(\theta)})，其中 (F) 是费舍尔信息矩阵。

以下是一些杰弗里斯先验的例子：
|分布类型|杰弗里斯先验|
| ---- | ---- |
|伯努利分布和类别分布|对于伯努利分布，(F(\theta) = \frac{1}{\theta(1 - \theta)})，则 (p(\theta) \propto \theta^{-\frac{1}{2}}(1 - \theta)^{-\frac{1}{2}} \propto \text{Beta}(\theta|\frac{1}{2}, \frac{1}{2}))；对于具有 (K) 个状态的类别随机变量，杰弗里斯先验为 (p(\theta) \prop