4、贝叶斯统计中的广义化与MCMC方法

贝叶斯统计中的广义化与MCMC方法

1. 不假设正则性的广义化

在统计模型中，对于 $p(\cdot|\theta^ )$（其中 $\theta^ \in \Theta^ $）和 $p(\cdot|\theta)$（其中 $\theta \in \Theta$），我们定义对数似然比为 $\log \frac{p(\cdot|\theta^ )}{p(\cdot|\theta)}$。若存在常数 $c > 0$，使得对于任意的 $\theta^ \in \Theta^ $ 和 $\theta \in \Theta$，都有 $E_X[{\log \frac{p(X|\theta^ )}{p(X|\theta)}}^2] \leq cE_X[\log \frac{p(X|\theta^ )}{p(X|\theta)}]$ 成立，那么对于统计模型 ${p(\cdot|\theta)}_{\theta \in \Theta}$ 和真实分布 $q$，对数似然比函数具有相对有限方差。

下面是一些相关命题：
- 具有相对有限方差 $\Rightarrow \Theta^*$ 是齐次的。
- 若 $q$ 相对于 ${p(\cdot|\theta)} {\theta \in \Theta}$ 是可实现的，则它具有相对有限方差。
- 若 $q$ 相对于 ${p(\cdot|\theta)} {\theta \in \Theta}$ 是正则的，则它具有相对有限方差。

通过一些例子可以更好地理解这些概念：
| 例子编号 | 正则性 | 可实现性 | 相对