8、统计模型中的费舍尔信息矩阵与正则性分析

统计模型中的费舍尔信息矩阵与正则性分析

1. 费舍尔信息矩阵基础

费舍尔信息矩阵在分析真实分布与统计模型之间的关系中起着关键作用，它衡量了对数似然函数 $\log p(X|\theta)$ 在每个 $\theta \in \Theta$ 处的平滑程度。为了更好地理解和应用费舍尔信息矩阵，我们需要满足以下两个假设条件：
- 假设2 ：
- 在 $p(\cdot|\theta)$ 中，关于 $X$ 的积分顺序和关于 $\theta \in \Theta$ 的求导顺序可以交换。
- 对于每个 $(x, \theta) \in \mathcal{X} \times \Theta$，二阶偏导数 $\frac{\partial^2 \log p(x|\theta)}{\partial \theta_i \partial \theta_j}$ 存在，其中 $i, j = 1, \ldots, d$。

基于这些假设，费舍尔信息矩阵 $I(\theta)$ 被定义为 $\nabla \log p(X|\theta)$ 的协方差矩阵，具体表达式如下：
[
I(\theta) := V[\nabla \log p(X|\theta)] = E_X\left[\left{\nabla \log p(X|\theta) - E_{X’}[\nabla \log p(X’|\theta)]\right} \cdot \left{\nabla \log p(X|\theta) - E_{X’‘}[\nabla \log p(X’‘|\theta)]\right}^{\top}\right] = E_X\left[\nabla \log p(X