Fisher信息与最大似然估计的渐进正态性（附有在Bernoulli分布上的计算）

写在前面

最大似然估计具有很多好的性质，包括相合性，同变性，渐进正态性等。本文主要关注的是渐进正态性。渐近正态性表明，估计量的极限分布是正态分布。而该正态分布的方差，与Fisher信息有着密不可分的关系。

Fisher信息

（定义）记分函数（Score Function):
$$s(X;\theta )=\frac{\partial logf(X;\theta )}{\partial \theta }.$$
（定义）Fisher信息量(Fisher Information):
$$\begin{array}{rl}{I}_n(\theta )& =\mathbb{V}(\sum _{i=1}^{n}s(X_i;\theta ))\\ & =\sum _{i=1}^n\mathbb{V}(s(X_i;\theta ))\end{array}$$
（定理）
$${\mathbb{E}}_{\theta }[s(X;\theta )]=0$$
证明：
$$\begin{array}{rl}{\mathbb{E}}_{\theta }[s(X;\theta )]& ={\int }_x\frac{\partial logf(x;\theta )}{\partial \theta }f(x;\theta )dx\\ & ={\int }_x\frac{1}{f(x;\theta )}\frac{\partial f(x;\theta )}{\partial \theta }f(x;\theta )dx\\ & ={\int }_x\frac{\partial f(x;\theta )}{\partial \theta }dx\\ & =\frac{\partial }{\partial \theta }\\ & \end{array}$$