最大似然估计和加权最大似然估计的渐进正态性

最新推荐文章于 2025-09-02 22:29:25 发布

原创

最新推荐文章于 2025-09-02 22:29:25 发布 · 2k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#概率论 #机器学习 #线性代数

博客主要探讨最大似然估计和加权最大似然估计的渐近分布。通过对似然函数和对数似然函数的推导，利用中心极限定理证明最大似然估计量具有渐进正态分布。还给出加权最大似然估计在一定正则条件下的渐进正态分布结论，并简述了证明思路。

最大似然估计的渐近分布

记似然函数为
$L(\theta)=\prod_{i=1}^{n}f(X_i;\theta)$
令 $l(θ)=logL(θ)l(\theta)=logL(\theta)$ 为对数似然函数，设 $θ\theta$ 为真值， $θ^\hat{\theta}$ 为最大似然估计值。则有
$∂l(θ^)∂θ=∂l(θ)∂θ+∂2l(θ)∂θ2(θ^−θ)=0 \frac{\partial l(\hat{\theta})}{\partial \theta} = \frac{\partial l(\theta)}{\partial \theta}+\frac{\partial^2 l(\theta)}{\partial \theta^2}(\hat{\theta}-\theta)=0$
从而
$n(θ^−θ)=−nl′(θ)l′′(θ)=(1/n)l′(θ)−(1/n)l′′(θ) \sqrt{n}(\hat{ \theta}-\theta)=-\sqrt{n}\frac{l'(\theta)}{l''(\theta)}=\frac{(1/\sqrt{n})l'(\theta)}{-(1/n)l''(\theta)}$
(i)由于
$\begin{aligned} \frac{1}{\sqrt{n}}l'(\theta)&=\frac{1}{\sqrt{n}}\sum_i \frac{\partial log f(X_i;\theta)}{\partial \theta}\\ &=\sqrt{n}\frac{1}{n}\sum_i\frac{\partial log f(X_i;\theta)}{\partial \theta}\\ \end{aligned}$