参数估计回顾

基本概念：总体，样本，统计量

总体：试验的全部可能值,使用XX表示
样本：通过一定规则（放回抽样，不放回抽样）抽取得到一个样本或者一组样本。
一个个抽取得到的每一个特体也成为一个样本；一次抽取n个得到一组样本，n称为样本容量。
样本也看做是一个 随机向量 表示(X1,X2,X3,...,Xn)(X1,X2,X3,...,Xn)。

1. 在抽样实施之前，把样本看做随机变量，便于研究；
2. 在抽样实施之后，得到一组随机变量的观测值，这时样本是一组数(x1,x2,...,xn)(x1,x2,...,xn)。

样本既是一个随机向量，又是一组数。

总体X是具有分布函数F的随机变量，(X1,X2,X3,...,Xn)(X1,X2,X3,...,Xn) 是具有分布函数F的独立同分布的随机变量。
样本(随机向量)(X1,X2,X3,...,Xn)(X1,X2,X3,...,Xn)的分布函数F(x1,x2,...,xn)F(x1,x2,...,xn)为

F(x1,x2,...,xn)=∏i=1nF(xi)F(x1,x2,...,xn)=∏i=1nF(xi)

如果 XX的概率密度函数为 ff，则样本(随机向量) (X1,X2,X3,...,Xn)(X1,X2,X3,...,Xn)的概率密度函数为

f(x1,x2,...,xn)=∏i=1nf(xi)f(x1,x2,...,xn)=∏i=1nf(xi)

统计量
刻画总体某些参数，统计量是样本的函数。
比如知道总体是正态分布但是μμ,σσ未知，这时我们从总体中抽取一组样本，对样本分析，得到一个适当的统计量μ^μ^,σ^σ^估计总体的μμ,σσ。
为什么能够使用统计量近似真实的未知量？因为有大数定律。
通常情况，统计量使用θ^(θ1,θ2,...,θn)θ^(θ1,θ2,...,θn)表示有n个未知参量。如上述μ^μ^,σ^σ^，令θ1=μ^θ1=μ^,θ2=σ^θ2=σ^.
统计量是一个确定的数。
统计量是一个随机变量，因为样本具有随机性，所以统计量有概率分布。比如(随机向量)(X1,X2,X3,...,Xn)(X1,X2,X3,...,Xn)是总体X∼N(μ,σ2)X∼N(μ,σ2)的一个样本，则统计量x¯∼N(μ,σ2)x¯∼N(μ,σ2)。

极大似然估计

参数估计包括了矩估计和极大似然估计，这里只介绍极大似然估计。
样本是总体的一个随机抽样，每个样本是独立的，与总体同分布的。
对于总体X，如果随机变量是连续的，概率密度函数为f(x;θ)f(x;θ),对于其样本(x1,x2,x3,...,xnx1,x2,x3,...,xn),令L作为θθ的函数就是似然函数，

L(X;θ)=∏inf(xi;θ)L(X;θ)=∏inf(xi;θ)

通常情况下，取对数

ln(L(X;θ))=ln(∏inf(xi;θ))=∑inlnf(xi;θ)ln(L(X;θ))=ln(∏inf(xi;θ))=∑inlnf(xi;θ)

要求上式的最值，也就是求多元函数极值的问题。
可以用泰勒展开再根据极值定理求解，或者将其转为矩阵形式，用正定二次型来判断。
步骤：

例子一

X∼N(μ,σ2)X∼N(μ,σ2),求μμ,σ2σ2的极大似然估计。
分析：
总体服从μμ,σ2σ2的连续分布，可以写出总体的概率密度函数

f(x)=12π−−√σe−(x−μ)22σ2f(x)=12πσe−(x−μ)22σ2

样本( x1,x2,x3,...,xnx1,x2,x3,...,xn)的概率密度函数为

f(xi)=12π−−√σe−(xi−μ)22σ2f(xi)=12πσe−(xi−μ)22σ2

用θ1θ1,θ2θ2代替μμ,σσ，写出似然函数

L(X;θ1,θ2)=∏inf(xi)=(2πθ22)−n2e−12θ22∑ni(xi−θ1)2L(X;θ1,θ2)=∏inf(xi)=(2πθ22)−n2e−12θ22∑in(xi−θ1)2

取对数

ln(L(X;θ1,θ2))=−n2ln((2πθ22))−12θ22∑in(xi−θ1)2ln(L(X;θ1,θ2))=−n2ln((2πθ22))−12θ22∑in(xi−θ1)2

使用极值定理求参数值,求导并令其导数值为0.

∂ln(L(X;θ1,θ2))∂θ1=1θ22∑in(xi−θ1)=0∂ln(L(X;θ1,θ2))∂θ1=1θ22∑in(xi−θ1)=0

x1+x2+x3+...+xn−nθ1=0x1+x2+x3+...+xn−nθ1=0

θ1=x¯θ1=x¯

∂ln(L(X;θ1,θ2))∂θ2=−nθ2+1θ23∑in(xi−θ1)2=0∂ln(L(X;θ1,θ2))∂θ2=−nθ2+1θ23∑in(xi−θ1)2=0

θ22=1n∑in(xi−θ1)2θ22=1n∑in(xi−θ1)2

代入 θ1=x¯θ1=x¯得

θ22=1n∑in(xi−x¯)2θ22=1n∑in(xi−x¯)2

例子二

例子三

先写出似然函数



求极值点并验证是否为最值。

---

参考：

概率论与数理统计 https://www.bilibili.com/video/av17582696/
最大概似法 https://www.youtube.com/watch?v=t_KUThpWWcY
StatQuest: Maximum Likelihood: https://www.youtube.com/watch?v=XepXtl9YKwc
StatQuest: Maximum Likelihood Example https://www.youtube.com/watch?v=cDlNsHUBmw4

转载于:https://www.cnblogs.com/siucaan/p/9623191.html