闲谈:参数估计方法选取
参数估计有点估计(point estimation) 和 区间估计(interval estimation) 两种。
点估计在抽样推断中不考虑抽样误差,直接以抽样指标代替全体指标的一种推断方法。
区间估计根据抽样指标和抽样误差去估计全体指标的可能范围的一种推断方法。
在本科我们都学过两种构造点估计的方法: 矩估计 和 最大似然估计 ,我们也学过区间估计的 置信区间 构造。
那么对于多个可能的估计,我们要选择哪一个呢? 从定性的角度考虑,我们应当选择:最能高度集中在真实数值上的。同样,本科我们学过一些无偏估计的概念。具有无偏性,是一种用于评价估计量优良性的准则。(可以回忆一下,估计量的数学期望等于被估计参数就是无偏)
实际上,我们需要先从所有估计中选出无偏的,再从中通过“效率”选择更有效的。
1 无偏
通常为了测量偏离程度,我们采用均方误差MSE(Mean Square Error) 作为量化测度,因为分析简单。
M S E ( θ ^ ) = E ( θ ^ − θ 0 ) 2 = V a r ( θ ^ ) + ( E ( θ ^ ) − θ 0 ) 2 MSE\left( \hat{\theta} \right) \ =\ E\left( \hat{\theta}-\theta _0 \right) ^2=Var\left( \hat{\theta} \right) +\left( E\left( \hat{\theta} \right) -\theta _0 \right) ^2 MSE(θ^) = E(θ^−θ0)2=Var(θ^)+(E(θ^)−θ0)2
其中, θ ^ \hat{\theta} θ^是 θ 0 \theta _0 θ0 的估计。
当估计是无偏的,样本的MSE将等于样本方差。
比如,考虑:
有一个度量X,真实值x0。 X = x 0 + β + ε X=x_0+\beta +\varepsilon X=x0+β+