均方误差
具体情况分析
相合估计(或一致估计)是在大样本下评价估计量的标准,在样本量不是很多时,人们更加倾向于基于小样本的评价标准,此时,对无偏估计使用方差,对有偏估计使用均方误差。
一般地,在样本量一定时,评价一个点估计的好坏标准使用的指标总是点估计yˆ与参数真值y的距离的函数,最常用的函数是距离的平方,由于估计量yˆ具有随机性,可以对该函数求期望.
均方误差是评价点估计的最一般的标准,自然,我们希望估计的均方误差越小越好,注意到
上式说明,均方误差MSE(yˆ)由点估计的方差D(yˆ)与偏差| E(yˆ)-y |的平方两部分组成。
**如果yˆ是y的无偏估计**则
MSE(yˆ)=D(yˆ)
此时用均方误差评价点估计与用方差是完全一致的,这也说明了用方差考察无偏估是合理的。
当yˆ不是θ的无偏估计,就要看其均方误差MSE(yˆ),即不仅看方差大小,还要看其偏差大小。
一致最小均方误差估计
定义1 设有样本 X1,X2,….,Xn 对待估参数y,有一个估计类,称yˆ={ X1,X2,….,Xn} 是该类中y的一致最小均方误差估计,如果对该类估计中另外任意一个y的估计 yˉ ,在参数空间 y上都有
一致最小均方误差估计通常是在一个确定的估计类中进行的,一致最小均方误差估计一般是不存在的。
既然一致最小均方误差估计一般是不存在的,人们通常就对估计提出一些合理性要求,如无偏性就是一个常见的合理性要求。
一致最小方差无偏估计
前面曾指出,均方误差MSE(yˆ)由点估计的方差D(yˆ)与偏差| E(yˆ)-y |的平方两部分组成,当yˆ是y的无偏估计时,均方误差就简化为方差,此时一致最小均方误差估计就是一致最小方差无偏估计。
定义2 设yˆ是y的无偏估计,如果对于任意一个y的无偏估计y-,在参数空间y
上都有
则称yˆ是y的一致最小方差无偏估计,简记为UMVUE。