概率论复习之关于点估计

本来是想在《概率论考点之估计量（高等数学求最值）》中完成的，但发现内容还是挺多的，也挺重要的，不得不新建一个文件。

1、什么是参数估计？？？？

参数估计：本质是对未知参数作出估计。又分为点估计和区间估计两种类型。

设总体 X 的分布函数的形式已知，但它的一个或多个参数未知，借助于总体的一个样本来估计总体未知参数的值的问题称为参数的点估计问题。F(X, ) 表示在待估参数  下的一个分布函数。

2、什么是点估计？？

点估计：用一点的值来估计未知参数。又分为矩估计和极大似然估计。

矩估计原理：

设 X 是一随机变量，若E()  存在，则称它为 X 的  k 阶原点矩，简称  K 阶矩。

我们称   为样本 k  阶矩。 样本 k 阶矩  是 k 阶总体矩  的无偏估计量。这也正是矩估计法的原理。为什么？？？样本的原点矩可以估计总体的呢？？

这些矩，可不是随便取的，总体取的是数学期望。数学期望代表整体的波动性，样本取的是样本的k阶矩，也是个平均值。，所以可以用样本k阶矩替代总体的原点矩。

注：

原点矩，是随机变量到原点的距离（这里假设原点即为零点）。

中心矩则类似于方差，先要得出样本的期望即均值，然后计算出随机变量到样本均值的一种距离，与方差不同的是，这里所说的距离不再是平方就能构建出来的，而是k次方。

替换原理：

1、用一阶样本矩替换一阶总体矩,适用于只有一个未知参数的情形

2、用样本矩的函数去替换相应的总体矩的函数。常用的就是二阶样本原点矩： 

具体的应用方法如下：

 

极大似然估计 原理：

利用已知的样本，找出最有可能生成该样本的模型参数值。也就是书中所描述的“概率大的事件在一次观测中更容易发生”。书上给出的极大似然函数定义是用p来表示的

注：极大似然思路是这样的：已知采样值，那么建立一个模型，使出现这个采样值的概率最大，当估计量为θ时，本次采样可认为就会出现。要建立这么个模型，其实经过多次独立同分布的采样，来建立一个L(θ)的数学等式，进而利用求极值的方法，求出估计量。建模型，也是解决问题的重要方法。

 

如何应用极大似然估计呢？

将所有样本的的观测值，代入其在总体中的位置出现的概率应该是最大的,将该概率看成是θ的函数，用L(θ)=P(x1,θ)...P(xi,θ)来表示

求极大似然估计就是找θ的估计值使得L(θ)达到最大。如何求最大值呢？？详见<概率论考点之估计量（高等数学求最值）>扩展5，高等数学求最值

连续型总体如何求似然估计呢？与离散型步骤一样，如下：只不过是改变概率密度的乘积。

• 离散型根据分布律做乘法，得到似然函数，       连续型，改变分布密度连积

                         

• 取对数：离散型     连续型  ，这其实是一种非常重要的数学思想，将乘除法化成加减法（将问题化简，这估计也是对数存在的重要意义），书中也给出了经典的原因解释，由于lnx是x的单调增函数，因此使lnL(θ)达到最大与使L(θ)达到最大是等价的。
• 求导，如果一个未知参数，求出未知参数求出未知参数的最大似然估计量，如果有两个未知参数，求偏导，都等于0，建立方程组，求解。

关于对数的性质，详见《初等数学复习之基本初等函数（含三角公式）》中对数的性质，还是挺重要的，尤其是最后幂指函数的形式，如何用对数化简。

3、点估计的评价标准？？

1、相合性（一致性）：随着样本量的增加，估计量无限接近于真实的θ

相合估计量的连续函数一定还是相合的。

2、无偏性:E()=,的数学期望恰好等于，就叫的无偏估计值。

样本均值是总体数学期望的无偏估计，E()=u

样本k阶原点矩是总体k阶原点矩的无偏估计,E()=,反例 二阶样本中心矩（也就是 方差），不是总体方差的无偏估计

无偏估计量的函数不是无偏估计，如E(s)

3、有效性