统计学笔记——统计推断——参数估计

点估计（随机变量分布的统计推断）

置信区间推断

样本空间：随机变量X构成的空间

参数空间：一个随机变量X的概率密度分布是已知的某种函数形式，该函数与未知参数 有关， 可能是Ω 集中的任意值。称 集为参数空间。

概率密度函数可写成如下形式 ，概率密度函数族可表示为 ， 集称为参数空间。给定随机变量X，其分布特点服从某种规律性，如正态分布、二项分布，则其概率分布可写成函数形式，通常我们已知某个随机变量可能服从某种分布，这种分布就可以用概率密度函数族中的某一函数表示，而这一函数又与参数 有关。

点估计 point estimate（参数估计，估计参数 ，使得在该函数下，样本出现的可能性最大）

考虑概率密度函数族 ，我们需要该族中的某一个成员来表示随机变量X的概率密度分布，即需要参数θ 的一个点估计。

即 表示这个参数的真值， 表示 的点估计统计量

点估计包括两种方法：极大似然估计和矩估计

极大似然估计：考虑随机样本X1,X2,X3,…Xn, 他们均服从概率密度分布 ，则X1,X2,X3,…Xn的联合概率密度分布为f

似然函数：(是参数的函数，表示样本出现的可能性的大小)

  

极大似然估计的思想就是要使似然函数尽可能的大

通常有两种处理：

情形一：似然函数有极值，则对似然函数取对数再对θ 求偏导，使偏导数为0

；

情形二：似然函数单调，则 ；通常极大似然估计值为最大、最小次序统计量

最大、最小次序统计量的分布：

性质：

无偏性(unbiased)，任一期望等于 的统计量都称作 的无偏估计。即 ，极大似然估计不一定是无偏估计，如P263例3。

一致性(consistant)，任意依概率收敛到 的统计量称为 的相合估计。

极大似然估计都是相合估计

不变性(invariance)，统计量函数的极大似然估计和极大似然估计值的函数相同

（函数不变，可传递）

矩估计：原理：分布函数 依概率收敛到

称为分布的k阶矩， 称为样本的k阶矩。

令 ，k=1,2,3……

取多个k直到能够求解出所有的 参数。

性质：

变换等价：可等价求解

不变性：矩估计同样满足不变性