最大似然估计及估计量的无偏性

1 数理统计基本概念

1.1 总体 $X$

  在数理统计中，我们往往研究有关对象的某一项数量指标（例如，研究某种灯泡的寿命，这一数量指标）。为此，考虑与这一数量指标相联系的随机试验，对这一数量指标进行实验或观察。我们将实验全部可能的观察值称为 总体，即：所研究对象的全部个体（数据）的集合。这些数值不一定都不相同，数目上也不一定是有限的，每一个可能观察值称为 个体。总体中所包含的个体数量称为总体的 容量。容量为有限的称为 有限总体；容量为无限的称为 无限总体。
  例如，考察某大学，一年级男生的身高，若一年级男生人数为2000人，每个男生的身高是一个可能观察值，共2000个可能观察值，是一个有限总体。又例如，考察一湖泊任意地点的深度（平面上有无数多的点），所得总体为无限总体。
  因为总体中的个体都是随机实验的一个观察值，因此可以看作某一随机变量$X$的值，这样，一个总体对应于一个随机变量$X$。我们对一个总体的研究就是对一个随机变量$X$的研究，$X$的分布函数与数字特征就称为总体的分布函数和数字特征。笼统的称为总体$X$。
  例如，检验零件的好坏，以0代表正品，1代表次品。设出现次品的概率为$p$（常数），那么总体就由一些"0"和"1"组成，这个总体对应（0-1）分布 P { X = x } = p x ( 1 − p ) 1 − x ,    x = 0 , 1 P\{X=x\}=p^x(1-p)^{1-x},\ \ x=0,1 P{ X=x}=px(1−p)1−x,  x=0,1的随机变量。

1.2 简单随机样本

  在实际中，总体分布一般是未知的。在数理统计中，都是通过从总体中抽取一部分个体，根据获取的数据来对总体分布做出推断，被抽取的这部分个体叫做样本。样本 是按照一定的规则从总体中抽样出来的一部分个体，所谓 “按照一定的规则” 是指总体中的每一个个体均有同等被抽出的机会。即相同条件下，对总体$X$进行相同的，独立的观察并记录结果。将$N$次观察的结果按实验的次序记为$x_1,x_2,\cdots ,x_N$，无特别说明样本都指简单随机样本。也可以说$N$个独立且与总体$X$同分布的随机变量$X_1,X_2,\cdots ,X_N$，他们对应的观察值$x_1,x_2,\cdots ,x_N$称为样本值。将样本看成一个随机变量，写成$(X_1,X_2,\cdots ,X_N)$，此时样本观察值写成$(x_1,x_2,\cdots ,x_N)$。

【注】样本的性质与维度问题：

• 样本是独立同分布的，分布函数表示为$F(x_1,x_2,\cdots ,x_N)=F(x_1)F(x_2)\cdots F(x_N)={\prod }_{i=1}^{N}F(x_i)$；概率密度为$f(x_1,x_2,\cdots ,x_N)=f(x_1)f(x_2)\cdots f(x_N)={\prod }_{i=1}^{N}f(x_i)$；
• 根据研究对象的不同，样本$(X_1,X_2,\cdots ,X_N)$中的一个样本$X_i$可以为任意维度的随机变量。在具体的一次观测或实验中，得到一组对应相同维度的具体数值$x_1,x_2,\cdots ,x_N$，称为样本的观察值或样本值。例如，考察某学校男生身高，则每次观察只需要记录男生身高就行，此时样本为一维数据；再例如考察某地方的环境指标，每次观测会记录该地点的水文，气象等多个值，此时样本为多维数据。有时为便于区分，将样本的观察值记为$(x_1,x_2,\cdots ,x_N)$，即可以理解为在抽样之前或理论研究时，$(X_1,X_2,\cdots ,X_N)$为随机变量；在抽样之后或实际应用时，$(x_1,x_2,\cdots ,x_N)$为观察值，本质上说的是一回事。

1.3 统计量

  样本$X_1,X_2,\cdots ,X_N$，不含任何（与总体有关的）未知参数的函数$g(X_1,X_2,\cdots ,X_N)$称为统计量。
常见的统计量：
$$样本均值：\overline{X}=\frac{1}{N}\sum _{i=1}^N{X}_i$$ $$样本方差：S^2=\frac{1}{N-1}\sum _{i=1}^N(X_i-\overline{X}{)}^2=\frac{1}{N-1}\sum _{i=1}^N(X_i^2-N\overline{X})$$

1.4 样本均值与总体均值、样本方差与总体方差

  样本为从总体中抽样出来的个体，一般都是可数的，所以求样本均值时，直接用所有样本观察值之和除以样本个数即可。求样本均值也就是求平均值（$N$为样本个数），即：$$\overline{X}=\frac{1}{N}\sum _{i=1}^N{x}_i$$而总体的个数不一定是可数的，用上述的方式求总体的均值显然是不合适的。
  举个栗子，射击手进行打靶练习，规定射入区域 $e_2$ 得 $2$ 分，射入区域 $e_1$ 得 $1$ 分，射入区域 $e_0$ 得 $0$ 分，射击手一次射击得分数 $X$ 是一个随机变量。

设 $X$ 的分布率为 P { X = k } = p k ,    k = 0 , 1 , 2 P\{ X=k\}=p_k,\ \ k=0,1,2 P{ X=k}=pk​,  k=0,1,2现在射击 $N$ 次，其中得 $0$ 分的有 $a_0$ 次，其中得 $1$ 分的有 $a_1$ 次，其中得 $2$ 分的有 $a_2$ 次，$a_0+a_1+a_2=N$。他射击$N$次得分的总和为$a_0\ast 0+a_1\ast 1+a_2\ast 2$。于是平均一次射击的得分为：$$\frac{a_0\ast 0+a_1\ast 1+a_2\ast 2}{N}=\sum _{k=0}^{2}k\frac{a_k}{N}$$这里，$\frac{a_k}{N}$是事件 { X = k } \{X=k\} { X=k}，当$N$很大时，$\frac{a_k}{N}$在一定意义下接近于事件 { X = k } \{X=k\} { X=k}的概率$p_k$。就是说，在实验次数很大时，随机变量$X$的观察值的平均数${\sum }_{k=0}^{2}k\frac{a_k}{N}$接近于${\sum }_{k=0}^{2}k{p}_k$，这一条就是大数定律的内容。我们称${\sum }_{k=0}^{2}k{p}_k$为随机变量$X$的数学期望。一般，有以下定义。

  定义   设离散随机变量$X$的分布律为 P { X = x k } = p k ,    k = 1 , 2 , ⋯   . P\{X=x_k\}=p_k,\ \ k=1,2,\cdots. P{ X=xk​}=pk​,  k=1,2,⋯.若级数$$\sum _{k=1}^{\infty }{x}_k{p}_k$$绝对收敛，则称级数${\sum }_{k=1}^{\infty }{x}_k{p}_k$的和为随机变量$X$的数学期望，记为$E(X)$。即$$E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k$$  设连续型随机变量$X$的概率密度为$f(x)$，若积分$${\int }_{-\infty }^{\infty }f(x)dx$$绝对收敛，则称积分${\int }_{-\infty }^{\infty }f(x)dx$的值为随机变量$X$的数学期望，记为$E(X)$。即$$E(X)={\int }_{-\infty }^{\infty }f(x)dx$$  数学期望简称期望，又称均值。
  数学期望$E(X)$完全由随机变量$X$的概率分布所决定。若$X$服从某一分布，也称$E(X)$是这一分布的数学期望。

样本均值与总体均值差异：