概率论考研笔记（四）

概率论考研笔记（四）：数理统计

• 数理统计相关概念和性质：

概念	释义	性质
总体	研究对象的全体	如果总体所包含的个体数量有限，称有限总体，反之称无限总体
个体	总体中的每个成员
简单随机样本	从总体中随机抽取的用于研究的个体，且符合： ①代表性：样本能够代表总体，即样本中的每个分量与总体同分布； ②独立性：样本中的每个分量相互独立	简称样本； 抽得样本的过程称为抽样； 样本中个体的数量称为样本容量； 对样本进行了若干次观测所得到的一组数据称为样本值； 设总体X的分布函数为F(x)、概率密度为f(x)，则样本$(X_1,X_2,..,X_n)$的分布函数为：$F(x_1,x_2,..,x_n)=\prod F(x_i)$，概率密度为：$f(x_1,x_2,...,x_n)=\prod f(x_i)$
统计量	设$(X_1,X_2,..,X_n)$为总体X的一个样本，$T(x_1,x_2,..,x_n)$为不含任何未知参数的函数，则称$T(X_1,X_2,..,X_n)$为一个统计量	统计量是样本的函数，且不含任何未知参数； 统计量的分布称为抽样分布
估计量/估计值	设总体的分布为$F(x;\theta )$，其中$\theta =({\theta }_1,{\theta }_2,...,{\theta }_k)$为未知参数组成的k维向量，若根据样本$X_1,X_2,...,X_n$构造一个统计量${\theta }^{\prime }(X_1,X_2,...,X_n)$作为$\theta$的估计，则称该统计量为$\theta$的估计量，代入样本值$x_1,x_2,...,x_n$得到的具体值${\theta }^{\prime }(x_1,x_2,...,x_n)$称为$\theta$的估计值	主要用于点估计中； 估计量的评价标准： ①无偏性：$E[{\theta }^{\prime }]=\theta$，即估计量平均来看等于未知参数，无系统误差； ②有效性：均方误差$E({\theta }^{\prime }-\theta {)}^2$尽量小； ③一致性/相合性：${\theta }^{\prime }\stackrel{P}{\to }\theta$
置信区间	设$\theta$是X的未知参数，$X_1,X_2,...,X_n$是其一个样本，若对事先给定的常数$\alpha (0<\alpha <1)$，存在两个统计量${\theta }_1^{\prime }(X_1,X_2,...,X_n)$和${\theta }_2^{\prime }(X_1,X_2,...,X_n)$使得$P({\theta }_1^{\prime }<\theta <{\theta }_2^{\prime })=1-\alpha$，则称区间$({\theta }_1^{\prime },{\theta }_2^{\prime })$为$\theta$的置信度为$1-\alpha$，置信下限为${\theta }_1^{\prime }$，置信上限为${\theta }_2^{\prime }$的置信区间	主要用于区间估计中
参数估计	当总体的分布类型已知但是其中某些参数未知时，利用样本构造合理的统计量对未知参数进行估计的过程称为参数估计	参数估计分为点估计和区间估计，前者直接给出未知参数的估计量/估计值；后者给出未知参数的置信区间
假设检验	对总体的某些未知特征提出假设，并利用样本信息来推断该假设的正确性	如果抽样检测出来的实际观测数据在假设的前提下发生的概率很小，根据小概率原理，可认为该假设很大概率上是错误的； 但是判断出错的可能性仍然是存在的，主要有两类错误： ①拒真错误，即假设为真但是最终判定为拒绝假设； ②取伪错误，即假设为假但是最终判定为接受假设； 两类错误相互矛盾，除了增加样本容量之外，没有方法可以同时减小两类错误，因此通常采用纽曼-皮尔逊准则： 首先控制第一类错误的概率，再尽量减小第二类错误的概率
上$\alpha$分位点	设X为一个随机变量，对于给定的数$\alpha (0<\alpha <1)$，称满足条件$P(X>{\lambda }_{\alpha })=\alpha$的实数${\lambda }_{\alpha }$为X的上$\alpha$分位点	当X分别服从$N(0,1)$、${\chi }^2(n)$、$t(n)$、$F(n_1,n_2)$时，其上$\alpha$分位点分别记为$z_{\alpha }$、${\chi }_{\alpha }^2(n)$、$t_{\alpha }(n)$、$F_{\alpha }(n_1,n_2)$

---

• 大数定律：

  对于随机变量序列{$X_n$}，若$\frac{1}{n}{\sum }_{i=1}^n(X_i-E{X}_i)\stackrel{P}{\to }0$，则称 { X n } \{X_n\} {Xn​}服从大数定律，常用的大数定律如下：

  （1）切比雪夫大数定律：若 { X n } \{X_n\} {Xn​}为两两不相关的随机变量序列，且存在常数$C$使得对于任意随机变量$X_i$，有$D(X_i)\le C$，则 { X n } \{X_n\} {Xn​}服从大数定律；

  （2）辛钦大数定律：若 { X n } \{X_n\} {Xn​}为一列独立同分布的随机变量，设$E{X}_n=\mu ,D{X}_n={\sigma }^2<\infty$，则：$\frac{1}{n}{\sum }_{i=1}^n{X}_i\stackrel{P}{\to }\mu$，即样本均值依概率收敛到总体均值(可推广到k阶距)；

  （3）伯努利大数定律：设$n_A$为n重伯努利试验中事件A发生的频数，p为其每次试验发生的概率，则$\frac{n_A}{n}\stackrel{P}{\to }p$，即事件A发生的频率依概率收敛到A发生的概率；

---

• 中心极限定理：

  对于相互独立的随机变量序列{$X_n$}，若其标准化随机变量：$X^{\ast }=\sum \frac{(X_i-E{X}_i)}{\sqrt{D{X}_i}}$对于任意实数x，均有：$\underset{n\to \infty }{\lim }{F}_{X^{\ast }}(x)=\Phi (x)$，则称 { X n } \{X_n\} {Xn​}服从中心极限定理，常用的中心极限定理如下：

  （1）列维-林德伯格中心极限定理：若 { X n } \{X_n\} {Xn​}为一列独立同分布的随机变量，设$E{X}_n=\mu ,D{X}_n={\sigma }^2<\infty$，则 { X n } \{X_n\} {Xn​}服从中心极限定理，即：$\sum X_i$近似服从$N(n\mu ,n{\sigma }^2)$；

  （2）棣莫弗-拉普拉斯中心极限定理：若随机变量$X_n$服从二项分布$B(n,p)$，则两点分布列 { X n } \{X_n\} {Xn​}服从中心极限定理，即$X_n$近似服从$N(np,np(1-p))$；

  （3）林德伯格-费勒中心极限定理：若{$X_n$}是独立的随机变量序列，设$B_n=\sum {\sigma }_i^2$，则若对任何$ϵ>0$，都有：
  lim ⁡ n → ∞ 1 B n 2 ∑ E [ ( X i − E X i ) 2 ∗ I { a b s ( X i − E X i ) > ϵ ∗ B n } ] = 0 \lim_{n\rightarrow \infty}\frac{1}{B_n^2}\sum E[(X_i-EX_i)^2*I_{\{abs(X_i-EX_i)>\epsilon*B_n\}}] = 0 limn→∞​Bn2​1​∑E[(Xi​−EXi​)2∗I{abs(Xi​−EXi​)>ϵ∗Bn​}​]=0，
  则 { X n } \{X_n\} {Xn​}服从中心极限定理；

---

• 常用矩统计量：

矩统计量	表达式	性质
样本均值$\overline{X}$	$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$	若总体X的期望为$\mu$,方差为${\sigma }^2$，则根据列维-林德伯格中心极限定理，样本均值$\overline{X}$近似服从$N(\mu ,\frac{{\sigma }^2}{n})$; $E(\overline{X})=\mu ,D(\overline{X})=\frac{{\sigma }^2}{n}$
样本方差$S^2$	$S^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2$	$E(S^2)={\sigma }^2,D(S^2)=\frac{2{\sigma }^4}{n-1}$; S称为样本标准差; $\overline{X}$与$S^2$相互独立; 设$X_1,X_2,...,X_n$时来自正态总体$N(\mu ,{\sigma }^2)$的样本，则： ①$\overline{X}～N(\mu ,\frac{{\sigma }^2}{n})$； ②$\frac{(n-1)S^2}{{\sigma }^2}=\frac{\sum (X_i-\overline{X}{)}^2}{{\sigma }^2}～{\chi }^2(n-1)$； ③$\frac{\overline{X}-\mu }{\frac{S}{\sqrt{n}}}～t(n-1)$; ④$\frac{\sum (X_i-\mu {)}^2}{{\sigma }^2}～{\chi }^2(n)$
样本k阶原点矩$A_k$	$A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$	样本均值即为样本1阶原点矩
样本k阶中心距$B_k$	$B_k=\frac{1}{n}{\sum }_{i=1}^n(X_i-\overline{X}{)}^k$	样本方差不是样本2阶中心距； 样本二阶中心矩又记作$S^{\ast 2}$

---

• 正态总体下常见统计量的抽样分布：

分布名称	参数	概率密度	期望	方差	模型 / 性质
${\chi }^2$分布	$n$	$f(x)=\{\begin{array}{ll}\frac{\exp (\frac{-x}{2})x^{\frac{n}{2}-1}}{2^{\frac{n}{2}}\Gamma (\frac{n}{2})}& x>0\\ 0& x\le 0\end{array}$	$n$	$2n$	设$X_1,X_2,...,X_n$为相互独立的随机变量，且均服从标准正态分布，则称随机变量${\chi }^2=\sum X_i^2$为服从自由度为n的${\chi }^2$分布，记为${\chi }^2～{\chi }^2(n)$； ①若${\chi }_1^2～{\chi }^2(n_1),{\chi }_2^2～{\chi }^2(n_2)$，且相互独立，则${\chi }_1^2+{\chi }_2^2～{\chi }^2(n_1+n_2)$； ②当n很大时（一般大于40），${\chi }_{\alpha }^2(n)\approx \frac{1}{2}(u_{\alpha }+\sqrt{2n-1}{)}^2$
$t$分布	$n$	$f(x)=\{\begin{array}{l}\frac{\Gamma (\frac{n+1}{2})}{\sqrt{n\pi }\Gamma (\frac{n}{2})}(1+\frac{x^2}{n}{)}^{-\frac{n+1}{2}}\end{array}$	$0$	$\frac{n}{n-2}$ $(n>2)$	设$X～N(0,1)$，$Y～{\chi }^2(n)$，且X与Y相互独立，则称随机变量$T=\frac{X}{\sqrt{\frac{Y}{n}}}$服从自由度为n的t分布，记为$T～t(n)$； ①f(x)是偶函数； ②当$n\to \infty$时，$t(n)\to N(0,1)$； ③当n较小时，t分布与标准正态分布差别较大； ④当n=1时，$f(x)=\frac{1}{\pi (1+x^2)}$，即$t(1)$为柯西分布； ⑤当n较大时（一般大于45），$t_{\alpha }(n)\approx u_{\alpha }$； ⑥$t_{\alpha }(n)=-t_{1-\alpha }(n)$
$F$分布	$n_1,n_2$	$f(x)=\{\begin{array}{ll}\frac{\Gamma (\frac{n_1+n_2}{2})}{\Gamma (\frac{n_1}{2})\Gamma (\frac{n_2}{2})}(\frac{n_1}{n_2}{)}^{\frac{n_1}{2}}{x}^{\frac{n_1}{2}-1}(1+\frac{n_1}{n_2}x{)}^{-\frac{n_1+n_2}{2}}& x>0\\ 0& x\le 0\end{array}$	$\frac{n_2}{n_2-2}$	$\frac{2n_2^2(n_1+n_2-2)}{n_1(n_2-2{)}^2(n_2-2)}$	设$U～{\chi }^2(n_1)$，$V～{\chi }^2(n_2)$且U和V相互独立，则称随机变量$F=\frac{U/n_1}{V/n_2}$服从自由度为(n1,n2)的F分布，记为$F～F(n_1,n_2)$； ①若$F～F(n_1,n_2)$，则$\frac{1}{F}～F(n_2,n_1)$； ②若$T～t(n)$，则$T^2～F(1,n)$； ③$F_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }(n_2,n_1)}$

---

• 点估计：

  （1）矩估计法：用样本矩代替总体距进行点估计（依据大数定律）

  步骤	操作	公式
  1	根据总体分布$F(x;\theta )$求总体的1~k阶原点矩${\mu }_i$	${\mu }_i=g_i({\theta }_1,{\theta }_2,...,{\theta }_k)$
  2	解步骤1中的线性方程得到${\theta }_i$的表达式	${\theta }_i=h_i({\mu }_1,{\mu }_2,...,{\mu }_k)$
  3	用样本距$A_i$代替步骤2中的总体距${\mu }_i$，即得矩估计	${\theta }_i^{\prime }=h_i(A_1,A_2,...,A_k)$

  （2）最大似然估计法：根据已有样本值，选择未知参数的一个合理的估计值，使得参数在选取该估计值时样本得到该批样本值的可能性达到最大

  步骤	操作	公式
  1	根据总体分布的概率密度$f(x;\theta )$得到样本$X_1,X_2,..,X_n$的联合密度/似然函数$L$或联合密度的对数/对数似然函数$\ln L$	$L(x_1,,,x_n;\theta )=\prod f(x_i;\theta )$； $\ln L(x_1,,,x_n;\theta )=\sum \ln f(x_i;\theta )$
  2	将步骤1得到的似然函数/对数似然函数对$\theta$求导，得到似然方程（组）	$\frac{d}{d\theta }L(x_1,..,x_n;\theta )=0$或 $\frac{d}{d\theta }\ln L(x_1,..,x_n;\theta )=0$
  3	解步骤2中得到的似然方程（组），得到$\theta$的极大似然估计值，再进一步判断可得到最大似然估计值	${\theta }^{\prime }={\theta }_0$，其中$L(x_1,..,x_n;{\theta }_0)=L_{max}(x_1,..,x_n;\theta )$

---

• 区间估计：

  （1）枢轴变量法通用步骤：

  步骤	操作	公式
  1	找到一个样本函数$U(X_1,X_2,..,X_n;\theta )$，而$U$的分布已知且不依赖任何未知参数，称该$U$为枢轴变量	例如：令$U$为标准化正态样本均值$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}～N(0,1)$
  2	对给定的置信度$1-\alpha$，根据U的分布找到两个常数a,b，使得:$P(a<U<b)=1-\alpha$	承接步骤1例：$P(-u_{\alpha /2}<\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}<u_{\alpha /2})=1-\alpha$
  3	解步骤2括号中不等式，得到置信区间$({\theta }_1^{\prime },{\theta }_2^{\prime })$	承接步骤2中例：$-u_{\alpha /2}<\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}<u_{\alpha /2}\Rightarrow {\mu }_1^{\prime }<\mu <{\mu }_2^{\prime }\Rightarrow ({\mu }_1^{\prime },{\mu }_2^{\prime })$

  （2）单正态总体$N(\mu ,{\sigma }^2)$下的区间估计：

  未知参数	条件	枢轴变量U	近似分布
  $\mu$	${\sigma }^2$已知	$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}$	$N(0,1)$
  $\mu$	${\sigma }^2$未知	$\frac{\overline{X}-\mu }{S/\sqrt{n}}$	$t(n-1)$
  ${\sigma }^2$	$\mu$已知	$\frac{\Sigma (X-\mu {)}^2}{{\sigma }^2}$	${\chi }^2(n)$
  ${\sigma }^2$	$\mu$未知	$\frac{(n-1)S^2}{{\sigma }^2}$	${\chi }^2(n-1)$

  （3）双正态总体$N({\mu }_1,{\sigma }_1^2)$,$N({\mu }_2,{\sigma }_2^2)$下的区间估计：

  未知参数	条件	枢轴变量U	近似分布
  ${\mu }_1-{\mu }_2$	${\sigma }_1^2,{\sigma }_2^2$已知	$\frac{\overline{X}-\overline{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}$	$N(0,1)$
  ${\mu }_1-{\mu }_2$	${\sigma }_1^2,{\sigma }_2^2$未知但${\sigma }_1={\sigma }_2$	$\frac{\overline{X}-\overline{Y}-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}$ $S_w=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$	$t(n_1+n_2-2)$
  ${\sigma }_1^2/{\sigma }_2^2$	${\mu }_1,{\mu }_2$已知	$\frac{\sum (X_1-{\mu }_1{)}^2/n_1}{\sum (X_2-{\mu }_2{)}^2/n_2}$	$F(n_1,n_2)$
  ${\sigma }_1^2/{\sigma }_2^2$	${\mu }_1,{\mu }_2$未知	$\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}$	$F(n_1-1,n_2-1)$

---

• 假设检验：

  （1）通用步骤：

  步骤	操作
  ①提出假设	原假设，即需要检验的假设，记为$H_0$； 备择假设：在拒绝$H_0$后可供选择的一个假设，记为$H_1$
  ②构造检验统计量$U$	构造一个合适的统计量（通常取原假设中未知参数的优良的估计量）
  ③定义显著性水平$\alpha$	即一个小概率值$\alpha$，描述在$H_0$成立的条件下$H_0$被拒绝的概率
  ④确定拒绝域$W$	即使得$H_0$被拒绝的样本观测值的集合W，再利用关系式$P(U\in W\Vert H_0)\le \alpha$解得拒绝域中U的取值范围
  ⑤抽样检测	由样本算出检验统计量的观测值U‘，若U’落在拒绝域W中，则拒绝$H_0$；否则则接受$H_0$

  (以下仅考虑双边检验（$H_1$在$H_0$两侧），单边检验（$H_1$和$H_0$各居一侧）可类比)

  （2）单正态总体$N(\mu ,{\sigma }^2)$下的假设检验：

  原假设$H_0$	备择假设$H_1$	条件	检验统计量U	近似分布	拒绝域W
  $\mu ={\mu }_0$	$\mu \ne {\mu }_0$	${\sigma }^2$已知	$\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}$	$N(0,1)$	W = { ∥ U ∥ ≥ z α / 2 } W = \{\|U\|\geq z_{\alpha/2}\} W={∥U∥≥zα/2​}
  $\mu ={\mu }_0$	$\mu \ne {\mu }_0$	${\sigma }^2$未知	$\frac{\overline{X}-{\mu }_0}{S/\sqrt{n}}$	$t(n-1)$	W = { ∥ U ∥ ≥ t α / 2 ( n − 1 ) } W = \{\|U\|\geq t_{\alpha/2}(n-1)\} W={∥U∥≥tα/2​(n−1)}
  ${\sigma }^2={\sigma }_0^2$	${\sigma }^2\ne {\sigma }_0^2$	$\mu$已知	$\frac{\Sigma (X-\mu {)}^2}{{\sigma }_0^2}$	${\chi }^2(n)$	W = { U ≥ χ α / 2 2 ( n ) } ⋃ { U ≤ χ 1 − α / 2 2 ( n ) } W = \{U\geq \chi_{\alpha/2}^2(n)\} \bigcup \{U\leq \chi_{1-\alpha/2}^2(n)\} W={U≥χα/22​(n)}⋃{U≤χ1−α/22​(n)}
  ${\sigma }^2={\sigma }_0^2$	${\sigma }^2\ne {\sigma }_0^2$	$\mu$未知	$\frac{(n-1)S^2}{{\sigma }_0^2}$	${\chi }^2(n-1)$	W = { U ≥ χ α / 2 2 ( n − 1 ) } ⋃ { U ≤ χ 1 − α / 2 2 ( n − 1 ) } W = \{U\geq \chi_{\alpha/2}^2(n-1)\} \bigcup \{U\leq \chi_{1-\alpha/2}^2(n-1)\} W={U≥χα/22​(n−1)}⋃{U≤χ1−α/22​(n−1)}

  （3）双正态总体$N({\mu }_1,{\sigma }_1^2)$,$N({\mu }_2,{\sigma }_2^2)$下的假设检验：

  原假设$H_0$	备择假设$H_1$	条件	检验统计量U	近似分布	拒绝域W
  ${\mu }_1={\mu }_2$	${\mu }_1\ne {\mu }_2$	${\sigma }_1^2,{\sigma }_2^2$已知	$\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}$	$N(0,1)$	W = { ∥ U ∥ ≥ z α / 2 } W = \{\|U\|\geq z_{\alpha/2}\} W={∥U∥≥zα/2​}
  ${\mu }_1={\mu }_2$	${\mu }_1\ne {\mu }_2$	${\sigma }_1^2,{\sigma }_2^2$未知但${\sigma }_1={\sigma }_2$	$\frac{\overline{X}-\overline{Y}-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}$ $S_w=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$	$t(n_1+n_2-2)$	W = { ∥ U ∥ ≥ t α / 2 ( n 1 + n 2 − 2 ) } W = \{\|U\|\geq t_{\alpha/2}(n_1+n_2-2)\} W={∥U∥≥tα/2​(n1​+n2​−2)}
  ${\sigma }_1^2={\sigma }_2^2$	${\sigma }_1^2\ne {\sigma }_2^2$	${\mu }_1,{\mu }_2$已知	$\frac{\sum (X_1-{\mu }_1{)}^2/n_1}{\sum (X_2-{\mu }_2{)}^2/n_2}$	$F(n_1,n_2)$	W = { U ≥ F α / 2 2 ( n 1 , n 2 ) } ⋃ { U ≤ F 1 − α / 2 2 ( n 1 , n 2 ) } W = \{U\geq F_{\alpha/2}^2(n_1,n_2)\} \bigcup \{U\leq F_{1-\alpha/2}^2(n_1,n_2)\} W={U≥Fα/22​(n1​,n2​)}⋃{U≤F1−α/22​(n1​,n2​)}
  ${\sigma }_1^2={\sigma }_2^2$	${\sigma }_1^2\ne {\sigma }_2^2$	${\mu }_1,{\mu }_2$未知	$\frac{S_1^2}{S_2^2}$	$F(n_1-1,n_2-1)$	W = { U ≥ F α / 2 2 ( n 1 − 1 , n 2 − 1 ) } ⋃ { U ≤ F 1 − α / 2 2 ( n 1 − 1 , n 2 − 1 ) } W = \{U\geq F_{\alpha/2}^2(n_1-1,n_2-1)\} \bigcup \{U\leq F_{1-\alpha/2}^2(n_1-1,n_2-1)\} W={U≥Fα/22​(n1​−1,n2​−1)}⋃{U≤F1−α/22​(n1​−1,n2​−1)}

---

---