第五章数理统计--样本和抽样分布

从今天开始要学习数理统计。
概率论：是专门研究随机现象的一门学科，定量描述随机现象及其规律。
数理统计：数理统计的研究对象是数据，包括对数据的采集、整理、分析、建模。主要任务是获取样本、描述样本，从样本得到总体的分布情况和分布参数。

基本概念

　总体：研究对象的全体。
　个体：总体中的成员。
　总体的容量：总体中包含的个体数。
　有限总体：容量有限的总体。
　无限总体：容量不可数的总体。有限总体量非常大的时候，也看作是无限总体。
　总体的某个指标X，对于不同个体，有不同的值。X可以看做是随机变量。假设X的分布函数为F(X)，也称总体X具有分布函数F(X)。

数据收集

　数据收集方法有两种。1 调查记录，例如是否做过家教。2 试验记录。例如药物反应。

抽样

　数理统计的目标是从样本推总体。使用的方法是抽样。
　样本：从总体中抽取到的部分个体叫样本。
　简单随机样本：满足以下两个条件的随机样本($X_1,X_2...X_n$)称为容量为n的简单随机样本：1 每个$X_i$与X同分布；2 $X_1,X_2...X_n$是相互独立的随机变量。详细解释第一个条件。一批灯泡的寿命服从$\pi(\lambda)$。这个总体中任何一个样本的寿命都是服从$\pi(\lambda)$，所以任意抽取一个就可以。如果这里面混入了别人家的产品，这个产品服从$\pi(\lambda_1)$，那这个抽样就要出问题了。或者这里混入了IBM笔记本。笔记本寿命可能就不符合泊松分布了。
　一个容量为n的样本$X_1,X_2...X_n$是指n个独立的与总体分布相同的随机变量。
　样本观察值：对样本进行一次观察，得到实际的值。
　抽样分不放回抽样、放回抽样。
　统计量：样本的不包含任何未知参数的函数。
　样本均值：$\overline{X}=\dfrac{1}{n}\sum_{i=1}^{n}X_i$
　样本方差：$S^2=\dfrac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2$
　标准差：$S=\sqrt{S^2}$
　k阶矩：$A_k=\dfrac{1}{n}\sum_{i=1}^{n}X_i^k$
　k阶中心矩：$B_k=\dfrac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^k$
　$B_2=\dfrac{n-1}{n}S^2$

样本分位数

　样本p分位数：1至少有np个观察值小于等于$x_p$；2 至少有n(1-p)个观察值大于等于$x_p$。（0p<1）。样本中位数M、第一四分位数$Q_1$、第三四分位数$Q_3$。
　例如：一组容量为18的样本值如下：
　122 126 122 140 145 149 150 157
　162 166 175 177 183 188 199 212
　$x_{0.2}=x_{(n*0.2)}=x_{([18*0.2]+1)}=x_{([3.6]+1)}=x_4=140$
　$x_{0.25}=x_{(n*0.25)}=x_{([18*0.25]+1)}=x_{([4.5]+1)}=x_5=145$
　$x_{0.5}=?$:18*0.5=9;$x_{0.5}=\dfrac{1}{2}*(157+162)=159.5$
　箱线图：最小值Min，第一四分位数$Q_1$、样本中位数M、第三四分位数$Q_3$、样本最大值Max，五个数据画成的图。

重要的抽样分布

　统计量的分布称为抽样分布。
　几个重要的抽样分布：正态分布、卡方分布、t分布、F分布。

卡方分布

　定义：设随机变量$X_1,...X_n$相互独立，且都服从N(0,1)，则称$卡方分布=\sum_{i=1}^{n}X_i^2$服从自由度为n的卡方分布。
　概率密度函数：
　性质：
　1 E(卡方分布)=n，D(卡方分布)=2n。
　2 可加性。$Y_1~卡方分布(n_1)$，$Y_2~卡方分布(n_2)$，且$Y_1,Y_2$相互独立，则$Y_1+Y_2~卡方分布(n_1+n_2)$。
　上$\alpha$分位数

t分布

　定义：设随机变量X~$N(0,1)$，Y~卡方分布(n)，X与Y相互独立，则称变量$T=\dfrac{X}{\sqrt{Y/n}}$ 服从 t(n)。
　概率密度函数：
　上$\alpha$分位数

F分布

　定义：设随机变量X~$卡方分布(n_1)$，Y~卡方分布($n_2$)，X与Y相互独立，则称变量$F=\dfrac{X/n_1}{Y/n_2}$ 服从$F(n_1,n_2)$。
　概率密度函数：
　性质：
　1 如果$F服从 F(n_1,n_2)$，则$\dfrac{1}{F}$~$F(n_2,n_1)$.
　上$\alpha$分位数
　　

单个正态总体的抽样分布

　设总体X的均值为$\mu$，方差为$\sigma^2$，$X_1,X_2,...X_n$是来自X的一个样本，样本均值$\overline{X}=\dfrac{1}{n}\sum_{i=1}^{n}X_i$，样本方差$S^2=\dfrac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2$，则有$E(\overline{X})=\mu$，$D(\overline{X})=\frac{\sigma^2}{n}$，$E(S^2)=\sigma^2$。
　
　定理一：总体$X$~$N(\mu,\sigma^2)$，$X_1,X_2,...X_n$是样本，样本均值$\overline{X}=\dfrac{1}{n}\sum_{i=1}^{n}X_i$，样本方差$S^2=\dfrac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2$，则
　
　(1)$\overline{X} 服从 N(\mu,\dfrac{\sigma^2}{n})$
　(2)$\dfrac{(n-1)S^2}{\sigma ^2}$~卡方分布(n-1)，$S^2$与$\overline{X}$相互独立。
　定理二：总体X~$N(\mu,\sigma^2)$，$X_1,X_2,...X_n$是样本，样本均值$\overline{X}=\dfrac{1}{n}\sum_{i=1}^{n}X_i$，样本方差$S^2=\dfrac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2$，则$\dfrac{\overline{X}-\mu}{S/\sqrt{n}}$~t(n-1)

两个正态总体的抽样分布

　定理三：设样本($X_1,X_2...X_n$)和($Y_1,Y_2...Y_n$)分别来自总体$N(\mu_1,\sigma_1^2)$和$N(\mu_2,\sigma_2^2)$，并且它们相互独立，样本均值分别为$\overline{X}$、$\overline{Y}$；样本方差分为别$S_1^2$、$S_2^2$，则可以得到以下抽样分布：
　1 $F=\dfrac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}=\dfrac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2}$~$F(n_1-1,n_2-1)$。
　
　2 $\dfrac{(\overline{X}-\overline{Y})}{\sqrt{\dfrac{\sigma_1^2}{n_1}+\dfrac{\sigma_2^2}{n_2}}} 服从 N(0,1)$
　3 当$\sigma_1^2=\sigma_2^2=\sigma^2$时，$\dfrac{(\overline{X}-\overline{Y})}{S_w\sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}}} 服从 t(n_1+n_2-2)$，其中$S_w^2=\dfrac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$，$S_w=\sqrt{S_w^2}$。

总结

1 设样本$X_1,X_2...X_n$是来自总体X的样本，不管X服从什么分布，只要期望和方差存在，具有$E(X)=\mu$，$D(X)=\sigma^2$，则有$E(\overline X)=\mu$，$D(\overline X)=\dfrac{\sigma^2}{n}$。
2 总体$X$~$N(\mu,\sigma^2)$，$X_1,X_2,...X_n$是样本，样本均值$\overline{X}=\dfrac{1}{n}\sum_{i=1}^{n}X_i$，样本方差$S^2=\dfrac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2$，则
　
　(1)$\overline{X} 服从 N(\mu,\dfrac{\sigma^2}{n})$
　(2)$\dfrac{(n-1)S^2}{\sigma ^2}$~卡方分布(n-1)
　(3)$S^2$与$\overline{X}$相互独立。
　(4)$\dfrac{\overline{X}-\mu}{S/\sqrt{n}}$~t(n-1)
3 对于两个正态总体，有三条重要的结果。