1. 数理统计---数理统计基本概念

1. 数理统计的基本概念

基本思想: 数据$\Rightarrow$归纳$\Rightarrow$结果
定义: 数理统计是以概率论为基础, 关于实验数据的收集, 整理, 分析与推断的一种科学与艺术.

1.1. 数据的收集:

总体: 研究对象的全体称为总体
个体: 总体中每一个具体的对象称为个体

**例子1**: 分析某工厂灯泡的寿命 总体--该班厂所有灯泡的寿命 个体--每一个灯泡的寿命

总体: 研究对象的数量指标X $X\sim F(x)$ 个体: 总体X的可能取值

灯泡寿命的例子: **总体**--该厂所有灯泡的寿命X $$X\sim N(\mu, \sigma^2)$$ **个体**--每一个灯泡的使用寿命, 即X的一个可能取值

我知道部分个体的值, 能否预测总体?
假设灯泡服从$X\sim N(\mu ,{\sigma }^2),如何预测\mu 和\sigma$

定义1: 从总体$X$中抽取的部分个体, 得到的数量指标$X_1,X_2,...,X_n$, 若满足下条件:
(1) $X_1,X_2,...,X_n$与$X$同分布;
(2) $X_1,X_2,...,X_n$相互独立.
则称$X_1,X_2,...,X_n$是来自$X$的一个简单随机样本, 简称样本

样本观测值: 对样本$X_1,X_2,...,X_n$进行观测后, 得到的观测值: $x_1,x_2,...,x_n$称为样本的观测值.(注意: 小写字母为观测值, 大写字母为样本(随机变量))

样本的联合分布: 设总体$X\sim F(x)$, 则样本$X_1,X_2,...,X_n$的联合分布函数为:
F ( x 1 , . . . , x n ) = P { X 1 ≤ x 1 , . . . , X n ≤ x n } = ∏ i = 1 n F ( x i ) F(x_1, ..., x_n)=P\{X_1\leq x_1, ..., X_n\leq x_n\}=\prod_{i=1}^{n}F(x_i) F(x1​,...,xn​)=P{X1​≤x1​,...,Xn​≤xn​}=i=1∏n​F(xi​)
若总体$X$的密度函数为$f(x)$, 则样本$X_1,X_2,...,X_n$的联合密度函数为(连续性):
$$f(x_1,...,x_n)=\prod _{i=1}^{n}f(x_i)$$
若总体$X$的分布律为(离散型): P { X = a k } = p k , k = 1 , 2 , . . . P\{X=a_k\}=p_k, k=1,2, ... P{X=ak​}=pk​,k=1,2,...
则样本$X_1,X_2,...,X_n$的联合分布律为:
P { X 1 = x 1 , X 2 = x 2 , . . . , X n = x n } = P { X 1 = x 1 } ∗ P { X 2 = x 2 } . . . P { X n = x n } = ∏ i = 1 n P { X = x i } P\{X_1=x_1, X_2=x_2, ..., X_n=x_n\}=P\{X_1=x_1\}*P\{X_2=x_2\}...P\{X_n=x_n\}=\prod_{i=1}^n P\{X=x_i\} P{X1​=x1​,X2​=x2​,...,Xn​=xn​}=P{X1​=x1​}∗P{X2​=x2​}...P{Xn​=xn​}=i=1∏n​P{X=xi​}

例子2: 设$X_1, X_2, ..., X_n$是来自总体$N(\mu, \sigma^2)$的样本, 则样本的联合密度函数为: $$f(x_1, x_2, ..., x_n)=\prod_{i=1}^n f(x_i)=\prod_{i=1}^n \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-u)^2}{2\sigma^2}}$$

例子3: 设$X_1, X_2, ..., X_n$是来自总体$B(1, p)$的样本, 则样本的联合分布函数为: $$P\{X_1=x_1, ..., X_n=x_n\}=\prod_{i=1}^n P{X=x_i}=\prod_{i=1}^{n}p^{x_1}p^{(1-x_i)}=p^{(\sum_{i=1}^n{x_i})}p^{\sum_{i=1}^n{(1-x_i)}}$$

样本与总体的关系:   总体  $\Downarrow$    $\Uparrow$ 样本 $\Rightarrow$ 样本值

1.2. 数据的整理:

统计量
定义2: 设$X_1,X_2,...,X_n$是来自总体$XF(x)$的样本, $g(x_1,x_2,...,x_n)$是n元实值连续函数, 若$g(x_1,x_2,...,x_n)$不含未知参数, 则称$g(x_1,x_2,...,x_n)$为统计量.

1.2.1 常见的统计量

设$X_1,X_2,...,X_n$是来自样本X的样本, 则称:
$$\begin{array}{rl}(1)& 样本均值\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i\\ (2)& 样本方差S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2\\ & 样本标准差S=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2}\\ (3)& 样本K阶原点矩A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k\\ (4)& 样本K阶中心矩B_k=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^k\\ (5)& 样本极大值,样本极小值,样本极差R_n=X_{(n)}-X_{(1)}\end{array}$$

1.2.2 样本均值与样本方差的数字特征

命题1: 设$X_1,X_2,...,X_n$是来自总体$XF(x)$的样本, 且总体的均值与方差存在, 记为:
$$E(X)=\mu ,D(X)={\sigma }^2$$
则有:
$$\begin{gathered} (1)E(\bar{X})=\mu ,D(\bar{X})=\frac{1}{n}{\sigma }^2 \\ (2)E(S^2)={\sigma }^2 \end{gathered}$$
证明:
已知$E(X)=\mu ,D(X)={\sigma }^2$
$$\begin{array}{rl}(1)E(\bar{X})& =E(\frac{1}{n}\sum _{i=1}^n{X}_i)\\ & =\frac{1}{n}\sum _{i=1}^{n}E(X_i)\\ & =\frac{1}{n}\ast n\mu =\mu \\ D(\bar{X})& =D(\frac{1}{n}\sum _{i=1}^n{X}_i)\\ & =\frac{1}{n^2}\sum _{i=1}^{n}D(X_i)(此步用到独立同分布)\\ & =\frac{1}{n^2}\ast {\sigma }^2\end{array}$$

(2) 先推导一个公式
$$\begin{array}{rl}\sum _{i=1}^n(X_i-\bar{X}{)}^2& =\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2\\ 左边& =\sum _{i=1}^n(X_i^2-2X_i\bar{X}+{\bar{X}}^2)\\ & =\sum _{i=1}^n{X}_i^2-2\sum _{i=1}^n{X}_i\bar{X}+\sum _{i=1}^n{\bar{X}}^2\\ & =\sum _{i=1}^n{X}_i^2-2\bar{X}\sum _{i=1}^n{X}_i+n{\bar{X}}^2\\ & =\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2\end{array}$$
然后证明公式:
$$\begin{array}{rl}E[\sum _{i=1}^n(X_i-\bar{X}{)}^2]& =E[\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2]\\ & =\sum _{i=1}^{n}E(X_i^2)-nE({\bar{X}}^2)\\ & =\sum _{i=1}^n[D(X_i)+E(X_i{)}^2]-n[D(\bar{X})+E(\bar{X}{)}^2]\\ & =n{\sigma }^2+n{\mu }^2-n\ast \frac{1}{n}{\sigma }^2-n\ast {\mu }^2\\ & =(n-1){\sigma }^2\end{array}\text{\hspace{1em}(2)}$$
最后得到:
$$\begin{array}{rl}E(S^2)& =E(\frac{1}{n-1}\sum _{n-1}^1(X_i-\bar{X}{)}^2)\\ & =\frac{1}{n-1}E(\sum _{n-1}^1(X_i-\bar{X}{)}^2)\\ & =\frac{1}{n-1}\ast (n-1){\sigma }^2\\ & ={\sigma }^2\end{array}$$

上面的结果说明了什么?