数理统计复习笔记一——统计中常用的抽样分布(卡方分布，t分布，F分布)

前言：

  总结一下数理统计中的基本概念，一些用python的实现在这里。不断持续更新。

1. 几个基本概念
 1.1 次序统计量
 1.2 样本偏度与样本峰度
 1.3 经验分布函数
 1.4 抽样分布
2. 统计中的常用分布
 2.1 卡方分布
 2.2 t 分布
 2.3 F分布
3. 指数型分布族（和广义线性模型有关）
4. 点估计
 4.1 极大似然估计
5. 区间估计
 5.1 几个基本概念
6. 假设检验——显著性检验
 6.1 几个基本概念
 6.2 求取某假设的显著性检验的步骤
 6.3 似然比检验
 6.4 p值

1. 几个基本概念：

1.1 次序统计量：

  设$X_1,X_2,\cdots ,X_n$为样本，把$X_1,X_2,\dots ,X_n$由小到大排列成$X_{(1)}\le \cdots \le X_{(n)}$，则称$(X_{(1)},\cdots ,X_{(n)})$为次序统计量，$X_{(i)}$则成为第$i$个次序统计量。
  

• 样本$p$分位数：对于给定的$p\in (0,1)$，我们称：$$m_n{,}_p=X_{([np])}+(n+1)(p-\frac{[np]}{n+1})(X_{([np]+1)}-X_{([np])})\text{\hspace{1em}(1)}$$为此样本的$p$分位数. 特别的，样本中位数定义为：$$X_{med}=\{\begin{array}{ll}{X}_{(\frac{n+1}{2})}& n为奇数\\ & \\ \frac{X_{(\frac{n}{2})}+X_{(\frac{n}{2}+1)}}{2}& n为偶数\end{array}\text{\hspace{1em}(2)}$$

• 极值统计量：称$X_{(1)}$和$X_{(n)}$为极小值和极大值统计量.

• 极差：$R=X_{(n)}-X_{(1)}$

1.2 样本偏度与样本峰度：

• 样本偏度：$\frac{\sqrt{n}\sum _{i=1}^n(X_i-\bar{X}{)}^3}{[\sum _{i=1}^n(X_i-\bar{X}{)}^2{]}^{\frac{3}{2}}}$，可以用来度量随机变量概率分布的不对称性。大于0时，概率分布图右偏；小于0时，概率分布图左偏。
• 样本峰度：$\frac{n\sum _{i=1}^n(X_i-\bar{X}{)}^4}{[\sum _{i=1}^n(X_i-\bar{X}{)}^2{]}^2}-3$，用来度量随机变量概率分布的陡峭程度。峰度值越大，概率分布图越高尖，峰度值越小，越矮胖。
• 详见偏态分布学习笔记（期望，中位数，众数）
  

1.3 经验分布函数：

  设$X_1,\cdots ,X_n$为取自总体的分布函数为$F(x)$的样本，$X_{(1)}\le \cdots \le X_{(n)}$为其次序统计量，则称： F n ( x ) = 1 n ∑ i = 1 n I { X i < x } = { 0 x ≤ X ( 1 ) k n X ( k ) < x ≤ X ( k + 1 ) , k = 1 , ⋯   , n − 1 1 x > X ( n ) (3) F_n(x)=\frac{1}{n}\sum\limits_{i=1}^nI_{\{X_i\lt x\}}=\begin{cases}0 &x\le X_{(1)}\\\frac{k}{n} &X_{(k)}\lt x\le X_{(k+1)}, k=1, \cdots , n-1\\1 &x\gt X_{(n)}\end{cases}\tag3 Fn​(x)=n1​i=1∑n​I{ Xi​<x}​=⎩⎪⎨⎪⎧​0nk​1​x≤X(1)​X(k)​<x≤X(k+1)​,k=1,⋯,n−1x>X(n)​​(3)为样本$X_1,\cdots ,X_n$的经验分布函数。

1.4 抽样分布：

  统计量是作为随机变量的样本的函数，故它也有概率分布，于是我们称统计量的概率分布为该统计量的抽样分布。

• 一个重要的抽样分布：设$X_1,\cdots ,X_n$为来自$N(\mu ,{\sigma }^2)$的$IID$样本，则由概率论的知识可知$$\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$$

2. 统计中的常用分布：

2.1 卡方分布：

  设$X_1,\cdots ,X_n\sim N(0,1)$且是独立同分布的，则称随机变量$$\xi =\sum _{i=1}^n{X}_i^2\text{\hspace{1em}(4)}$$所服从的分布为自由度为$n$的${\chi }^2$分布，也称$\xi$为自由度为$n$的${\chi }^2$随机变量，并记为$\xi \sim {\chi }^2(n)$.

• $PDF$：$$f(x)=\{\begin{array}{l}\frac{1}{2^{n/2}\Gamma (n/2)}{e}^{-}\end{array}$$