概率论与数理统计 Chapter2. 随机变量及概率分布

• 概率论与数理统计 Chapter2. 随机变量及概率分布
  • 1. 离散分布
    • 1. 二项分布
      • 1. 概率密度函数
      • 2. 典型应用场景
    • 2. 负二项分布（帕斯卡分布）
      • 1. 概率密度函数
      • 2. 典型应用场景
    • 3. 多项分布
      • 1. 概率密度函数
      • 2. 典型应用场景
    • 4. 超几何分布
      • 1. 概率密度函数
      • 2. 典型应用场景
    • 5. 泊松分布
      • 1. 概率密度函数
      • 2. 典型应用场景
  • 2. 连续分布
    • 1. 均匀分布
      • 1. 概率密度函数
    • 2. 指数分布
      • 1. 概率密度函数
      • 2. 典型应用场景
    • 3. 威布尔分布
      • 1. 密度分布函数
      • 2. 典型应用场景
    • 4. 一维正态分布
      • 1. 密度分布函数
    • 5. 二维正态分布
      • 1. 密度分布函数
  • 3. 独立性与条件概率
    • 1. 条件概率定义
    • 2. 贝叶斯公式
    • 3. 独立性定义
  • 4. 联合概率分布
    • 1. 二项分布之和
    • 2. 泊松分布之和
    • 3. 正态分布之和
    • 4. 指数分布之和
  • 5. 统计学三大分布
    • 4. 卡方分布$k_n(x)$
      • 1. 密度分布函数
      • 2. 典型应用场景
    • 5. 学生分布$t_n(x)$
      • 1. 密度分布函数
      • 2. 典型应用场景
    • 6. F分布$f_{mn}(x)$
      • 1. 密度分布函数
      • 2. 典型应用场景

1. 离散分布

1. 二项分布

1. 概率密度函数

$$P(x=i;n,p)=C_n^i\cdot p^i\cdot (1-p{)}^{n-i}$$

2. 典型应用场景

某一事件的发生概率为p，那么，在n次实验之后，其发生次数为i的概率。

2. 负二项分布（帕斯卡分布）

1. 概率密度函数

$$P(x=k;r,p)=C_{k+r-1}^{r-1}\cdot p^r\cdot (1-p{)}^k$$

2. 典型应用场景

假设某商品的次品率为p，我们持续对商品进行良品检测，当检测到第r个次品的时候终止。

当某一次检测终止时，恰好抽取到k个正品的概率即可用上述公式进行表达。

3. 多项分布

1. 概率密度函数

$$P(X_1=n_1,X_2=n_2,...,X_m=n_m)=\frac{n!}{n_1!n_2!...n_m!}{p}_1^{n_1}{p}_2^{n_2}...p_m^{n_m}$$

2. 典型应用场景

某一个事件，出现结果1的概率是$p_1$，出现结果2的概率是$p_2$，直到出现结果m的概率为$p_m$。现在，一共做n次实验，其中结果1到结果m出线的次数分别为$n_1$到$n_m$的概率即可用上式进行表达。

4. 超几何分布

1. 概率密度函数

$$P(X=m)=C_M^m\cdot C_{N-M}^{n-m}/C_N^n$$

2. 典型应用场景

一共N个球，其中黑球有M个，现在一次性抽取n个球，其中黑球的个数为m的概率。

特别的，当$N\to \infty$时，超几何分布可以近似于二项分布。

5. 泊松分布

1. 概率密度函数

$$P(x=i)=e^{-\lambda }\cdot {\lambda }^i/i!$$

2. 典型应用场景

已知某路口在平均每天发生的车祸次数为$\lambda$，则某一天该路口发生了i次车祸的概率即为P。

2. 连续分布

1. 均匀分布

1. 概率密度函数

$$f(x)=1/(b-a)$$

2. 指数分布

1. 概率密度函数

$$f(x)=\lambda \cdot e^{-\lambda x}$$

2. 典型应用场景

假设某一个电子元件的平均寿命是$\lambda$，则其实际使用寿命为x的概率密度函数即为$f(x)$。

3. 威布尔分布

1. 密度分布函数

$$f(x)=\lambda a{x}^{a-1}{e}^{-\lambda x^a}$$

2. 典型应用场景

依然还是上述寿命问题，只是上述假设任何时候元件损坏的概率都是一致的，这里则假设不同时候设备损坏的概率是不同的，使用时间越长，设备越容易损坏。

4. 一维正态分布

1. 密度分布函数

$$f(x)=\frac{1}{\sqrt{2\pi }\cdot \sigma }\cdot exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

5. 二维正态分布

1. 密度分布函数

$$f(x)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\cdot exp(-\frac{1}{2(1-{\rho }^2)}\times (\frac{(x_1-a{)}^2}{{\sigma }_1^2}-\frac{2\rho (x_1-a)(x_2-b)}{{\sigma }_1{\sigma }_2}+\frac{(x_2-b{)}^2}{{\sigma }_2^2}))$$

3. 独立性与条件概率

1. 条件概率定义

条件概率定义：

• 在事件A发生的前提下，另一个事件B发生的概率。

$$P(x=a|y=b)=P(x=a,y=b)/P(y=b)$$

用概率密度表达可以写作：

$$f(x|y)=f(x,y)/f(y)$$

2. 贝叶斯公式

将上述条件概率密度的定义进行转换之后即可得到贝叶斯公式如下：

$$f(x|y)=f(y|x)f(x)/f(y)$$

3. 独立性定义

独立性定义：

• 如果满足条件$f(x_1,...,x_n)=f(x_1)...f(x_n)$，那么称随机变量$X_1$到$X_n$相互独立。

4. 联合概率分布

1. 二项分布之和

假设$X_1$和$X_2$独立，且分别服从p相同的二项分布$B(n_1,p)$和$B(n_2,p)$，则事件$Y=X_1+X_2$满足分布$B(n_1+n_2,p)$。

这个结论还是比较显然的，且不难推广到m个二项分布之和的情况，即$X_1+...+X_m$的分布满足$B(n_1+...+n_m,p)$。

2. 泊松分布之和

假设两个分布$X_1$与$X_2$独立，且分别满足泊松分布$P({\lambda }_1)$和$P({\lambda }_2)$，则$Y=X_1+X_2$满足泊松分布$P({\lambda }_1+{\lambda }_2)$。

同理，上述结论推广至n个泊松分布之和的情况，即$Y=X_1+..+X_n$满足泊松分布$P({\lambda }_1+...+{\lambda }_n)$。

3. 正态分布之和

假设两个正态分布$X_1=N({\mu }_1,{\sigma }_1)$，$X_2=N({\mu }_2,{\sigma }_2)$，则他们的和同样满足正态分布，即$Y=X_1+X_2$同样满足正态分布，其分布函数可以计算得到：

$$\begin{array}{rl}f(x)& ={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }{\sigma }_1}exp(-\frac{(t-{\mu }_1{)}^2}{2{\sigma }_1^2})\cdot \frac{1}{\sqrt{2\pi }{\sigma }_2}exp(-\frac{(x-t-{\mu }_2{)}^2}{2{\sigma }_2^2})dt\\ & \\ & =\frac{1}{\sqrt{2\pi ({\sigma }_1^2+{\sigma }_2^2)}}exp(-\frac{(x-{\mu }_1-{\mu }_2{)}^2}{2({\sigma }_1^2+{\sigma }_2^2)})\\ & \\ & =N({\mu }_1+{\mu }_2,\sqrt{{\sigma }_1^2+{\sigma }_2^2})\end{array}$$

同理可以计算得到两者之差$Y=X_1-X_2$同样满足正态分布，其分布为$N({\mu }_1-{\mu }_2,\sqrt{{\sigma }_1^2+{\sigma }_2^2})$。

类似可以推广至n个正态分布之和$Y=X_1+...+X_n$，则其满足正态分布$N({\mu }_1+...+{\mu }_n,\sqrt{{\sigma }_1^2+...+{\sigma }_n^2})$。

4. 指数分布之和

指数分布和上述这些分布多少有些不同，他们的求和并不依然满足指数分布，不过也可以算就是了，当成一道习题也没啥问题。

1. $Y=X_1+X_2$

   1. ${\lambda }_1={\lambda }_2$

      $$\begin{array}{rl}f(x)& ={\int }_0^x\lambda e^{-\lambda (x-t)}\cdot \lambda e^{-\lambda t}dt\\ & \\ & ={\lambda }^{2}x{e}^{-\lambda x}\end{array}$$

   2. ${\lambda }_1\ne {\lambda }_2$

      $$\begin{array}{rl}f(x)& ={\int }_0^x{\lambda }_1{e}^{-{\lambda }_1(x-t)}\cdot {\lambda }_2{e}^{-{\lambda }_{2}t}dt\\ & \\ & =\frac{{\lambda }_1{\lambda }_2}{{\lambda }_1-{\lambda }_2}(e^{-{\lambda }_{2}x}-e^{-{\lambda }_{1}x})\end{array}$$

2. $Y=X_1-X_2$

   $$f(x)=\{\begin{array}{rlr}{\int }_0^{\infty }{\lambda }_1{e}^{-{\lambda }_1(x+t)}\cdot {\lambda }_2{e}^{-{\lambda }_{2}t}dt=\frac{{\lambda }_1{\lambda }_2}{{\lambda }_1+{\lambda }_2}{e}^{-{\lambda }_{1}x}& & if(x\ge 0)\\ & & \\ {\int }_{-x}^{\infty }{\lambda }_1{e}^{-{\lambda }_1(x+t)}\cdot {\lambda }_2{e}^{-{\lambda }_{2}t}dt=\frac{{\lambda }_1{\lambda }_2}{{\lambda }_1+{\lambda }_2}{e}^{{\lambda }_{2}x}& & if(x\le 0)\end{array}$$

5. 统计学三大分布

4. 卡方分布$k_n(x)$

1. 密度分布函数

自由度为n的卡方分布的x取值范围为$x>0$，其密度分布函数定义为：

$$k_n(x)=\frac{1}{\Gamma (n/2)2^{n/2}}{e}^{-x/2}{x}^{(n-2)/2}$$

其中，$\Gamma$函数表达式为：

$$\Gamma (x)={\int }_0^{\infty }{e}^{-t}{t}^{x-1}dt$$

$\Gamma$函数满足递推公式：

$$\Gamma (x+1)=x\Gamma (x)$$

易求得$\Gamma (1)=1$以及$G(1/2)=\sqrt{(}\pi )$，则我们可以得到：

$$\{\begin{array}{rl}\Gamma (n)& =(n-1)!\\ & \\ \Gamma (n/2)& =\frac{(n-2)!!}{2^{(n-1)/2}}\sqrt{\pi }\end{array}$$

更进一步的，我们可以定义$\beta$函数：

$$\beta (x,y)={\int }_0^1{t}^{x-1}(1-t{)}^{y-1}dt$$

其中，$x>0$，$y>0$。

则我们有关系式：

$$\beta (x,y)=\Gamma (x)\Gamma (y)/\Gamma (x+y)$$

2. 典型应用场景

1. 若$X_1,...,X_n$独立且均满足正态分布$N(0,1)$，则$Y=X_1^2+...+X_n^2$服从自由度为n的卡方分布$k_n(x)$（或记为${\chi }_n^2$），即：

   $$Y=X_1^2+...+X_n^2\sim {\chi }_n^2$$

2. 若$X_1$，$X_2$独立，且$X_1\sim {\chi }_n^2$，$X_2\sim {\chi }_m^2$，则：

   $$X_1+X_2\sim {\chi }_{m+n}^2$$

3. 若$X_1,...,X_n$独立且均满足指数分布$f(x)=\lambda e^{-\lambda x}$，则：

   $$Y=2\lambda (X_1+...+X_n)\sim {\chi }_{2n}^2$$

4. 设$X_1,...,X_n$独立同分布，且均满足公共的正态分布$N(\mu ,\sigma )$，记$\bar{X}=\frac{X_1+...+X_n}{n}$，$S^2={\sum }_{i=1}^n\frac{(X_i-\bar{X}{)}^2}{n-1}$，则：

   $$(n-1)\cdot S^2/{\sigma }^2=\sum _i^n(X_i-\bar{X}{)}^2/{\sigma }^2\sim {\chi }_{n-1}^2$$

5. 学生分布$t_n(x)$

1. 密度分布函数

自由度为n的学生分布$t_n(x)$的密度函数表达式为：

$$t_n(x)=\frac{\Gamma ((n+1)/2)}{\sqrt{n\pi }\Gamma (n/2)}(1+\frac{x^2}{n}{)}^{-\frac{n+1}{2}}$$

2. 典型应用场景

1. 若$X_1,X_2$独立，$X_1\sim {\chi }_n^2$，$X_2\sim N(0,1)$，则:

   $$Y=X_2/(\sqrt{X_1}/n)\sim t_n(y)$$

2. 设$X_1,...,X_n$独立同分布，且均满足公共的正态分布$N(\mu ,\sigma )$，记$\bar{X}=\frac{X_1+...+X_n}{n}$，$S^2={\sum }_{i=1}^n\frac{(X_i-\bar{X}{)}^2}{n-1}$，则:

   $$\sqrt{n}(\bar{X}-\mu )/S\sim t_{n-1}$$

3. 设$X_1,...,X_n$，$Y_1,...,Y_m$独立，且$X_i$各自满足分布$N({\mu }_1,{\sigma }^2)$，$Y_j$各自满足分布$N({\mu }_2,{\sigma }^2)$，则：

   $$\sqrt{\frac{nm(n+m-2)}{n+m}}[(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)]/\sqrt{\sum _{i=1}^n(X_i-\bar{X}{)}^2+\sum _{j=1}^m(Y_j-\bar{Y}{)}^2}\sim t_{n+m-2}$$

6. F分布$f_{mn}(x)$

1. 密度分布函数

自由度为$m,n$的F分布的密度函数表达式为：

$$f_{mn}(x)=m^{m/2}{n}^{n/2}\frac{\Gamma ((m+n)/2)}{\Gamma (m/2)\Gamma (n/2)}{x}^{m/2-1}(mx+n{)}^{-(m+n)/2}$$

2. 典型应用场景

1. 设$X_1,X_2$独立，$X_1\sim {\chi }_n^2$，$X_2\sim {\chi }_m^2$，则$Y=(X_2/m)/(X_1/n)$满足自由度为$m,n$的F分布，即：

   $$Y=(X_2/m)/(X_1/n)\sim m^{m/2}{n}^{n/2}\frac{\Gamma ((m+n)/2)}{\Gamma (m/2)\Gamma (n/2)}{y}^{m/2-1}(my+n{)}^{-(m+n)/2}$$

2. 设$X_1,...,X_n$，$Y_1,...,Y_m$独立，且$X_i$各自满足分布$N({\mu }_1,{\sigma }_1^2)$，$Y_j$各自满足分布$N({\mu }_2,{\sigma }_2^2)$，则：

   $$[\sum _{j=1}^m(Y_j-\bar{Y}{)}^2/({\sigma }_2^2(m-1))]/[\sum _{i=1}^m(X_i-\bar{X}{)}^2/({\sigma }_1^2(n-1))]\sim F_{m-1,n-1}$$