第2章 随机变量及概率分布

# 第2章 随机变量及概率分布
[TOC]

2.1 一维随机变量

2.1.1 随机变量的概念

随机变量就是“其值随机会而定”的变量。
用随机变量加限制的方法，可以表示一个事件。
按取值全体的性质，随机变量分为两大类：
- 离散型随机变量
- 连续型随机变量

“连续型随机变量”这个概念只是一个数学上的抽象。

2.1.2 离散型随机变量的分布及重要例子

设X为离散型随机变量，其全部可能值为$\{a_1, a_2,\cdots\}$，则

$$p_i=P(X+=a_i) \quad (i=1,2,\cdots)$$

称为X的概率函数。

设X为离散型随机变量，则函数

$$P(X\leq x)=F(x) \quad (-\infty \lt x \lt \infty)$$

称为X的分布函数。

因此可知：

$$F(i)=F(i-1) + P(X=i)$$

$$p_i=P(X=i)=F(i)-F(i-1)$$

对于任何随机变量X，其分布函数F(x)具有以下一般性质：
1.F(x)是单调非降的。
2.当$x\rightarrow \infty$时，$F(x)\rightarrow 1$，当$x\rightarrow -\infty$时，$F(x)\rightarrow 0$。

下面是几个重要的离散型随机变量的例子：

• 二项分布：
  已知A的概率p，X记为n次试验中A出现的次数。记为$X \sim B(n,p)$

$$p_i=b(i;n,p)={n\choose i}p^i(1-p)^{n-i} \quad (i=0,1,\cdots ,n)$$

二项分布有两个条件：一是各次试验的条件是稳定的，这保证了p不变。二是各次试验的独立性。

• 泊松分布：
  当X表示在一段时间或空间内出现的事件个数。记为$X \sim P(\lambda )$

$$P(X=i)=\frac {e^{-\lambda} \lambda ^i}{i!}$$

二项分布中，当n很大，p很小，$np=\lambda$ 不太大时，X的这个二项分布接近于泊松分布$P(\lambda )$。因此有时可以用泊松分布来计算二项分布。

在设计到抽样的问题中常用。N个产品中有M个废品，以X记从N个产品中随机抽出n个里面所含有的废品数。

$$P(X=m)={M\choose m}{{N-M}\choose {n-m}}/{N\choose n}$$

• 负二项分布：
  一批产品废品率p。逐一抽取直到抽到r个废品，X记为此时合格品的个数。

$$P(X=i)={i+r-1\choose r-1}p^r(1-p)^i \quad (i=0,1,2,\cdots)$$

• 几何分布：
  负二项分布中，当抽到1个废品就停止，即令r=1。

$$P(X=i)=p(1-p)^i \quad (i=0,1,2,\cdots)$$

2.1.3 连续型随机变量的分布及重要例子

设连续型随机变量X有概率分布函数F(x)，则F(x)的导数$f(x)=F^{'}(x)$称为X的概率密度函数。其具有以下三条性质：
1.$f(x)\ge 0$；
2.$\int_{-\infty}^{\infty}f(x)dx=1$；
3.对任何常数$a\lt b$有：

$$P(a\le X\le b)=F(b)-F(a)=\int_{a}^{b}f(x)dx$$

重要的例子们有：

• 正态分布：
  记为$X\sim N(\mu, \sigma ^2)$，关于 μ点对称，而后往两个方向衰减。

$$f(x)=(\sqrt{2\pi}\sigma)^{-1}e^{-\frac{(x-\mu)^2}{2\sigma ^2}}$$

$N(0,1)$称为标准正态分布，之所以重要，是因为可以用标准正态分布去计算正态分布。因为：

$$若X\sim N(\mu,\sigma ^2)，则Y=(X-\mu)/\sigma \sim N(0,1)$$

• 指数分布：
  常用于寿命分布。X取的意义类似于“可以撑过多久”。这里并不考虑老化的问题，即失效率是不随x变化的。

$$f(x)=\left\{ \begin{array}{ll} \lambda e^{-\lambda x} ,当x\gt 0时\\ 0，当x\le 0时 \end{array} \right.$$

• 威布尔分布：
  常用于寿命分布。X取的意义类似于“可以撑过多久”。考虑老化的问题。$\lambda$与x有关。
  要解下面的微分方程（以$\lambda=\lambda x^m$为例）：

$$F^{'}/[1-F(x)]=\lambda x^m$$

• 均匀分布：

$$f(x)=\left\{ \begin{array}{ll} 1/(b-a) ,当a\le x\le b时\\ 0，其他 \end{array} \right. \\ F(x)=\left\{ \begin{array}{ll} 0，当x \le a时\\ (x-a)/(b-a) ,当a\lt x\lt b时\\ 1，x\ge b时 \end{array} \right.$$

2.2 多维随机变量（随机向量）

2.2.1 离散型随机向量的分布

设$X=(X_1,X_2,\cdots,X_n)$为一个N维向量，$X_1,X_2,\cdots,X_n$都是一维随机变量，则称X是一个n维随机向量或n维随机变量。

以$\{a_{i1},a_{i2},\cdots \}$记$X_i$的全部可能值，$(i=1,2,\cdots)$，则事件$\{ X_1=a_{1j_1}, X_2=a_{2j_2},\cdots,X_n=a_{nj_n}\}$的概率

$$p(j_1,j_2,\cdots,j_n)=P(X_1=a_{1j_1}, X_2=a_{2j_2},\cdots,X_n=a_{nj_n}) \\ >(j_1=1,2,\cdots;j_2=1,2,\cdots;\cdots ;j_n=1,2,\cdots;) >$$

称为随机向量$X=(X_1,X_2,\cdots,X_n)$的概率函数或概率分布，其应满足以下条件：

$$p(j_1,j_2,\cdots,j_n)\ge 0，\qquad \sum_{j_n} \cdots \sum_{j_2} \sum_{j_1} p(j_1,j_2,\cdots,j_n)=1$$

• 多项分布：
  常用于将一堆事物分为几类，抽取，查看各类抽取若干个时的概率。假设的是各个事物的比率在抽取的过程中不变化。

$$P(X_1=k_1,X_2=k_2,\cdots,X_n=k_n)=\frac {N!}{k_1!k_2!\cdots k_n!}p_1^{k_1}p_2^{k_2}\cdots p_n^{k_n}$$

当n=2时，就回到了二项分布的情形。

2.2.2 连续型随机向量的分布

设$X=(X_1,X_2,\cdots,X_n)$，如果X的取值能够充满$\mathbb {R}^n$中的某一区域，则称X是连续的。

若$f(x_1,\cdots,x_n)$是定义在$\mathbb {R}^n$上的非负函数，使对$\mathbb {R}^n$上的任何集合A，有

$$P(X\in A)=\mathop{\int\cdots\int}\limits_{A} f(x_1,\cdots,x_n) dx_1 dx_2 \cdots dx_n$$

则称f是X的（概率）密度函数。

• 二维正态分布

$$f(x_1,x_2)=(2\pi \sigma_1 \sigma_2\sqrt{1-\rho^2})^{-1}exp \Bigg[-\frac{1}{2(1-\rho^2)} \Bigg(\frac{(x_1-a)^2}{\sigma_1^2}-\frac{2\rho(x_1-a)(x_2-b)}{\sigma_1\sigma_2}+\frac{(x_2-b)^2}{\sigma_2^2}\Bigg)\Bigg]$$

记为$N(a,b,\sigma_1^2,\sigma_2^2,\rho)$。

2.2.3 边缘分布

$X=(X_1,X_2,\cdots,X_n)$，$X_i$的分布称为X或X的分布的“边缘分布”。
设X的概率密度函数为$f(x_1,\cdots,x_n)$，则$X_1$的分布为：

$$f_1(x_1)=\int_{-\infty}^{\infty}\cdots \int_{-\infty}^{\infty}f(x_1,\cdots,x_n)dx_2\cdots dx_n$$

$N(a,b,\sigma_1^2,\sigma_2^2,\rho)$的边缘分布分别是$N(a,\sigma_1^2)$和$N(b,\sigma_2^2)$。
多项分布的边缘分布是二项分布。

但是即使知道了边缘分布，也不能确定联合分布，因为没有给出边缘分布之间的关系。以二维正态分布为例 ρ给出的就是两个边缘分布之间的关系。

2.3 条件概率分布与随机变量的独立性

2.3.1 条件概率分布的概念

一个随机变量或向量X的条件概率分布，就是在某种给定的条件下X的概率分布。

2.3.2 离散型随机变量的条件概率分布

与第1章中的概念及计算方法一样。

$$P(X_1=a_i|X_2=b_j)=P(X_1=a_i,X_2=b_j)/P(X_2=b_j)$$

将联合概率分布记为：

$$p_{ij}=P(X_1=a_i,X_2=b_j)\qquad (i,j=1,2,\cdots)$$

则条件概率分布也可以写成：

$$P(X_1=a_i|X_2=b_j)=p_{ij}/\sum_k{p_{kj}})\qquad (j=1,2,\cdots)$$

多项分布在给定一项的条件时，另一项是二项分布。

2.3.3 连续型随机变量的条件分布

二维随机向量$X=(X_1,X_2)$,

$$f_1(x_1|a\le X_2\le b)=\int_a^b f(x_1,t_2)dt_2 \Bigg/ \int_a^b f_2(t_2)dt_2$$

$$f_1(x_1|x_2)=f(x_1,x_2) / f_2(x_2)$$

正态变量的条件分布仍为正态。二维正态分布中， ρ>0称为“正相关”，ρ<0称为“负相关”。

2.3.4 随机变量的独立性

如果$f_1(x_1|x_2)$不依赖于$x_2$,而只是$x_1$的函数，就称$X_1，X_2$这两个随机变量（在概率论意义上）独立。此时：

$$f_1(x_1,x_2)=f_1(x_1)f_2(x_2)$$

变量独立则事件独立，事件独立则变量独立。

若连续型随机向量$X=(X_1,X_2,\cdots,X_n)$的概率密度函数$f(x_1,\cdots,x_n)$可表为n个函数之积，即：

$$f(x_1,\cdots,x_n)=g_1(x_1)\cdots g_n(x_n)$$

其中$g_i$只依赖于$x_i$，则$X=(X_1,X_2,\cdots,X_n)$相互独立，且$X_i$的边缘密度函数$f_i(x_i)$与$g_i(x_i)$只相差一个常数因子。

2.4 随机变量的函数的概率分布

已知一些分布，通过函数关系去求另一些分布。

2.4.1 离散型分布的情况

关键是通过函数关系求出Y后，有没有相重的Y。相重的Y的概率要合并起来。

2.4.2 连续型分布的情况：一般讨论

设X有密度函数f(x)，Y=g(X)，g的反函数为X=h(Y)。g是严格上升的函数。则Y的密度函数为：

$$l(Y)=f(h(y))|h^{'}(y)|$$

多维随机向量的情况：

$$l(y_1,y_2,\cdots, y_n)=f(h_1(y_1,y_2,\cdots, y_n),h_2(y_1,y_2,\cdots, y_n),\cdots,h_n(y_1,y_2,\cdots, y_n))|J(y_1,y_2,\cdots,y_n)|$$

由于做了变量替换，要注意取值范围。

2.4.3 随机变量和的密度函数

$Y=X_1+X_2$

$$l(y)=\int_{-\infty}^{\infty}f_1(x)f_2(y-x)dx=\int_{-\infty}^{\infty}f_1(y-x)f_2(x)dx$$

两个正态分布的和也是正态分布。一个二维正态分布表成两个随机变量之和，随机变量也服从正态分布。

三大分布：
Γ函数：

$$\Gamma(x)=\int_0^\infty e^{-t}t^{x-1}dt \qquad (x \gt 0)$$

$$\Gamma(1)=1$$

$$\Gamma(\frac{1}{2})=\sqrt{\pi}$$

$$\Gamma(x+1)=x\Gamma(x)$$

$$\Gamma(n)=(n-1)!$$

$$\Gamma(n/2)=1\cdot 3\cdot 5\cdots (n-2)2^{-(n-1)/2} \sqrt{\pi}$$

• 自由度为n的皮尔逊卡方分布$\chi_n^2$
  概率密度：

$$k_n(x)=\left\{ \begin{array}{ll} \frac{1}{\Gamma(\frac{n}{2})2^{n/2}}e^{-x/2}x^{(n-2)/2} ,当x\gt 0时\\ 0，当x\le 0时 \end{array} \right.$$

若$X_1,X_2,\cdots,X_n$相互独立，都服从N(0,1)，则$Y=X_1^2+X_2^2+\cdots+X_n^2\sim \chi_n^2$
性质：
1.设$X_1,X_2$独立，$X_1\sim \chi_m^2， X_2\sim \chi_n^2$，则$X_1+X_2\sim \chi_{m+n}^2$。
2.设$X_1,X_2,\cdots,X_n$独立，都服从指数分布，则$X=2\lambda(X_1+\cdots+X_n)\sim \chi_{2n}^2$。

2.4.4 随机变量的商的密度函数

设$X_1,X_2$有密度函数$f(x_1,x_2)$，$Y=X_2/X_1$，则:

$$l(y)=\int_{0}^{\infty}x_1f_1(x_1)f_2(x_1y)dx_1$$

• 自由度n的t分布$t_n$
  设$X_1,X_2$独立，$X_1\sim \chi_n^2， X_2\sim N(0,1)$，$Y=X_2/\sqrt{X_1/n}$，则Y服从自由度n的t分布：

$$t_n(y)=\frac{\Gamma((n+1)/2)}{\sqrt{n\pi}\Gamma(n/2)}\bigg(1+\frac{y^2}{n}\bigg)^{-\frac{n+1}{2}}$$

• 自由度(m,n)的F分布$F_{mn}$
  设$X_1,X_2$独立，$X_1\sim \chi_n^2， X_2\sim \chi_m^2$，$Y=m^{-1} X_2 / n^{-1}X_1$，则Y服从自由度(m,n)的F分布：

$$f_{mn}(y)=m^{m/2}n^{n/2}\frac{\Gamma \big(\frac{m+n}{2}\big)}{\Gamma \big(\frac{m}{2}\big) \Gamma \big(\frac{n}{2}\big)} y^{m/2-1}(my+n)^{-(m+n)/2} \qquad (y\gt 0)$$

$\Gamma_n^2,t_n,F_{mn}$称为统计上的三大分布。

三大分布很重要主要是因为：
1.设$X_1,X_2,\cdots,X_n$独立同分布，有公共的正态分布$N(\mu,\sigma^2)$，记$\bar X=(X_1+X_2+\cdots+X_n)/n$，$S^2=\mathop{\sum}_{i=1}^n (X_i-\bar X)^2/(n-1)$，则：

$$(n-1)S^2/\sigma^2=\mathop{\sum}_{i=1}^n (X_i-\bar X)^2/\sigma^2 \sim \chi_{n-1}^{2}$$

2.假设同1，则：

$$\sqrt{n}(\bar X-\mu)/S \sim t_{n-1}$$

3.设$X_1,X_2,\cdots,X_n$独立同分布，$Y_1,Y_2,\cdots,Y_m$独立同分布,$X_i \sim N(\mu_1, \sigma_1^2) , Y_i \sim N(\mu_2, \sigma_2^2)$，则：

$$\frac{\mathop{\sum}_{j=1}^m (Y_j-\bar Y)^2/(\sigma_2^2(m-1))}{\mathop{\sum}_{i=1}^n (X_i-\bar X)^2/(\sigma_1^2(n-1))} \sim F_{m-1,n-1}$$

若$\sigma_1^2=\sigma_2^2$，则：

$$\frac{\sqrt{\frac{nm(n+m-2)}{n+m}}[(\bar X- \bar Y)-(\mu_1-\mu_2)]}{\Big[\sum_{i=1}^n (X_i-\bar X)^2 + \sum_{j=1}^m (Y_j-\bar Y)^2 \Big]^{1/2}} \sim t_{n+m-2}$$