概率导论-二-离散随机变量

2.1 随机变量

随机变量：对样本空间里的所有试验结果，都关联着一个特定的数。这种试验结果与数的对应关系形成一个随机变量。将试验结果所对应的数称为随机变量的取值。随机变量是试验结果的一个实值函数。

离散随机变量：随机变量的值域为有限集合或可数无限集合，如{-1, 0, 1}
连续随机变量：随机变量的值域为不可数无限集合，如[-1, 1]上的一个点

2.2 分布列

分布列：离散随机变量的取值概率, $px$表示随机变量X的分布列，即
pX(x)=P({X=x})          (可简写为P(X=x))p_X(x) = P(\{X=x\}) \;\;\;\;\; (可简写为P(X=x) ) pX​(x)=P({X=x})(可简写为P(X=x))
(一般用大写字母如X表示随机变量，小写字母如x表示随机变量的取值)
$$\sum _x{p}_X(x)=1$$
$$P(X\in S)=\sum _{x\in S}{p}_X(x)$$

考虑抛掷硬币的试验，每次抛掷硬币，正面朝上的概率为p, 反面朝上的概率为1-p， 接下来考虑与之联系的随机变量：

2.2.1 伯努利随机变量

伯努利随机变量（与试验结果相映射）
$$X=\{\begin{array}{ll}1& \text{正面朝上}\\ 0& \text{反面朝上}\end{array}$$

其分布列（与随机变量相映射）
$$p_X(k)=\{\begin{array}{ll}p& \text{k=1}\\ 1-p& \text{k=0}\end{array}$$

注：这里有两个函数：试验结果–>随机变量； 随机变量–>分布列

2.2.2 二项随机变量

二项随机变量X：n次抛掷得到正面的次数，其参数为n和p
X的分布列 — — 二项概率：
$$p_X(k)=P(X=k)=\left(\begin{array}{c}n\\ k\end{array}\right)p^k(1-p{)}^{n-k},k=0,1,2,...,n$$

2.2.3 几何随机变量

几何随机变量X: 连续抛掷一枚硬币，直到第一次出现正面所需要抛掷的次数
其分布列为：
$$p_X(x)=(1-p{)}^{k-1}p,k=1,2,...$$

2.2.4 泊松随机变量

泊松随机变量的分布列：
$$p_X(k)=e^{-\lambda }\frac{{\lambda }^k}{k!}，k=0,1,2,...$$

泊松随机变量是二项随机变量的逼近
其中$\lambda =np$且n很大，p很小

例如，n=100, p=0.01，用二项随机变量计算成功次数k=5的概率：
$$\frac{100!}{95!5!}\cdot 0.01^5(1-0.01{)}^{95}=0.00290$$
利用泊松随机变量计算这个概率的近似值：
$$e^{-}1\frac{1}{5!}=0.00306(\lambda =np=100\cdot 0.01)$$

2.3 随机变量的函数

$X,Y$是离散随机变量，$Y=g(X)$是$X$的函数，$Y$的分布列可通过$X$的分布列计算得出
pY(y)=∑{x∣g(x)=y}pX(x) p_Y(y)=\sum_{\{x|g(x)=y\}}p_X(x) pY​(y)={x∣g(x)=y}∑​pX​(x)

2.4 期望，均值和方差

设随机变量$X$，其分布列为$p_X$，其：
期望/均值： $$E[X]=\sum _{x}x{p}_X(x)$$
二阶矩(n阶矩):
$$E[X^2],E[X^n]$$
$$E[X^n]=\sum _x{x}^n{p}_X(x)$$
方差：
$$\begin{gathered} var(X)=E[(X-E[X]{)}^2] \\ var(X)=\sum _x(x-E[X]{)}^2{p}_X(x) \end{gathered}$$
标准差：${\sigma }_X=\sqrt{var(X)}$

理解：

• 期望：X的所有取值相对于它的概率的加权平均，可类比于质量分布的重心
• 方差和标准差衡量了X在期望周围的分散程度，方差越大，X越分散
• 方差只能是非负，标准差可以为负

计算随机变量函数的期望

$X,Y=g(X)$是随机变量，$X$的分布列为$p_X$，则$Y$的期望可如下得到：
$$E[Y]=\sum _{x}g(x)p_X(x)$$

若$Y=aX+b$，则a, b为常数

$$\begin{gathered} E[Y]=aE[X]+b \\ - \\ var(Y)=a^{2}var(X) \end{gathered}$$
也即$Y=g(X)$是线性函数时，$E[g(X)]=g(E[X])$

注：除非$g(X)$是线性函数， 一般情况下$E[g(X)]\ne g(E[X])$

例2.4（P77)平均时间与平均速度

$$p_T(t)=\{\begin{array}{ll}0.6& t=2/5\\ 0.4& t=2/30\end{array}$$
$E[T]=0.6=\cdot \frac{2}{5}+0.4\cdot \frac{2}{30}=\frac{4}{15}$
$$p_V(v)=\{\begin{array}{ll}0.6& v=5\\ 0.4& v=30\end{array}$$
$E[V]=0.6=\cdot 5+0.4\cdot 30=15$

$T=\frac{2}{V}$，然而，$E[T]=E[\frac{2}{V}]\ne \frac{2}{E[V]}$

常用的随机变量的均值与方差

伯努利随机变量
分布列$p_X(x)=\{\begin{array}{ll}p& k=1\\ 1-p& k=0\end{array}$
均值$E(X)=p$
二阶矩$E[X^2]=p$
方差$var[X]=p(1-p)$

离散均匀随机变量

分布列$p_X(x)=\{\begin{array}{ll}\frac{1}{b-a+1}& k=a,a+1,...,b\\ 0& 其他\end{array}$
均值$$E(X)=\frac{a+b}{2}$$
二阶矩$$E[X^2]=\frac{1}{6}(n+1)(2n+1)$$
方差$$var[X]=\frac{n^2-1}{12}$$

泊松随机变量
均值$E(X)=\lambda$
方差$var[X]=\lambda$

2.5 多个随机变量的联合分布列

在同一个试验中有两个随机变量$X,Y$, 其取值概率可由联合分布列表示：
pX,Y(x,y)=P({X=x}∩{Y=y})简写为P(X=x,Y=y) p_{X,Y}(x, y)=P(\{X=x\}\cap\{Y=y\}) \\ 简写为 P(X=x, Y=y) pX,Y​(x,y)=P({X=x}∩{Y=y})简写为P(X=x,Y=y)

联合分布列与边缘分布列（称$p_X,p_Y$为边缘分布列)：
$$\begin{gathered} p_X(x)=\sum _y{p}_{X,Y}(x,y) \\ {p}_Y(y)=\sum _x{p}_{X,Y}(x,y) \end{gathered}$$

多个随机变量的分布列

三个随机变量$X,Y,Z$的分布列：
$$p_{X,Y,Z}(x,y,z)=P(X=x,Y=y,Z=z)$$
边缘分布列：
$$p_{X,Y}=\sum _z{p}_{X,Y,Z}(x,y,z)$$
$$p_X=\sum _y\sum _z{p}_{X,Y,Z}(x,y,z)$$

多个随机变量的函数

两个随机变量构造新的随机变量，如：$Z=g(X,Y)$

• 分布列为：
  pZ(z)=∑{(x,y)∣g(x,y)=z}pX,Y(x,y) p_Z(z)=\sum_{\{(x,y)|g(x,y)=z\}}p_{X,Y}(x,y) pZ​(z)={(x,y)∣g(x,y)=z}∑​pX,Y​(x,y)
• 期望为：
  $$E[g(X,Y)]=\sum _x\sum _{y}g(x,y)p_{X,Y}(x,y)$$
• 当函数是线性函数时，$E[g(X,Y)]=g(E[X],E[Y])$
  如$E[aX+bY+c]=aE[X]+bE[Y]+c$

三个随机变量构造新的随机变量：$U=g(X,Y,Z)$

• 分布列为：
  pU(u)=∑{(x,y,z)∣g(x,y,z)=u}pX,Y,Z(x,y,z)p_U(u)=\sum_{\{(x,y,z)|g(x,y,z)=u\}}p_{X,Y,Z}(x,y,z)pU​(u)={(x,y,z)∣g(x,y,z)=u}∑​pX,Y,Z​(x,y,z)
• 期望：
  $$E[g(X,Y,Z)]=\sum _x\sum _y\sum _{z}g(x,y,z)p_{X,Y,Z}(x,y,z)$$
• 函数是线性函数时：
  $$E[aX+bY+cZ+d]=aE[X]+bE[Y]+cE[Z]+d$$

多于三个的随机变量依次类推