概率论基础教程第六章 随机变量的联合分布(二)

6.3 独立随机变量的和

当两个随机变量 $ X $ 和 $ Y $ 相互独立时，研究其和 $ X+Y $ 的分布是概率论中的一个重要问题。特别地，若 $ X $ 和 $ Y $ 是连续型随机变量，且密度函数分别为 $ f_X(x) $ 和 $ f_Y(y) $，则可以通过卷积方法求得 $ X+Y $ 的分布。

设 $ X $ 和 $ Y $ 为相互独立的连续型随机变量，密度函数分别为 $ f_X $ 和 $ f_Y $。则 $ X+Y $ 的累积分布函数为：

FX+Y(a)=P{ X+Y≤a}=∬x+y≤afX(x)fY(y) dx dy F_{X+Y}(a) = P\{X + Y \leq a\} = \iint_{x+y \leq a} f_X(x) f_Y(y) \, dx\,dy FX+Y​(a)=P{ X+Y≤a}=∬x+y≤a​fX​(x)fY​(y)dxdy

通过变量变换可得：

$$F_{X+Y}(a)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{a-y}{f}_X(x)f_Y(y)dxdy={\int }_{-\infty }^{\infty }\left({\int }_{-\infty }^{a-y}{f}_X(x)dx\right)f_Y(y)dy$$

$$={\int }_{-\infty }^{\infty }{F}_X(a-y)f_Y(y)dy\text{\hspace{1em}(3.1)}$$

此式表明，$ F_{X+Y} $ 是 $ F_X $ 与 $ F_Y $ 的卷积（convolution）。

对 $ F_{X+Y}(a) $ 关于 $ a $ 求导，得到 $ X+Y $ 的概率密度函数：

$$f_{X+Y}(a)=\frac{d}{da}{\int }_{-\infty }^{\infty }{F}_X(a-y)f_Y(y)dy={\int }_{-\infty }^{\infty }\frac{d}{da}{F}_X(a-y)f_Y(y)dy$$

由于 $ \frac{d}{da} F_X(a - y) = f_X(a - y) $，因此：

$$f_{X+Y}(a)={\int }_{-\infty }^{\infty }{f}_X(a-y)f_Y(y)dy\text{\hspace{1em}(3.2)}$$

结论：独立连续随机变量之和的密度函数为其各自密度函数的卷积。

---

6.3.1 均匀随机变量

三角分布

例 3a：两个独立 $ (0,1) $ 均匀随机变量之和的密度函数

设 $ X $ 和 $ Y $ 为独立随机变量，均服从 $ (0,1) $ 上的均匀分布，即：

$$f_X(x)=f_Y(y)=\{\begin{array}{ll}1,& 0<x<1\\ 0,& \text{否则}\end{array}$$

由公式 (3.2) 得：

$$\begin{array}{rl}{f}_{X+Y}(a)& ={\int }_{-\infty }^{\infty }{f}_X(a-y)f_Y(y)dy\\ & ={\int }_{y:f_Y(y)>0}{f}_X(a-y)f_Y(y)dy\text{(因为其他地方为0)}\\ & ={\int }_0^1{f}_X(a-y)\cdot 1dy\text{(因为 }{f}_Y(y)=1\text{ 在 }(0,1))\end{array}$$

考虑不同区间：

• 当 $ 0 \leq a \leq 1 $ 时，$ a - y \in (0,1) $ 要求 $ y < a $，所以积分区间为 $ y \in (0,a) $：
  $$f_{X+Y}(a)={\int }_0^{a}1dy=a$$

• 当 $ 1 < a < 2 $ 时，$ a - y \in (0,1) $ 要求 $ a - 1 < y < 1 $，所以积分区间为 $ y \in (a - 1, 1) $：
  $$f_{X+Y}(a)={\int }_{a-1}^{1}1dy=2-a$$

• 当 $ a \leq 0 $ 或 $ a \geq 2 $ 时，积分为 0。

综上：

$$f_{X+Y}(a)=\{\begin{array}{ll}a,& 0\le a\le 1\\ 2-a,& 1<a<2\\ 0,& \text{其他}\end{array}\text{\hspace{1em}(*)}$$

该密度函数图像呈三角形，故称为 三角分布（triangular distribution）。

n 个独立 $ (0,1) $ 均匀随机变量之和的分布函数

令 $ X_1, X_2, \ldots, X_n $ 为独立同分布于 $ (0,1) $ 的均匀随机变量。定义：

$$F_n(x)=P\left\{\sum _{i=1}^n{X}_i\le x\right\},x\ge 0$$

我们用数学归纳法证明：

定理：当 $ 0 \leq x \leq 1 $ 时，有
$$F_n(x)=\frac{x^n}{n!}$$

[!NOTE]
$$F_X(x)=\{\begin{array}{ll}0,& x\le 0\\ x,& 0<x<1\\ 1,& x\ge 1\end{array}$$

证明：

• 基础情形：$ n = 1 $，$ X_1 \sim U(0,1) $，则 $ F_1(x) = P(X_1 \leq x) = x = \frac{x^1}{1!} $，成立。

• 归纳假设：假设对 $ n-1 $ 成立，即
  $$F_{n-1}(x)=\frac{x^{n-1}}{(n-1)!},0\le x\le 1$$

• 归纳步骤：

  要证：
  $$F_n(x)=P\left(\sum _{i=1}^n{X}_i\le x\right)=P\left(\sum _{i=1}^{n-1}{X}_i+X_n\le x\right)$$

  记：

  • $ S_{n-1} = \sum_{i=1}^{n-1} X_i $
  • $ Y = X_n \sim U(0,1) $，与 $ S_{n-1} $ 独立

  需证
  $$F_{S_{n-1}+Y}(x)=P(S_{n-1}+Y\le x)$$
  根据**卷积公式 (3.1)**有：

  $$F_{S_{n-1}+Y}(x)={\int }_{-\infty }^{\infty }{F}_{S_{n-1}}(x-y)f_Y(y)dy$$

  代入：

  • $ f_Y(y) = 1 $ 当 $ 0 < y < 1 $，否则为 0
  • 所以积分只需在 $ y \in (0,1) $

  $$F_n(x)={\int }_0^1{F}_{n-1}(x-y)dy$$

  对 $ F_{n-1}(x - y) $ 分析

  由上文可知：

  • 如果 $ z < 0 $，则 $ F_{n-1}(z) = 0 $
  • 如果 $ 0 \leq z \leq 1 $，则 $ F_{n-1}(z) = \frac{z^{n-1}}{(n-1)!} $
  • 如果 $ z > 1 $，但我们不关心，因为这里 $ x \leq 1 $，$ y > 0 $，所以 $ x - y < 1 $

  现在看：

  • 当 $ y > x $，则 $ x - y < 0 $ → $ F_{n-1}(x - y) = 0 $
  • 当 $ y \leq x $，则 $ x - y \geq 0 $，且 $ x - y \leq x \leq 1 $ → 可用归纳假设

  所以：
  $$F_{n-1}(x-y)=\{\begin{array}{ll}\frac{(x-y{)}^{n-1}}{(n-1)!},& 0<y<x\\ 0,& y>x\end{array}$$

  因此，积分可以截断到 $ y \in (0, x) $：

  $$F_n(x)={\int }_0^x{F}_{n-1}(x-y)dy={\int }_0^x\frac{(x-y{)}^{n-1}}{(n-1)!}dy$$

  令 $ u = x - y $，则：

  • $ y = 0 \Rightarrow u = x $
  • $ y = x \Rightarrow u = 0 $
  • $ dy = -du $

  所以：

  $$F_n(x)={\int }_{u=x}^{u=0}\frac{u^{n-1}}{(n-1)!}(-du)={\int }_0^x\frac{u^{n-1}}{(n-1)!}du$$

  $$=\frac{1}{(n-1)!}{\int }_0^x{u}^{n-1}du=\frac{1}{(n-1)!}\cdot \frac{x^n}{n}=\frac{x^n}{n!}$$

  得证

---

应用：求 $ E[N] $：平均需要多少个 $ (0,1) $ 均匀随机变量之和首次超过 1

设 $ X_1, X_2, \ldots $ 是独立同分布于 $ (0,1) $ 的均匀随机变量。定义：

N=min⁡{ n≥1:X1+X2+⋯+Xn>1} N = \min\{ n \geq 1 : X_1 + X_2 + \cdots + X_n > 1 \} N=min{ n≥1:X1​+X2​+⋯+X