15、概率与分布：离散与连续的奥秘

概率与分布：离散与连续的奥秘

1. 离散和连续概率概述

概率在对事件发生可能性的描述中起着关键作用。根据目标空间是离散还是连续，描述分布的自然方式有所不同。
- 当目标空间 $T$ 是离散的，我们可以指定随机变量 $X$ 取特定值 $x \in T$ 的概率，记为 $P(X = x)$，这被称为概率质量函数。
- 当目标空间 $T$ 是连续的，例如实数轴 $\mathbb{R}$，更自然的是指定随机变量 $X$ 在一个区间内的概率，记为 $P(a \leq X \leq b)$（其中 $a < b$）。通常，我们指定随机变量 $X$ 小于特定值 $x$ 的概率，记为 $P(X \leq x)$，这被称为累积分布函数。

此外，我们使用“单变量分布”来指单个随机变量的分布，而“多变量分布”则指多个随机变量的分布。

2. 离散概率

2.1 联合概率

当目标空间是离散的时，多个随机变量的概率分布可以想象成填充一个（多维）数字数组。联合概率是指两个事件同时发生的概率，定义为：
[P(X = x_i, Y = y_j) = \frac{n_{ij}}{N}]
其中，$n_{ij}$ 是状态为 $x_i$ 和 $y_j$ 的事件数量，$N$ 是事件的总数。

2.2 边际概率和条件概率

• 边际概率是指随机变量 $X$ 取某个值而不考虑随机变量 $Y$ 的值的概率，记为 $p(x)$。我们用 $X \sim p(x)$ 表示随机变量 $X$ 按照 $p(x)$ 分布。
• 条件概率是指在 $X = x$ 的情况下，$Y = y$