15、概率与分布：离散与连续概率的深入解析

概率与分布：离散与连续概率的深入解析

1. 离散和连续概率概述

在描述事件概率时，根据目标空间是离散还是连续，对分布的自然表述方式有所不同。
- 离散目标空间 ：当目标空间 (T) 是离散的，可指定随机变量 (X) 取特定值 (x \in T) 的概率，记为 (P(X = x))，这被称为概率质量函数。
- 连续目标空间 ：当目标空间 (T) 是连续的，如实数线 (\mathbb{R})，更自然的是指定随机变量 (X) 在某个区间内的概率，记为 (P(a \leq X \leq b))（(a < b)）。通常指定随机变量 (X) 小于特定值 (x) 的概率，记为 (P(X \leq x))，这被称为累积分布函数。

这里还引入了单变量分布和多变量分布的概念：
- 单变量分布 ：指单个随机变量的分布，其状态用非粗体 (x) 表示。
- 多变量分布 ：指多个随机变量的分布，通常考虑随机变量向量，其状态用粗体 (\mathbf{x}) 表示。

2. 离散概率

当目标空间是离散的，多个随机变量的概率分布可想象为填充一个（多维）数字数组。
- 联合概率 ：联合概率的目标空间是每个随机变量目标空间的笛卡尔积。对于两个随机变量 (X) 和 (Y)，联合概率定义为 (P(X = x_i, Y = y_j) = \frac{n_{ij}}{N})，其中 (n_{ij}) 是状态为 (x_i) 和 (y_j) 的事件数量，(N) 是事件