5、概率论与线性代数基础：离散与连续随机变量解读

概率论与线性代数基础：离散与连续随机变量解读

1. 贝叶斯规则与独立性

贝叶斯规则用于在已知条件概率 $P(X|Y)$ 的情况下，求解 $P(Y|X)$。其公式可改写为：
[P(Y|X) = \frac{P(X|Y)P(Y)}{\sum_{y} P(X|Y)P(Y)}]

若随机变量 $X$ 和 $Y$ 满足 $P(X|Y) = P(X)$ 或 $P(Y|X) = P(Y)$，则称它们相互独立。这意味着事件 $Y = y_j$ 的发生不会改变事件 $X = x_i$ 的概率。对于独立的随机变量 $X$ 和 $Y$，其联合概率可表示为：
[P(X, Y) = P(X|Y)P(Y) = P(X)P(Y)]

2. 离散随机变量

随机变量是将样本空间映射到实数的函数。例如，抛三次硬币，所有可能的结果构成样本空间 $S$：
[S = {HHH, HHT, HTH, THH, HTT, THT, TTH, TTT}]
若我们关注正面（$H$）出现的次数，将其定义为随机变量 $X$，则 $X$ 的取值范围 $R_X$ 为：
[R_X = {0, 1, 2, 3}]
这种取值范围可数的随机变量称为离散随机变量。

2.1 概率质量函数（PMF）

随机变量 $X$ 取值为 $x_i$ 的概率 $P(X = x_i)$ 称为概率质量函数（PMF），记为 $P_X(x_i)$：
[P_X(x_i) = P(X = x_i), i = 1, 2, 3, \cdots]
PMF 需满足两个性质：
- (0 \leq P_X(x_i) \leq 1)，对于