20、概率、熵与交叉熵的深入解析

概率、熵与交叉熵的深入解析

1. 边缘概率与变量关系

边缘概率之和为 1，即对于事件集合 ${E_j}$ 和 ${F_i}$，有 $\sum_{j = 1}^{3} p (E_j) = \sum_{i = 1}^{3} p (F_i) = 1$。

变量之间存在依赖和独立两种关系：
- 当且仅当变量相互独立时，边缘概率的乘积等于联合概率，即 $p (F_i, E_j) = p (F_i) × p (E_j)$。
- 若变量相互依赖，则 $p (F_i, E_j) \neq p (F_i) × p (E_j)$。

例如，在某些情况下，体重和身高这两个变量不满足独立条件，而体重和家到市中心的距离可能满足独立条件。

2. 条件概率与贝叶斯定理

2.1 条件概率

条件概率是指在给定某个条件下，另一个事件发生的概率。例如，已知一个人的身高在 160 到 183 厘米之间（即 $H = F_2$），那么其体重超过 90 千克（即 $W = E_3$）的概率，记为 $p (W = E_3|H = F_2)$，读作“在 $H = F_2$ 的条件下，$W = E_3$ 的概率”。

根据频率主义定义，$p (W = E_3|H = F_2) = \frac{满足 W = E_3 和 H = F_2 的人口数}{满足 H = F_2 的人口数} = \frac{4K}{48K} = 0.083$，也可以表示为 $p (W = E_3|H = F_2) = \frac{p (W = E_3, H = F_2)}{p (H = F_2)}$。

2.2 贝叶斯定理