6、数学基础之概率理论详解

数学基础之概率理论详解

1. 条件概率、先验概率与后验概率

在概率理论中，我们常常会遇到部分已知信息影响实验结果可能性的情况。这时就需要引入条件概率的概念，它是在给定某些知识后事件发生的更新概率。在考虑额外知识之前事件发生的概率被称为先验概率，而使用这些额外知识后得到的新概率则被称为后验概率。

例如，在抛 3 枚硬币的实验中，如果第一枚硬币已经抛出且为正面，那么在剩下的 4 种可能基本结果中，有 2 种结果会出现 2 个正面，此时得到 2 个正面的概率就发生了变化。

事件 A 在事件 B 发生的条件下的条件概率（当 (P(B) \neq 0) 时）为：
[P(A|B) = \frac{P(A \cap B)}{P(B)}]
即使 (P(B) = 0)，也有相应的定义。

乘法规则：由于集合交集是对称的（(A \cap B = B \cap A)），我们可以从两个方向进行条件化。通过图 2.1 可以很容易地直观理解这个结果。

链规则是将条件概率规则推广到多个事件的重要结果，表达式为：
[P(A_1 \cap A_2 \cap \cdots \cap A_n) = P(A_1)P(A_2|A_1)P(A_3|A_1 \cap A_2) \cdots P(A_n|A_1 \cap A_2 \cap \cdots \cap A_{n - 1})]
链规则在统计自然语言处理中有广泛应用，比如在研究马尔可夫模型的性质时。

独立性方面，如果两个事件 A 和 B 满足 (P(A \cap B) = P(A)P(B))，则称它们相互独立。除非 (P(B) = 0)，这等价于 (P(A|B) = P(A