5、概率基础：概念、变量与独立性解析

概率基础：概念、变量与独立性解析

1. 概率基础概念

1.1 条件概率

在概率的世界里，条件概率是一个非常重要的概念。我们通过一个具体的例子来理解它，假设有一门课程的学生群体分布。所有学生构成了结果空间。现在，我们想探讨学生的智力和他们的最终成绩。我们定义事件α为“所有成绩为A的学生”，事件β为“所有智力高的学生”。我们可以计算这些事件的概率，以及α ∩β（即智力高且成绩为A的学生集合）的概率。

但问题是，当我们获得新的证据时，如何更新我们的信念呢？例如，当我们知道一个学生成绩为A时，这对她的智力情况有什么启示呢？这就引出了条件概率的概念。

条件概率的正式定义为：给定事件α时事件β的条件概率表示为$P(β | α) = \frac{P(α ∩β)}{P(α)}$ （公式2.1）。也就是说，在已知α为真的情况下，β为真的概率是满足β的结果在满足α的结果中所占的相对比例。需要注意的是，当$P(α) = 0$时，条件概率是未定义的。

条件概率给定一个事件（如α）时，满足定义2.1的性质，因此它本身就是一个概率分布。我们可以把条件操作看作是从一个分布得到另一个在相同概率空间上的分布。

1.2 链式法则和贝叶斯法则

从条件分布的定义中，我们可以直接得到链式法则：$P(α ∩β) = P(α)P(β | α)$ （公式2.2）。更一般地，如果有事件α1, …, αk ，那么$P(α1 ∩… ∩αk) = P(α1)P(α2 | α1) · · · P(αk | α1 ∩… ∩αk−1)$ （公式2.3）。这意味着我们可以用第一个事件的概率、第二个事件在第一个事件发生条件下的概率等等来表示多个事件组合的概率