6、概率理论基础：从独立性到连续空间的深入解析

概率理论基础：从独立性到连续空间的深入解析

1. 条件独立性

在概率的世界里，条件独立性是一个重要的概念。假设两所大学仅依据学生的平均绩点（GPA）来做录取决定，已知某学生的GPA为A。那么，得知该学生被斯坦福大学录取，不应改变她被麻省理工学院（MIT）录取的概率。因为她的GPA已经提供了与被MIT录取机会相关的信息，斯坦福的录取结果并不能改变这一点。用数学公式表示就是：$P(MIT | Stanford, GradeA) = P(MIT | GradeA)$ ，此时我们称在给定GradeA的条件下，MIT与斯坦福是条件独立的。

正式定义如下：
- 定义 ：在概率分布P中，如果$P(α | β ∩γ) = P(α | γ)$ 或者$P(β ∩γ) = 0$ ，则称事件α在给定事件γ的条件下与事件β条件独立，记作$P |= (α ⊥β | γ)$ 。

对于随机变量的集合，也有类似的条件独立性定义：
设X、Y、Z为随机变量的集合，若对于所有$x ∈Val(X)$ ，$y ∈Val(Y)$ ，$z ∈Val(Z)$ ，分布P都满足$(X = x ⊥Y = y | Z = z)$ ，则称在分布P中，给定Z时X与Y条件独立。若Z为空集，则记作$(X ⊥Y)$ ，称X和Y边际独立。

条件独立性还有一些重要性质：
- 对称性 ：$(X ⊥Y | Z) \Rightarrow (Y ⊥X | Z)$
- 分解性 ：$(X ⊥Y, W | Z) \Rightarrow (X ⊥Y | Z)$
- 弱