独立性课程笔记

两个事件的独立性

直观上的定义(Intuitive “definition”)：P(B | A) = P(B).

正规的定义(Formal definition)：$P(A \cap B) = P(A) * P(B)$

正规定义的几个优势：

• 它包括了直观上的定义，因为：$\frac{P(A \cap B)}{P(A)} = P(B|A) = P(B)$
• 对于A和B来说它是对称的。因为它也包括P(A | B) = P(A),因此A和B是相互独立的
• 它允许条件概率为0

如上面的图片所示，$P(A \cap B) \ne P(A) * P(B)$,因此它不并满足独立性的定义，所以两个事件是不独立的。所以事件的独立性与是否相交是完全不同的。

判断独立性直观的方法是：一个事件发生的概率是否影响另一个事件发生的概率。有些事件的独立性是很不明显的，我们需要利用数值上的计算才能判断出来。

如果A和B是独立的，那么A和$B^c$也是独立的

证明如下：

$A = (A \cap B) \cup (A \cap B^c)$
$P(A) = P(A \cap B) + P(A \cap B^c)$
$P(A) = P(A) * P(B) + P(A \cap B^c)$
$P(A \cap B^c) = P(A) - P(A) * P(B) = P(A) * (1 - P(B)) = P(A) * P(B^c)$

相似的：只要A和B是相互独立的，那么A和$B^c$、$B^c$和$A^c$都是相互独立的。

条件独立性(Conditional Independence)

定义：$P(A \cap B | C) = P(A | C) * P(B | C)$

由上图可知：$P(A \cap B | C) = 0$，而$P(A | C) * P(B | C) \gt 0$

所以，独立性并不意味着条件独立性。

多个事件的独立性

Intuitive “definition”：给定一些事件的信息并不影响剩下事件的概率。

Formal definition：如果任意不同的索引i,j…,m，使得$P(A_i \cap A_j \cap ... \cap A_m) = P(A_i) * P(A_j) * ... P(A_m)$，那么事件$A_1, A_2, ...., A_n$是独立的。

当对事件加上条件时，这并不会改变不同事件之间相关的概率，而可能会改变不同事件所在的样本空间。