概率论03 条件概率

最新推荐文章于 2021-01-28 15:53:11 发布

转载最新推荐文章于 2021-01-28 15:53:11 发布 · 1.3k 阅读

作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！

条件概率经常在生活中出现。许多事件的概率会由于一些条件发生变化。在有云和无云的条件下，下雨的概率不同。再比如说，在治疗过程中，使用某种药物和不使用该药物的两种条件下，康复的概率也不同。

从上面的表格中，我们可以看到，总体的康复概率为[$P(R) = 400/1000 = 0.4$]。但在用药的条件下，康复的条件概率与总体的康复概率不同。条件概率记为[$P(R|T) = 300/500 = 0.6$]。

而不用药的条件下，康复的条件概率仅为[$P(R/NT) = 100/500 = 0.2$]。

我们首先基于概率的公理化体系，来定义条件概率。

定义: 如果A和B是两个事件，且[$P(B) \ne 0$]。那么B条件下，A的条件概率为

$$P(A|B) = \frac{P(A \cap B)}{P(B)}$$

上面的定义表示，当B发生，那么样本空间是B而不是[$\Omega$]，因此要用[$A \cap B$]的概率，除以B的概率。

通过条件概率的定义可以得到一个有用的推论

推论1: A和B为两个事件，且[$P(B) \ne 0$]。那么

$$P(A \cap B) = P(A|B)P(B)$$

假设我们知道总体的有云的概率为0.2，以及有云的条件下，下雨的条件概率为0.5，那么我们可以计算既下雨又有云的概率为[$0.2 \times 0.5 = 0.1$]

另一个推论用于通过条件概率，来计算一个事件的概率

推论2: 有事件[$B_1, B_2, ..., B_n$]。如果[$\bigcup_{i=1}^n B_i = \Omega $]，两个不同事件互斥([$B_i \cap B_j = \Phi$], if [$i \ne j$]），且任意[$P(B_i) \gt 0$]。那么，对于任意事件A

$$P(A) = \sum\limits_{i=1}^n P(A|B_i)P(B_i)$$

假设家庭收入分为高(H)，中(M)，低(L)三类，高收入家庭占20%，中等收入家庭占65%，低收入家庭占15%。如果高收入家庭的拥有汽车的概率为0.8，中等收入家庭的拥有汽车的概率为0.5，低收入家庭的拥有汽车的概率为0.2。那么任意一个家庭的拥车概率为:

$$P(C) = P(C|H)P(H) + P(C|M)P(M) + P(C|L)P(L) = 0.8 \times 0.2 + 0.5 \times 0.65 + 0.2 \times 0.15 = 0.515$$

我们可以推导出贝叶斯法则(Bayes' Rule)。

贝叶斯法则: 如果A和[$B_1, B_2, ..., B_n$]为事件，[$B_i$]互斥，[$\bigcup_{i=1}^n B_i = \Omega$]，且[$P(B_i) \gt 0$]。那么

$$P(B_j|A) = \frac{P(A|B_j)P(B_j)}{\sum\limits_{i=1}^n P(A|B_i)P(B_i)}$$

我们使用文章开头的服药与康复的例子。我们已知用药和不用药的条件概率为[$P(R|T) = 0.6$]，[$P(R/NT) = 0.2$]，而[$P(T) = P(NT) = 0.5$]。用药与不用药互斥，且其并集构成全集。根据贝叶斯法则，

$$P(T|R) = \frac{P(R|T)P(T)}{P(R|T)P(T) + P(R|NT)P(NT)} = \frac{0.6 \times 0.5}{0.6 \times 0.5 + 0.2 \times 0.5} = 0.75$$

即一个康复的人，用药的概率。这与我们在表格中看到的比例相符(400个康复的人中，300个人用药)。

贝叶斯法则常用于求一些比较难以直接获得的条件概率。此外，在机器学习中，也有贝叶斯算法的应用。

练习，编写一个Python函数，用于实现贝叶斯法则的功能。并计算下面的概率:

已知专家预报下雨时，下雨的概率为0.8; 专家预报不下雨时，下雨的概率为0.2。根据以往的经验，专家一年中有30天预报下雨，剩下的天里预报不下雨。问，如果下雨，专家预报的是不下雨的概率为多少?

两个事件可以是独立的(independent)。

定义: 两个事件A和B，[$P(A) \ne 0$]，[$P(B) \ne 0$]。如果[$P(A|B) = P(A)$]，或者[$P(B|A) = P(B)$]，那么事件A和B是独立事件。

根据定义，和上面学习的规则，如果

$$P(A \cap B) = P(A)P(B)$$

那么A和B独立。

注意，独立事件和互斥事件不同。独立事件是指A发生的概率不影响B。对于互斥事件来说，如果A发生，那么B必然不发生，A的发生影响到了B，所以不是独立事件。比如下雨和不下雨可以看做互斥事件，而下雨和骰子为1可以看做独立事件。

事件[A_1, A_2, ..., A_n]被称为相互独立(mutually independent)，如果对于任意子集[A_{i_1},...,A_{i_m}]都有

$$P(A_{i_1} \cap ... \cap A_{i_m}) = P(A_{i_1})...P(A_{i_m})$$

条件概率

贝叶斯法则

独立事件