漫步数理统计五——条件概率与独立(上)

对某些随机试验，我们只对样本空间$\textbf{C}$子集$C_1$ 中的元素感兴趣，这就意味着样本空间只要是子集$C_1$就够了，接下来问题就是如何在$C_1$这个新样本空间上定义概率集合函数。

定义在样本空间$\textbf{C}$上的概率集合函数是$P(C)$，$C_1$是$\textbf{C}$的子集且满足$P(C_1)>0$。我们现在考虑随机试验的结果只是$C_1$中的元素；这时候我们取$C_1$为样本空间。令$C_2$是$\textbf{C}$的另一个子集，那么相对于新的样本空间$C_1$，我们如何定义事件$C_2$ 的概率呢？一旦定义了，我们就称这个概率为事件$C_2$相对于事件$C_1$的条件概率；或者更简洁一点，给定$C_1$后$C_2$的条件概率，这样的概率用符号$P(C_2|C_1)$表示。现在我们回到产生这个符号的问题，因为现在$C_1$是样本空间，我们关心的$C_2$的元素也得是$C_1$的元素，即$C_1\cap C_2$的元素，这样的话我们可以用下面的方式来定义$P(C_2|C_1)$：

$$P(C_1|C_1)=1\quad and\quad P(C_2|C_1)=P(C_1\cap C_2|C_1)$$

进一步，从相对频率的角度讲，为了保持一致性，我们需要将事件$C_1\cap C_2,C_1$相对于空间$C_1$的概率之比等于这些事件相对于空间$\textbf{C}$的概率之比；即

$$\frac{P(C_1\cap C_2|C_1)}{P(C_1|C_1)}=\frac{P(C_1\cap C_2)}{P(C_1)}$$

上面的三个关系式可导出

$$P(C_2|C_1)=\frac{P(C_1\cap C_2)}{P(C_1)}$$

当$p(C_1)>0$时，上面的关系式可以看成给定事件$C_1,C_2$的条件概率。进一步我们有

1. $P(C_2|C_1)\geq 0$
2. $P(C_2\cup C_3\cup\cdots|C_1)=P(C_2|C_1)+P(C_3|C_1)+\cdots$，假设$C_2,C_3,\ldots$是两两互斥的集合。
3. $P(C_1|C_1)=1$

性质(1)(3)很显然；性质(2)的证明读者可以自己尝试一下。这些都是概率集合函数必须满足的条件，$P(C_2|C_1)$是定义在$C_1$子集上的一个概率集合函数，可以称为相对于假设$C_1$的条件概率集合函数；或者给定$C_1$的条件概率集合函数。注意概率集合函数只有在$P(C_1)>0$的时候才有定义。

$\textbf{例1：}$从52张牌中一次性的随机抽5张牌，事件$C_1$表示五张牌中至少有四张是同种花色，事件$C_2$表示五张牌同种花色，那么在事件$C_1$的前提下，事件$C_2$的条件概率是

$$\begin{align*} P(C_2|C_1)=\frac{P(C_2)}{P(C_1)} &=\frac{\tbinom{13}{5}/\tbinom{52}{5}}{[\tbinom{13}{4}\tbinom{39}{1}+\tbinom{13}{5}]/\tbinom{52}{5}}\\ &=\frac{\tbinom{13}{5}}{\tbinom{13}{4}\tbinom{39}{1}+\tbinom{13}{5}}=0.0441 \end{align*}$$

根据条件概率集合函数的定义，我们可以看出

$$P(C_1\cap C_2)=P(C_1)P(C_2|C_1)$$

这个关系常被称为概率的乘法法则，有时候对于某些随机试验，可以假设$P(C_1),P(C_2|C_1)$是已知的，那么$P(C_1\cap C_2)$可以在这个假设下计算出来，为此考虑下面的例2，例3。

$\textbf{例2：}$一个瓶中有八个球，三个红的，五个蓝的。我们随机不放回的抽两个球，我们打算求第一个球是红色时$(C_1)$第二个球是蓝色$(C_2)$的概率，我们可以这么分配概率：

$$P(C_1)=\frac{3}{8},P(C_2|C_1)=\frac{5}{7}$$

那么在假设下，我们有$P(C_1\cap C_2)=\frac{3}{8}\frac{5}{7}=\frac{15}{56}=0.2679$。

$\textbf{例3：}$依然考虑随机抽牌的试验，令$C_1$表示前五张牌中有两张是同种花色，$C_2$表示第六张与那两张同色，因此我们想计算的就是概率$P(C_1\cap C_2)$，

$$P(C_1)=\frac{\tbinom{13}{2}\tbinom{39}{3}}{\tbinom{52}{5}}=0.2743\quad and\quad P(C_2|C_1)=\frac{11}{47}=0.2340$$

所求的概率$P(C_1\cap C_2)$就是这两项之积。

乘法法则可以扩展到是三个或更多的事件。对于三个事件的情况，利用两个事件的乘法法则得：

$$\begin{align*} P(C_1\cap C_2\cap C_3) &=P[(C_1\cap C_2)\cap C_3]\\ &=P(C_1\cap C_2)P(C_3|C_1\cap C_2) \end{align*}$$

但是$P(C_1\cap C_2)=P(C_1)P(C_2|C_1)$，因此假设$P(C_1\cap C_2)>0$，那么

$$P(C_1\cap C_2\cap C_3)=P(C_1)P(C_2|C_1)P(C_3|C_1\cap C_2)$$

这个过程可用于四个或更多的事件，对于$k$个事件的通用公式通过数学归纳法即可得出。

$\textbf{例4：}$依然考虑抽牌的随机试验，每个花色各一个的概率是$(\frac{13}{52})(\frac{13}{51})(\frac{13}{50})(\frac{13}{49})=0.0044$

考虑$k$个互斥的事件$C_1,C_2,\ldots,C_k$，满足$P(C_i)>0,i=1,2,\ldots,k$。假设这些事件组成$\textbf{C}$的一个划分，这里不要求事件$C_1,C_2,\ldots,C_k$等可能的发生，令$C$是另一事件，那么$C$发生且$C_1,C_2,\ldots,C_k$中只有一个发生的概率；即

$$\begin{align*} C &=C\cap*(C_1\cup C_2\cup\cdots C_k)\\ &=(C\cap C_1)\cup(C\cap C_2)\cup\cdots\cup(C\cap C_k) \end{align*}$$

因为$C\cap C_i,i=1,2,\ldots$是互斥的，所以我们有

$$P(C)=P(C\cap C_1)+P(C\cap C_2)+\cdots+P(C\cap C_k)$$

然而，$P(C\cap C_i)=P(C_i)P(C|C_i),i=1,2,\ldots,k$；所以

$$\begin{align*} P(C) &=P(C_1)P(C|C_1)+P(C_2)P(C|C_2)+\cdots+P(C_k)P(C|C_k)\\ &=\sum_{i=1}^kP(C_i)P(C|C_i) \end{align*}$$

这个结果又是称为全概率公式。

假设$P(C)>0$，根据条件概率的定义，我们利用全概率公式可得

$$P(C_j|C)=\frac{P(C_j\cap C)}{P(C)}=\frac{P(C_j)P(C|C_j)}{\sum_{i=1}^kP(C_i)P(C|C_i)}$$

这就是著名的贝叶斯公式。利用此公式我们可以利用$C_1,C_2,\ldots,C_k$以及$C$的条件概率计算给定$C,C_j$的条件概率。