概率论基础之一：事件的概率

第1章 组合分析

1.1 计数法则

计数基本法则：有两个试验，试验1有m种可能发生的结果，而对于试验1的每一个结果，试验2有n种可能发生的结果，则对两个试验来说，一共有m*n种可能结果。

计数法则推广：一共有k个试验，第一个试验有$n_1$种可能结果；对于第一个试验的每一种结果，第二个试验有$n_2$种可能结果；对应于前两个试验的每一种试验结果，第三个试验有$n_3$种可能结果；等等，则这r个试验一种有$n_1 n_2 \dots n_k$种可能结果。

示例：一个句子有3个多义词，每个词都有2种不同的含义，在不考虑上下文的语义情况下，这个句子共有2*2*2=8种不同理解的方式。

1.2 排列与组合

排列计数：按任意顺序来排列n个不同元素，则所有可能的排列方法的种类
为$P_n^n$

组合计数：从n个不同的元素中取出m个组成一组，则所有可能的取法种类为$C_n^m$，注意m个元素与顺序无关。

示例：有6个字符PPPEER进行排列，共有多少种排列方法。
首先，如果字符是不同的，比如编号为P1 P2 P3 E1 E2 R1，那么排列数为$6!$
其次，如果认为相同的字符无区别，则这是一个分步组合问题，第一步，为R选择一个位置，第二步为两个E选择两个位置，第三步为3个P选择位置，因此不同方法数为$C_6^1C_5^2C_3^3=60$

记号： $C_n^m=\frac{P_n^m}{m!}=\frac{n!}{(n-m)!m!}$

1.3 多项式系数

如果$n_1+n_2+...+n_r=n$，定义$C_n^{n_1,n_2,...,n_r} = \frac{n!}{n_1!n_2!...n_r!}$，其表示n个不同元素分成大小分别为n1,n2,…,nr的r组的方法，也称其为多项式系数。

多项式定理:

$$(x_1+x_2...+x_r)^n=\sum_{(n_1...n_r):n_1+n_2+...+n_r=n} C_n^{n_1,n_2,...,n_r}x_1^{n_1}x_2^{n_2}...x_r^{n_r}$$

当r=2时，有二项式定理

$$(x+y)^n=\sum_{k=0}^nC_n^kx^ky^{n-k}$$

第2章 概率公理化

2.1 样本空间与事件

假设某种实验的结果是不可预测的，但所有可能结果的集合是已知的，称所有结果的集合为此类试验的样本空间S，样本空间中任一子集E称为事件，即$E \subset S$。如果试验结果包含在E中，则称为E发生。
例如，对于抛硬币的实验，样本空间S={正面，反面}，事件E={正面}，E表示硬币为正面朝上

对于同一个样本空间S的任两个事件E和F，新的事件$E \cup F$称为E和F的并，表示事件只要E和F中任一事件发生。

$E \cap F$表示E和F中事件同时发生，如果$E \cap F$为空集，则称E和F是不相容的。
一个事件的补事件 记作$E^c$，表示定义在S中但不包含在E里的所有结果构成的事件。

2.2 概率论公理

古典概率：对于样本空间S里的事件E，记c为n次重复试验中事件E发生的次数，则E发生的概率

$$P(E)=\lim_{n\to\infty} \frac{c}{n}$$

概率公理化：满足以下三条公理的P(E)称为事件E的概率
公理1： $0 \le P(E) \le 1$
公理2： $P(E)=1$
公理3：对任一系列互不相容的事件，有

$$P(\bigcup_{i=1}^\infty E_i) = \sum_{i=1}^{\infty} P(E_i)$$

2.3 若干推论

• $P(E^c)=1-P(E)$
• 如果$E \subset F，则P(E) \le P(F)$
• $P(E \cup F) = P(E)+P(F)-P(EF)$
• $$P(E_1 \cup E_2 ...\cup E_n)= \sum P(E_i) + \sum P(E_iE_j) + \sum P(E_iE_jE_k)-...+(-1)^{n+1}P(E_1E_2...E_n)$$

2.4 等可能结果的样本空间

如果样本空间所有结果发生的可能性相同，因此有：

$$P(E)=\frac{E中的结果数}{S中结果数}$$

第3章 条件概率与独立事件

3.1 条件概率

条件概率定义：假定F发生的情况下E发生的概率为$P(E|F)$，如果P(F)>0，则有$P(E|F)=\frac{P(EF)}{P(F)}$
示例：抛硬币两次，两次均为正面的概率为1/4。有一次为正面条件下两次均为正面的概率为1/3

乘法规则：$P(E_1E_2...E_n)=P(E_1)P(E_2|E_1)P(E_3|E_1E_2)...P(E_n|E_1...E_{n-1})$

示例：假设3个词构成了一个句子S=(今天,布,下雪)，为了计算这个句子的概率，可以由条件概率的乘法规则进行计算P(S)=P(今天)P(布|今天)P(下雪|今天布)。在拼音输入法，或者语音识别中，常需要计算这种句子的概率以判断哪个句子是最有可能的结果。

3.2 Bayes公式

全概公式：

$$P(E)=P(EF) + P(EF^c) = P(E|F)P(F) + P(E|F^c)P(F^c)$$
全概公式说明事件E发生的概率，等于在F发生条件下E的条件概率与在F不发生条件下E发生的条件概率的加权平均，权重是作为条件的事件发生的概率。下面是由条件概率与全概率公式推导出来贝叶斯公式可。

Bayes公式

$$P(F_j|E)=\frac{P(E|F_j)P(E_j)}{P(E)}=\frac{P(E|F_j)P(F_j)}{\sum_{i=1}^nP(E|F_i)P(F_i)}$$

如果将公式的E看作结果，F看作导致E的各种原因，公式就是在已知结果时，计算在给定结果下，是某种原因的可能性大小。

如果将公式写为：

$$P(H|D)=\frac{P(D|H)P(H)}{P(D)}$$

• $P(H)$称为先验概率，即在没有数据前某一假设的概率
• $P(H|D)$称为后验概率，即在补充某种数据证据后，要计算的假设的概率
• $P(D|H)$称为似然度，是在假设下得到的某种统计数据
• $P(D)$称为标准化常量,是无任何假设下，得到某种统计数据的概率

示例：一项医学检查有95%的概率检测出某种疾病，但也有0.1%的概率将健康人检测出得病，统计知得此病的人口占比为0.5%。若某人化验结果呈阳性，问此人确实患病的概率？

假设\类别	先验概率P(H)	似然度P(D|H)	后验概率(P(H|D))
A 此人患病	0.005	0.95	$\frac{0.95*0.005}{0.95*0.005+0.995*0.001}=0.827$
B 此人健康	0.995	0.001	0.173

|

示例：现有5种骰子，分别为4面，6面，8面，16面，20面，现在从中选一个并抛出了点6，问哪种骰子被选中的概率最大。
P(X面的骰子)=1/5为先验概率，P(点6|X面的骰子)=1/X，为似然度，这样很容易通过上例的表格法得到P(X面的骰子|点6)最大的为6面骰子。

事件的优势：称$\frac{P(A)}{P(A^c)}=\frac{P(A)}{1-P(A)}$为事件A的优势，它告诉我们事件发生的可能性是不发生的可能性的倍数。

3.3 独立事件

独立定义：如果两个事件E和F，若$P(EF)=P(E)P(F)$，则称其为独立的。
也就是说$P(E|F)=P(E)$，F的发生与否，都不影响E发生的概率。

推论：如果E和F独立，则E与F的补集也独立。