1.1 概率的定义
一个事件的概率就是这个事件在整个无限增大试验次数中的相对频率。
1.2 概率的公理化定义
设随机事件的样本空间为Ω,Ω的一个子集叫事件,对于Ω中的每一个事件A,都有实函数Pr(A),满足:
- 非负性: Pr(A) ≥ 0 (Pr(A) ≤ 1)
- 规范性: Pr(Ω) = 1
- 可数可加性:对于可数个两两互斥事件AiA_{i}Ai,∑i=1∞Pr(Ai)=Pr(⋃i=1∞Ai)\sum_{i=1}^{\infty}Pr(A_{i}) = Pr(\bigcup_{i=1}^{\infty}A_{i})∑i=1∞Pr(Ai)=Pr(⋃i=1∞Ai)
1.3 概率的乘法规则
1)事件A与B独立:Pr(A∩B)=Pr(A)×Pr(B)Pr(A\cap B) = Pr(A) \times Pr(B)Pr(A∩B)=Pr(A)×Pr(B)
2) 事件A与B不独立:Pr(A∩B)≠Pr(A)×Pr(B)Pr(A\cap B) \neq Pr(A) \times Pr(B)Pr(A∩B)̸=Pr(A)×Pr(B)
1.4 概率的加法规则
1)如果事件A与B互不相容:Pr(A∪B)=Pr(A)+Pr(B)Pr(A\cup B) = Pr(A) + Pr(B)Pr(A∪B)=Pr(A)+Pr(B)
2)任意事件A与B:
Pr(A∪B)=Pr(A)+Pr(B)−Pr(A∩B)Pr(A\cup B) = Pr(A) + Pr(B) - Pr(A\cap B)Pr(A∪B)=Pr(A)+Pr(B)−Pr(A∩B)
Pr(A∩B)=Pr(A)+Pr(B)−Pr(A∪B)Pr(A\cap B) = Pr(A) + Pr(B) - Pr(A\cup B)Pr(A∩B)=Pr(A)+Pr(B)−Pr(A∪B)
Note: 两事件独立和互不相容是两回事,独立是指Pr(A∩B)=Pr(A)×Pr(B)Pr(A\cap B) = Pr(A) \times Pr(B)Pr(A∩B)=Pr(A)×Pr(B),互不相容指Pr(A∩B)=0Pr(A\cap B) = 0Pr(A∩B)=0
3)拓展到任意多个事件(容斥原理,Inclusion-exclusion principle)
Pr(A∪B∪C)=Pr(A)+Pr(B)+Pr(C)−Pr(A∩B)−Pr(A∩C)−Pr(B∩C)+Pr(A∩B∩C)Pr(A\cup B\cup C) = Pr(A) + Pr(B) + Pr(C) - Pr(A\cap B) - Pr(A\cap C) - Pr(B\cap C) + Pr(A\cap B\cap C)Pr(A∪B∪C)=Pr(A)+Pr(B)+Pr(C)−Pr(A∩B)−Pr(A∩C)−Pr(B∩C)+Pr(A∩B∩C)
Pr(⋃i=1nAi)=∑i=1nPr(Ai)−∑i<jPr(Ai∩Aj)+∑i<j<kPr(Ai∩Aj∩Ak)−...+(−1)n−1Pr(⋂i=1nAi)Pr(\bigcup_{i=1}^{n}A_{i}) = \sum_{i=1}^{n}Pr(A_{i}) - \sum_{i<j}Pr(A_{i}\cap A_{j}) + \sum_{i<j<k}Pr(A_{i}\cap A_{j}\cap A_{k}) - ... + (-1)^{n-1}Pr(\bigcap_{i=1}^{n}A_{i})Pr(⋃i=1nAi)=∑i=1nPr(Ai)−∑i<jPr(Ai∩Aj)+∑i<j<kPr(Ai∩Aj∩Ak)−...+(−1)n−1Pr(⋂i=1nAi)
Pr(A∩B∩C)=Pr(A)+Pr(B)+Pr(C)−Pr(A∪B)−Pr(A∪C)−Pr(B∪C)+Pr(A∪B∪C)Pr(A\cap B\cap C) = Pr(A) + Pr(B) + Pr(C) - Pr(A\cup B) - Pr(A\cup C) - Pr(B\cup C) + Pr(A\cup B\cup C)Pr(A∩B∩C)=Pr(A)+Pr(B)+Pr(C)−Pr(A∪B)−Pr(A∪C)−Pr(B∪C)+Pr(A∪B∪C)
Pr(⋂i=1nAi)=∑i=1nPr(Ai)−∑i<jPr(Ai∪Aj)+∑i<j<kPr(Ai∪Aj∪Ak)−...+(−1)n−1Pr(⋃i=1nAi)Pr(\bigcap_{i=1}^{n}A_{i}) = \sum_{i=1}^{n}Pr(A_{i}) - \sum_{i<j}Pr(A_{i}\cup A_{j}) + \sum_{i<j<k}Pr(A_{i}\cup A_{j}\cup A_{k}) - ... + (-1)^{n-1}Pr(\bigcup_{i=1}^{n}A_{i})Pr(⋂i=1nAi)=∑i=1nPr(Ai)−∑i<jPr(Ai∪Aj)+∑i<j<kPr(Ai∪Aj∪Ak)−...+(−1)n−1Pr(⋃i=1nAi)
1.5 全概率法则
如果A1...AkA_{1}...A_{k}A1...Ak是彼此不相容且完备,则B的无条件概率能写成给定AiA_{i}Ai下B的条件概率的加权平均:
Pr(B)=∑i=1kPr(B∣Ai)Pr(Ai)Pr(B) = \sum_{i=1}^{k} Pr(B|A_{i})Pr(A_{i})Pr(B)=∑i=1kPr(B∣Ai)Pr(Ai)
Pr(A1∩A2∩...∩Ak)=Pr(A1)×Pr(A2∣A1)×Pr(A3∣A1∩A2)×...×Pr(Ak∣Ak−1∩...∩A1)Pr(A_{1}\cap A_{2}\cap ...\cap A_{k}) = Pr(A_{1})\times Pr(A_{2}|A_{1})\times Pr(A_{3}|A_{1}\cap A_{2})\times ...\times Pr(A_{k}|A_{k-1}\cap ...\cap A_{1})Pr(A1∩A2∩...∩Ak)=Pr(A1)×Pr(A2∣A1)×Pr(A3∣A1∩A2)×...×Pr(Ak∣Ak−1∩...∩A1)
1.6 贝叶斯法则(Bayes)
记A1,A2,...,AkA_{1},A_{2},...,A_{k}A1,A2,...,Ak是彼此不相容且完备的疾病状态,意即至少有一种疾病会发生且不会同时发生两种疾病。记B是一组症状。则:
Pr(Ai∣B)=Pr(B∣Ai)×Pr(Ai)/∑i=1kPr(B∣Ai)Pr(Ai)Pr(A_{i}|B) = Pr(B|A_{i})\times Pr(A_{i})/\sum_{i=1}^{k}Pr(B|A_{i})Pr(A_{i})Pr(Ai∣B)=Pr(B∣Ai)×Pr(Ai)/∑i=1kPr(B∣Ai)Pr(Ai)