概率论基础教程第3章条件概率与独立性(一)

第3章 条件概率和独立性

3.1 条件概率

定义

我们从一个直观例子开始:同时掷两枚骰子,样本空间共36种等可能结果。若已知第一枚点数为3,则可能结果变为 (3,1) 到 (3,6) 共6种。此时两枚点数之和为8的概率是1/6,因为只有 (3,5) 满足条件。这一概率是在“第一枚为3”的条件下计算的,称为条件概率。

令 $ E $ 表示“点数之和为8”,$ F $ 表示“第一枚为3”。由于 $ F $ 发生后,样本空间缩小为 $ F $ 中的6个点,而 $ E $ 与 $ F $ 同时发生的结果只有 (3,5),即 $ EF $,因此条件概率应为 $ P(EF)/P(F) $。

由此引出定义:若 $ P(F) > 0 $,则

P(E∣F)=P(EF)P(F) P(E|F) = \frac{P(EF)}{P(F)} P(EF)=P(F)P(EF)

这是条件概率的数学定义。它表明,在 $ F $ 发生的前提下,$ E $ 发生的概率等于 $ EF $ 的概率除以 $ F $ 的概率。

由该定义可得乘法公式:

P(EF)=P(F)P(E∣F) P(EF) = P(F)P(E|F) P(EF)=P(F)P(EF)

此式在计算交事件概率时非常有用。它可以推广到多个事件的情形,称为乘法规则:

P(E1E2⋯En)=P(E1)P(E2∣E1)P(E3∣E1E2)⋯P(En∣E1⋯En−1) P(E_1E_2\cdots E_n) = P(E_1)P(E_2|E_1)P(E_3|E_1E_2)\cdots P(E_n|E_1\cdots E_{n-1}) P(E1E2En)=P(E1)P(E2E1)P(E3E1E2)P(EnE1En1)

证明:将右边展开,

P(E1)⋅P(E1E2)P(E1)⋅P(E1E2E3)P(E1E2)⋯P(E1⋯En)P(E1⋯En−1)=P(E1E2⋯En) P(E_1) \cdot \frac{P(E_1E_2)}{P(E_1)} \cdot \frac{P(E_1E_2E_3)}{P(E_1E_2)} \cdots \frac{P(E_1\cdots E_n)}{P(E_1\cdots E_{n-1})} = P(E_1E_2\cdots E_n) P(E1)P(E1)P(E1E2)P(E1E2)P(E1E2E3)P(E1En1)P(E1En)=P(E1E2En)

分子分母相消即得左边。

例题

例2a:乔伊80%确信钥匙在左或右口袋,左、右各40%。若检查左口袋未找到,则钥匙在右口袋的条件概率为:

令 $ L :钥匙在左口袋,:钥匙在左口袋,:钥匙在左口袋, R $:在右口袋,

P(R∣Lc)=P(RLc)P(Lc)=P(R)1−P(L)=0.40.6=23 P(R|L^c) = \frac{P(RL^c)}{P(L^c)} = \frac{P(R)}{1 - P(L)} = \frac{0.4}{0.6} = \frac{2}{3} P(RLc)=P(Lc)P(RLc)=1P(L)P(R)=0.60.4=32

例2b:抛硬币两次,样本空间 $ {(H,H),(H,T),(T,H),(T,T)} $ 等可能。

(a) 已知第一枚正面,求两枚都正面的概率:

令 $ B = {(H,H)} ,, F = {(H,H),(H,T)} $,

P(B∣F)=P(BF)P(F)=1/42/4=12 P(B|F) = \frac{P(BF)}{P(F)} = \frac{1/4}{2/4} = \frac{1}{2} P(BF)=P(F)P(BF)=2/41/4=21

(b) 已知至少一枚正面,求两枚都正面的概率:

令 $ A = {(H,H),(H,T),(T,H)} $,

P(B∣A)=P(BA)P(A)=1/43/4=13 P(B|A) = \frac{P(BA)}{P(A)} = \frac{1/4}{3/4} = \frac{1}{3} P(BA)=P(A)P(BA)=3/41/4=31

例2c:桥牌中,52张牌均分四家。若南和北共有8张黑桃,则剩余26张牌中有5张黑桃,分给东西两家。求东有其中3张的条件概率:
(53)(2110)(2613)≈0.339 \frac{\binom{5}{3}\binom{21}{10}}{\binom{26}{13}} \approx 0.339 (1326)(35)(1021)0.339

例2d:席琳以掷硬币决定选课,选化学概率 $ 1/2 $。若选化学,获“A”概率 $ 2/3 $。求她选化学且获“A”的概率:

令 $ C :选化学,:选化学,:选化学, A $:获“A”,

P(CA)=P(C)P(A∣C)=12×23=13 P(CA) = P(C)P(A|C) = \frac{1}{2} \times \frac{2}{3} = \frac{1}{3} P(CA)=P(C)P(AC)=21×32=31

例2e:坛中有8红4白球,无放回取两球。

(a) 各球等可能被取:

令 $ R_1, R_2 $ 为第一次、第二次取红球,

P(R1)=812=23,P(R2∣R1)=711 P(R_1) = \frac{8}{12} = \frac{2}{3},\quad P(R_2|R_1) = \frac{7}{11} P(R1)=128=32,P(R2R1)=117

根据原作 https://pan.quark.cn/s/459657bcfd45 的源码改编 Classic-ML-Methods-Algo 引言 建立这个项目,是为了梳理和总结传统机器学习(Machine Learning)方法(methods)或者算法(algo),和各位同仁相互学习交流. 现在的深度学习本质上来自于传统的神经网络模型,很大程度上是传统机器学习的延续,同时也在不少时候需要结合传统方法来实现. 任何机器学习方法基本的流程结构都是通用的;使用的评价方法也基本通用;使用的些数学知识也是通用的. 本文在梳理传统机器学习方法算法的同时也会顺便补充这些流程,数学上的知识以供参考. 机器学习 机器学习是人工智能(Artificial Intelligence)个分支,也是实现人工智能最重要的手段.区别于传统的基于规则(rule-based)的算法,机器学习可以从数据中获取知识,从而实现规定的任务[Ian Goodfellow and Yoshua Bengio and Aaron Courville的Deep Learning].这些知识可以分为四种: 总结(summarization) 预测(prediction) 估计(estimation) 假想验证(hypothesis testing) 机器学习主要关心的是预测[Varian在Big Data : New Tricks for Econometrics],预测的可以是连续性的输出变量,分类,聚类或者物品之间的有趣关联. 机器学习分类 根据数据配置(setting,是否有标签,可以是连续的也可以是离散的)和任务目标,我们可以将机器学习方法分为四种: 无监督(unsupervised) 训练数据没有给定...
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值