概率基础与贝叶斯应用

第2章 概率回顾

2.1. 背景

本章简要复习了概率的基本要素。任何一本优秀的统计学入门教材都可以找到对概率基础更全面的阐述。

我们对大气的不确定性,或对几乎任何其他系统的不确定性,在不同情况下程度各不相同。例如,你无法完全确定明天家中是否会降雨,也无法确定下个月的平均气温会高于还是低于本月的平均气温。但对于这两个问题,你可能对其中一个更有把握。

仅仅说一个事件具有不确定性是不够的,甚至没有提供多少信息。我们面临的问题是如何表达或描述不确定性的程度。一种方法是使用“有可能”、“不太可能”、“可能”或“机会”等定性描述词。然而,通过这些短语传达不确定性存在歧义,并且容易产生不同的解释(Beyth-Marom, 1982;Murphy and Brown,1983;National Research Council, 2006;Wallsten et al., 1986)。例如,图2.1展示了从二十名社会科学研究生中收集到的10个定性不确定性描述词所对应的概率范围的中位数端点。

由于定性描述不确定性存在歧义,通常更倾向于以定量方式表达不确定性,而这通过称为概率的数值来实现。从某种有限的意义上说,概率不过是基于三个被称为概率公理的前提逻辑推导出的抽象数学体系。若非该抽象概念与涉及不确定性的现实问题密切相关,否则这种体系对许多人(或许包括你)来说将毫无意义。在介绍概率公理以及若干重要推论之前,有必要首先定义一些术语。

2.2. 概率要素

2.2.1. 事件

事件是一组、一类或一组可能的不确定结果。事件可分为两种:复合事件可以分解为两个或更多(子)事件,而基本事件则不能。举一个简单的例子,考虑掷一个普通的六面骰子。“出现偶数点数”是一个复合事件,因为当出现两个、四个或六个点时该事件都会发生。“六个点出现”则是一个基本事件。

在掷骰子等简单情况下,通常很容易判断哪些事件是基本事件,哪些是复合事件。但在更一般的情况下,什么是基本事件或复合事件往往取决于具体情境以及进行分析的目的。例如,事件“明天会下雨”可以作为一个基本事件,与基本事件“明天下不会雨”相区分。但如果需要进一步区分降水形式,“降水发生”将被视为一个复合事件,可能由以下三个基本事件组成:“液态降水”、“固态降水”以及“既有液态又有固态降水”。如果我们进一步关注降水量多少,那么这三个事件本身也将被视为复合事件,每个复合事件至少包含两个基本事件。在这种情况下,例如,当“含有至少0.01英寸水当量的固态降水”或“含有少于0.01英寸水当量的固态降水”这两个基本事件中任意一个发生时,复合事件“固态降水”就会发生。

2.2.2. 样本空间

样本空间或事件空间是所有可能基本事件的集合。因此,样本空间代表了所有可能结果或事件的宇宙。等价地,它是最大的可能复合事件。

样本空间中事件之间的关系可以用几何方式表示,这种表示方法称为维恩图。通常将样本空间画成一个矩形,其中的事件用圆形表示,如图2.2a所示。此处样本空间是标记为S的矩形,可能包含明天降水的各种可能结果。在三个圆形的边界内描绘了四个基本事件。“无降水”圆形与其他圆形不重叠,因为在没有降水的情况下(即无降水时),不可能出现液态或固态降水。

“液态降水”和“固态降水”两个圆形之间共同的阴影区域表示“既有液态又有固态降水”这一事件。S在图2.2a中未被圆形包围的部分被解释为代表“空”事件,即不可能发生的事件。

示意图0

几乎确定
很可能
有可能
大有机会
可能 不确定
不太可能
不大可能 可疑 几乎不可能
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0

在维恩图中表示事件时,不一定非要画圆形或想到圆形。图2.2b是使用填满整个样本空间的矩形绘制的等效维恩图S。以这种方式绘制时,很明显S恰好由四个基本事件组成,代表了可能发生的所有结果范围。这种包含所有可能(根据当前所采用的工作定义)基本事件的集合称为互斥且完备(MECE)。互斥意味着这些事件中最多只有一个会发生;完备意味着这些事件中至少有一个会发生。一组MECE事件完全填满了样本空间。

注意 图2.2b 可以通过在矩形右侧添加一条垂直线来区分降水量,从而进行修改。如果这条线一侧的新矩形表示降水量为 0.01英寸 或以上,则另一侧的矩形表示降水量小于 0.01英寸。修改后的维恩图将表示七个互斥且完备事件。

2.2.3. 概率公理

一旦样本空间及其构成的事件被明确定义后,下一步就是为每个事件分配概率。这些规则都逻辑上源于概率的三条公理。虽然公理有正式的数学定义,但它们可以定性地表述如下:

  1. 任何事件的概率都是非负的。
  2. 复合事件S的概率是 1。
  3. 两个互斥事件中任一事件发生的概率等于它们各自概率之和。

2.3. 概率的意义

公理是概率数学的逻辑基础。也就是说,概率的数学性质都可以从公理中推导出来。本章后面将列出其中的一些性质。

然而,这些公理对于概率的实际含义并没有提供太多信息。关于概率的意义存在两种主流观点——频率观点和贝叶斯观点,此外还有其他解释(德埃利亚和拉普赖斯,2005;吉利斯,2000)。也许令人惊讶的是,在统计学领域,关于哪种观点正确的问题一直存在不小的争议。这一问题上的情绪实际上曾如此激烈,以至于某一解释的支持者曾对持不同观点的人发起过人身(言语)攻击!利特尔(2006)对这两种主要观点的优缺点进行了深思熟虑且平衡的评估。

值得强调的是,频率论者和贝叶斯概率的数学是相同的,因为它们都逻辑地源于相同的公理。二者之间的差异完全在于解释。这两种主流的概率解释在大气科学中都被接受并证明是有用的,正如电磁辐射的波粒二象性在物理学领域被接受并具有实用价值一样。

2.3.1. 频率解释

频率解释是概率的主流观点。它在18世纪的发展源于理解偶然性游戏以及优化相关赌博的需求。根据这一观点,一个事件的概率 precisely 就是其长期相对频率。该定义由大数定律加以形式化,该定律指出,随着机会次数的增加,事件{E}的发生次数与{E}出现的机会次数之比将收敛于事件{E}的概率,记为Pr{E}。这一思想可以形式地写为

$$
Pr \left{ E \right} = \lim_{n \to \infty} \frac{a}{n} \quad \text{as} \quad n \to \infty,
$$

其中 a 是发生次数,n 是机会次数(因此 a/n 是相对频率),而 ε 是一个任意小的数。公式 2.1 表明,当事件{E}发生的n个机会已经很多时,相对频率a/n有可能接近Pr{E}。此外,随着n逐渐增大,相对频率与概率更有可能接近。

频率解释是直观合理的且经验上可靠的。它在通过计算历史相对频率来估计气候学概率等应用中非常有用。例如,在过去50年中有 31×50¼15508月的天数。如果在这些日子中,有 487天在某一特定地点发生了降雨,则该地点在8月某天发生降水的气候学概率的一个自然估计值为487/1550¼0.314。

2.3.2. 贝叶斯(主观)解释

严格来说,采用概率的频率观点需要一系列相同的试验。对于利用足够长的历史气象数据序列来估计气候学概率而言,这一要求基本上不会带来问题。然而,在相对频率框架下,思考诸如“你所在的大学或母校的足球队在下一赛季至少赢得一半比赛”这类事件的概率时,则会遇到一些困难。尽管我们可以抽象地想象一个与即将到来的赛季完全相同的假设系列,但这个虚构的足球赛季系列对于实际估计该事件的概率并无帮助。

主观解释认为,概率代表了某个个体对不确定事件发生的信念程度或量化判断。例如,存在现在,天气预报员通常会(而且非常熟练地)对近期日子中降水发生等事件的概率进行评估,这已有很长的历史。如果你的大学或母校是一所足够大的学校,以至于职业赌徒对其橄榄球比赛的结果感兴趣,那么这些结果的概率也会被定期进行主观评估。

两个人可以对同一事件评估出不同的主观概率,而两者都不一定是错误的,这种判断上的差异通常是由于信息和/或经验的不同所致。然而,不同个体对同一事件可能具有不同的主观概率,并不意味着个体可以任意选择数值并称之为概率。为了使量化判断成为合法的主观概率,它必须是一致判断。这意味着,主观概率必须与概率公理保持一致,从而与概率公理所蕴含的概率的数学性质保持一致。

第2章 概率回顾

2.4. 概率的一些性质

维恩图之所以有用,原因之一在于它们能够将概率几何化地表示为面积。这样就可以利用对物理世界中几何关系的熟悉来更好地理解概率这一更抽象的领域。假设图2.2b中矩形的面积根据第二公理为1。第一公理指出,任何面积都不能为负。第三公理指出,不重叠部分的总面积等于各部分面积之和。

本节列出了一些从公理逻辑推导出的概率的数学性质。维恩图为概率提供的几何类比有助于帮助可视化这些性质。

2.4.1. 域、子集、补集和并集

第一公理和第二公理共同表明,任何事件的概率都介于零和一之间(包含端点):

$$
0 \leq \mathrm{Pr}{E} \leq 1 \tag{2.2}
$$

如果 $\mathrm{Pr}{E} = 0$,则该事件不可能发生。如果 $\mathrm{Pr}{E} = 1$,则该事件必然发生。

如果事件 ${E_1}$ 发生时,事件 ${E_2}$ 必然发生,则称 ${E_1}$ 是 ${E_2}$ 的子集。例如,${E_1}$ 和 ${E_2}$ 可能分别表示固态降水的发生和任何形式降水的发生。在这种情况下,第三公理意味着

$$
\mathrm{Pr}{E_1} \leq \mathrm{Pr}{E_2} \tag{2.3}
$$

事件 补集 是指事件${E}$不发生的(通常是复合)事件。例如,在图2.2b中,“液态降水和固态降水”事件的补集是复合事件“无降水,或仅液态降水,或仅冻态降水”。第二和第三公理共同意味着

$$
\mathrm{Pr}{E^C} = 1 - \mathrm{Pr}{E}, \tag{2.4}
$$

其中 ${E^C}$ 表示 ${E}$ 的补集。(一些作者使用上划线作为表示补集的另一种符号。这种上划线的用法与其最常见的统计学含义——表示算术平均值——有很大不同。)

两个事件的 并集 是这两个事件中一个或另一个或两者同时发生的复合事件。在集合表示法中,并集用符号 $[ $ 表示。根据第三公理,可以使用以下方法计算并集的概率

$$
\mathrm{Pr}{E_1 \cup E_2} = \mathrm{Pr}{E_1 \text{ or } E_2 \text{ or both}}
= \mathrm{Pr}{E_1} + \mathrm{Pr}{E_2} - \mathrm{Pr}{E_1 \cap E_2} \tag{2.5}
$$

符号 $\backslash $ 被称为 交集算子 ,且

$$
\mathrm{Pr}{E_1 \cap E_2} = \mathrm{Pr}{E_1, E_2} = \mathrm{Pr}{E_1 \text{ and } E_2} \tag{2.6}
$$

是 ${E_1}$ 和 ${E_2}$ 同时发生的事件。符号 ${E_1,E_2}$ 与 ${E_1 \cap E_2}$ 等价。$\mathrm{Pr}{E_1, E_2}$ 的另一个名称是 ${E_1}$ 和 ${E_2}$ 的 联合概率 。公式 2.5 有时被称为 概率加法法则 。无论 ${E_1}$ 和 ${E_2}$ 是否为互斥事件,该公式均成立。然而,如果两个事件是互斥的,则它们的交集(即它们的联合概率)为零,因为互斥事件不能同时发生。

联合事件的概率 $\mathrm{Pr}{E_1, E_2}$ 在公式 2.5 中被减去,以补偿在将事件 ${E_1}$ 和 ${E_2}$ 的概率相加时该区域被重复计算一次。这一点最容易通过思考如何求得 图2.2a 中两个重叠圆所包围的总面积来理解。图2.2a 中的阴影区域代表交集事件 ${\text{液态降水与固态降水}}$,它同时包含在标有 “液态降水” 和 “固态降水” 的两个圆形区域内。

加法法则,即公式2.5,可以通过将${E_1}$或${E_2}$视为复合事件(即其他事件的并集),并递归应用公式 2.5,推广到三个或更多事件的并集。例如,若${E_2} = {E_3 \cap E_4}$,代入公式2.5并经过一些整理后可得,

$$
\begin{aligned}
\mathrm{Pr}{E_1 \cup E_3 \cup E_4} &= \mathrm{Pr}{E_1} + \mathrm{Pr}{E_3} + \mathrm{Pr}{E_4} \
&\quad - \mathrm{Pr}{E_1 \cap E_3} - \mathrm{Pr}{E_1 \cap E_4} - \mathrm{Pr}{E_3 \cap E_4} \
&\quad + \mathrm{Pr}{E_1 \cap E_3 \cap E_4} \tag{2.7}
\end{aligned}
$$

这一结果从代数上可能难以理解,但从几何上却相当容易可视化。图2.3说明了这种情况。将三个圆形的面积分别相加(第一行中的内容)导致具有两种重叠阴影图案的面积被重复计算,而包含在所有三个圆形中的中心区域被计算了三次。方程 2.7的第二行修正了重复计算的问题,但将中心区域的面积减去了三次。在方程 2.7的第三行中,该区域的面积最终被重新加回一次。

在样本空间中以圆形表示的事件。(b) 以填满空间的矩形表示的相同事件。)

2.4.2. 德摩根定律

通过两个被称为德摩根定律的关系,可以方便地处理涉及并集或交集的补集的概率语句,或涉及并集与补集交集的概率语句。

$$
\mathrm{Pr}{(A \cup B)^C} = \mathrm{Pr}{A^C \cap B^C} \tag{2.8a}
$$

and

$$
\mathrm{Pr}{(A \cap B)^C} = \mathrm{Pr}{A^C \cup B^C} \tag{2.8b}
$$

这些定律中的第一条,即公式2.8a,表达了这样一个事实:两个事件的并集的补集等于这两个事件各自补集的交集。用维恩图的几何术语来说,位于${A}$和${B}$并集之外的事件(左侧)同时位于${A}$和${B}$各自之外(右侧)。德摩根定律中的第二条,即公式2.8b,指出两个事件交集的补集等于这两个事件各自补集的并集。此处用几何术语表示,不在${A}$和${B}$重叠区域内的事件(左侧)是那些要么在${A}$之外,要么在${B}$之外,或同时在两者之外的事件(右侧)。

2.4.3. 条件概率

我们通常关注的是,在某个其他事件已经发生或将要发生的情况下,某一事件的概率。例如,我们可能关心在发生降水的情况下出现冻雨的概率;或者需要知道在飓风附近登陆的情况下,沿海风速超过某一阈值的概率。这些都是条件概率的例子。其中必须“给定”的事件称为条件事件。条件概率的常规表示法使用一条竖线,因此将${E_1}$表示为所关注的事件,${E_2}$表示为条件事件,则条件概率记作

$$
\mathrm{Pr}{E_1 | E_2} = \mathrm{Pr}{E_1 \text{ given that } E_2 \text{ has occurred or will occur}} \tag{2.9}
$$

如果事件 ${E_2}$ 已经发生或将会发生,则 ${E_1}$ 的概率是条件概率 $\mathrm{Pr}{E_1 | E_2}$。如果条件事件没有发生或不会发生,则该条件概率本身对 ${E_1}$ 的概率不提供任何信息。

更正式地,条件概率根据所关注事件与条件事件的交集来定义,依据如下

$$
\mathrm{Pr}{E_1 | E_2} = \frac{\mathrm{Pr}{E_1 \cap E_2}}{\mathrm{Pr}{E_2}}, \tag{2.10}
$$

前提是条件事件的概率不为零。直观上,条件概率与所讨论的两个事件的联合概率 $\mathrm{Pr}{E_1 \cap E_2}$ 相关是有道理的。再次强调,这一点通过维恩图中的面积类比来理解最为直观,如 图2.4所示。我们将${E_1}$的无条件概率理解为样本空间S中由标记为E1的矩形所占据的比例。对${E_2}$进行条件作用意味着我们只关注包含${E_2}$的结果。实际上,我们将S中不属于${E_2}$的部分全部舍弃。这相当于考虑一个新的样本空间S′,它与${E_2}$重合。因此,条件概率$\mathrm{Pr}{E_1 | E_2}$在几何上表示为新样本空间(对应于${E_2}$)的面积中被 ${E_1}$所占据的比例。如果条件事件和所关注的事件互斥,则条件概率显然必须为零,因为它们的联合概率为零。

2.4.4. 独立性

重新排列条件概率的定义,即公式2.10,可得该表达式的另一种形式,称为概率乘法法则:

$$
\mathrm{Pr}{E_1 \cap E_2} = \mathrm{Pr}{E_1 | E_2} \mathrm{Pr}{E_2} = \mathrm{Pr}{E_2 | E_1} \mathrm{Pr}{E_1} \tag{2.11}
$$

如果两个事件的发生或不发生互不影响,则称这两个事件是独立的。例如,如果我们掷一个红骰子和一个白骰子,红骰子出现某个结果的概率不受白骰子结果的影响,反之亦然。这两个骰子的结果是相互独立的。${E_1}$ 和 ${E_2}$ 的独立性意味着 $\mathrm{Pr}{E_1 | E_2} = \mathrm{Pr}{E_1}$ 以及 $\mathrm{Pr}{E_2 | E_1} = \mathrm{Pr}{E_2}$。由于事件的独立性,联合概率的计算变得特别简单,因为此时乘法法则简化为

$$
\mathrm{Pr}{E_1 \cap E_2} = \mathrm{Pr}{E_1} \mathrm{Pr}{E_2}, \quad \text{for } {E_1} \text{ and } {E_2} \text{ independent} \tag{2.12}
$$

方程 2.12可轻松扩展到多个独立事件的联合概率计算,只需将所有独立无条件事件的概率相乘即可。

例2.1 条件相对频率

考虑使用表A.1 中附录A给出的数据来估计气候学(即长期或“总体”)概率。可以计算以其他事件为条件的气候学概率。这类概率有时被称为条件气候学概率,或条件气候态。

假设我们感兴趣的是,在伊萨卡一月份最低温度至少为0°F的条件下,液态当量降水量达到至少0.01英寸的概率估计。从物理上讲,这两个事件可能存在关联,因为极低最低温度通常出现在晴朗的夜晚,而降水发生需要云的存在。这种物理关系使我们预期这两个事件在统计上是相关的(即不独立),并且在不同最低温度条件下,降水的条件概率会彼此不同,也不同于无条件概率。例如,基于对潜在物理过程的理解,我们预计当最低温度在0°F或以上时,降水的概率将大于最低温度低于0°F这一补事件下的条件概率。

为了使用条件相对频率估计这些概率中的第一个,我们只关注伊萨卡最低温度至少为0°F的数据记录。在表A.1中有24天这样的日子。在这24天中,有14天显示有可测降水量(ppt),由此得到估计值 $\mathrm{Pr}{\text{ppt} \geq 0.01\,\text{in.} | T_{\text{min}} \geq 0^\circ\text{F}} = 14/24 \approx 0.58$。对于最低温度低于0°F的七天的降水数据已被忽略。由于这七天中仅有一天记录到可测降水,我们可以估计在最低温度低于0°F这一互补条件事件下发生降水的条件概率为 $\mathrm{Pr}{\text{ppt} \geq 0.01\,\text{in.} | T_{\text{min}} < 0^\circ\text{F}} = 1/7 \approx 0.14$。相应地,无条件降水概率的估计值为 $\mathrm{Pr}{\text{ppt} \geq 0.01\,\text{in.}} = 15/31 \approx 0.48$。

在例2.1 中计算的条件概率估计值之间的差异反映了统计依赖。由于潜在的物理过程已被充分理解,我们不会轻易推测相对较高的最低温度会以某种方式导致降水。相反,温度和降水事件之所以表现出统计关系,是因为它们各自与云具有不同的物理联系。在处理那些物理关系可能未知的统计依赖变量时,必须牢记:统计依赖并不一定意味着存在物理上的因果关系,而可能只是反映了物理数据生成过程中更复杂的相互作用。

例2.2. 持续性作为条件概率

大气变量通常表现出与其自身过去和未来值的统计依赖。在大气科学术语中,这种随时间的依赖通常被称为持续性。持续性可以定义为同一变量的连续值之间或给定事件的连续发生之间的 (正向)统计依赖的存在。正向依赖意味着变量的大值倾向于被相对大的值跟随,而变量的小值倾向于被相对小的值跟随。

通常,持续性的来源是测量间隔短于潜在物理过程的时间尺度(至少其中一个)。因此,气象变量在时间上的统计依赖通常是正的。例如,如果今天的气温高于平均气温,那么明天出现高于平均温度的概率更高。因此,持续性的另一个名称是正序列相关性。当存在这种频繁出现的特征时,它对从大气数据中得出的统计推断具有重要影响,这将在第5章中看到。

考虑利用表A.1 中附录A的少量逐日数据,对伊萨卡降水发生事件的持续性进行刻画。从物理意义上讲,序列相关性将表现为由于与该地点冬季降水相关的中纬度天气尺度波动的典型时间尺度为数天,长于每日观测间隔,因此在这些数据中可以预期这一现象。其统计结果应表现为:报告有可测降水量的日期往往连续出现,无可测降水量的日期也往往连续出现。

为了评估降水事件的序列相关性,有必要估计形如 $\mathrm{Pr}{\text{ppt today} | \text{ppt yesterday}}$ 的条件概率。由于数据集A.1中没有1986年12月31日或1987年2月1日的记录,因此共有30个“昨天/今天”的数据对可供使用。为了估计 $\mathrm{Pr}{\text{ppt today} | \text{ppt yesterday}}$,我们只需统计报告了降水的天数(作为条件作用,即“昨天”事件)后紧接着第二天也报告了降水(作为关注事件,即“今天”)的次数。在估计这种条件概率时,我们并不关心那些未报告降水的天数之后的情况。

排除1月31日,共有14天报告了降水。其中,10天之后是另一个有非零降水量的湿日,而4天之后是干日。因此,条件相对频率估计为 $\mathrm{Pr}{\text{ppt today} | \text{ppt yesterday}} = 10/14 \approx 0.71$。类似地,以补事件(“昨天”无降水)为条件,得到估计值 $\mathrm{Pr}{\text{ppt today} | \text{no ppt yesterday}} = 5/16 \approx 0.31$。这两个条件概率估计值之间的差异证实了这些数据中的序列相关性,并量化了湿日与干日成串出现的趋势。这两个条件概率也构成了一个“条件气候学”。

2.4.5. 全概率定律

有时,由于信息有限,必须间接计算概率。在这种情况下,一个有用的关系是全概率定律。考虑在感兴趣的样本空间上的一组互斥且完备事件${E_i}, i=1,…,I$。图2.5 展示了I=5个事件的这种情况。如果存在另一个定义在该样本空间上的事件${A}$,则其概率可以通过对联合概率求和来计算

$$
\mathrm{Pr}{A} = \sum_{i=1}^{I} \mathrm{Pr}{A \cap E_i} \tag{2.13}
$$

该等式右侧的符号表示对大写西格玛右侧数学模板所定义的各项进行求和,求和范围是索引 $i$ 从 $1$ 到 $I$(包含)的所有整数值。代入概率乘法法则可得

$$
\mathrm{Pr}{A} = \sum_{i=1}^{I} \mathrm{Pr}{A | E_i} \mathrm{Pr}{E_i} \tag{2.14}
$$

如果已知无条件概率 $\mathrm{Pr}{E_i}$ 以及在每个互斥且完备事件 ${E_i}$ 条件下事件 ${A}$ 的条件概率,则可以计算出 ${A}$ 的无条件概率。需要注意的是,只有当事件 ${E_i}$ 构成样本空间的一个互斥且完备的划分时,公式 2.14 才成立。

Example 2.3. 使用全概率定律组合条件概率

例2.2也可以从全概率定律的角度来理解。假设将样本空间划分为仅有的I=2个互斥且完备事件:${E_1}$表示昨天下雨,${E_2} = {E_1^C}$表示昨天下雨未发生。令事件${A}$为今天降水发生。如果数据不可用,我们可以通过全概率定律利用条件概率计算$\mathrm{Pr}{A}$。即,

$$
\begin{aligned}
\mathrm{Pr}{A} &= \mathrm{Pr}{A | E_1} \mathrm{Pr}{E_1} + \mathrm{Pr}{A | E_2} \mathrm{Pr}{E_2} \
&= (10/14)(14/30) + (5/16)(16/30) = 0.50
\end{aligned}
$$

由于附录A中提供了数据,只需简单计数即可验证此结果的正确性。

2.4.6. 贝叶斯定理

贝叶斯定理 是乘法法则和全概率法则的一个有趣结合。在相对频率设定中,贝叶斯定理用于 “反转”条件概率。也就是说,如果已知$\mathrm{Pr}{E_1 | E_2}$,则可以使用贝叶斯定理来计算$\mathrm{Pr}{E_2 | E_1}$。在第6章中发展的贝叶斯框架中,它被用来根据新信息最优地修正或更新主观概率。

再次考虑如图2.5所示的情况,其中存在一组定义好的互斥且完备事件${E_i}$以及另一个事件 ${A}$。利用乘法法则(公式2.11),可以得到${A}$与任意事件${E_i}$的联合概率的两个表达式,

$$
\mathrm{Pr}{A, E_i} = \mathrm{Pr}{A | E_i} \mathrm{Pr}{E_i} = \mathrm{Pr}{E_i | A} \mathrm{Pr}{A} \tag{2.15}
$$

结合等式右边的两项并重新整理可得

$$
\mathrm{Pr}{E_i | A} = \frac{\mathrm{Pr}{A | E_i} \mathrm{Pr}{E_i}}{\mathrm{Pr}{A}} = \frac{\mathrm{Pr}{A | E_i} \mathrm{Pr}{E_i}}{\sum_{j=1}^{J} \mathrm{Pr}{A | E_j} \mathrm{Pr}{E_j}} \tag{2.16}
$$

全概率定律已被用于重写分母。公式2.16是贝叶斯定理的表达式。它可分别适用于每一个互斥且完备事件${E_i}$。但需注意,对于每一个$E_i$,其分母是相同的,因为每次$\mathrm{Pr}{A}$都是通过对所有事件求和得到的,分母中的下标$j$用于索引这些事件。

例2.4 从相对频率角度理解贝叶斯定理

给定最低温度高于或低于0°F时降水发生的条件概率在例2.1中进行了估算。可使用贝叶斯定理计算逆向条件概率,涉及在发生或未发生降水情况下的温度事件。设${E_1}$表示最低温度在0°F及以上,${E_2} = {E_1^C}$为补事件,即最低温度低于0°F。显然,这两个事件构成了样本空间的一个互斥且完备的划分。回顾一下,在31天中有24天报告的最低温度至少为0°F,因此温度事件的无条件气候估计概率为$\mathrm{Pr}{E_1} = 24/31$和$\mathrm{Pr}{E_2} = 7/31$。另外,还记得$\mathrm{Pr}{A | E_1} = 14/24$以及$\mathrm{Pr}{A | E_2} = 1/7$。

公式 2.16可分别应用于两个事件${E_i}$。在每种情况下,分母均为$\mathrm{Pr}{A} = (14/24)(24/31) + (1/7)(7/31) = 15/31$。(这与例2.3中得到的降水概率估计值略有不同,因为在例2.3中无法包含12月31日的数据。)根据贝叶斯定理,已知降水发生条件下最低温度至少为0°F的条件概率为$(14/24)(24/31)/(15/31) = 14/15$。类似地,已知非零降水条件下最低温度低于0°F的条件概率为$(1/7)(7/31)/(15/31) = 1/15$。由于所有数据均可在附录A中获得,因此可通过直接计数验证这些计算结果。

例2.5 贝叶斯定理的主观概率角度

一种与例2.4 中的计算相对应的主观(贝叶斯)概率解释也是可能的。假设需要一份天气预报,指明最低温度至少为0°F的概率。如果没有更复杂的信息可用,则自然会使用该事件的无条件气候学概率$\mathrm{Pr}{E_1} = 24/31$来表示预报员对结果的不确定性或信念程度。在贝叶斯框架中,这种基本信息状态被称为先验概率。然而,假设预报员能够知道当天是否会发生降水。该信息将影响预报员对温度结果的确定性程度。预报员能变得多确定,取决于温度与降水之间关系的强度,这通过给定两种最低温度结果下降水发生的条件概率来表达。在这个例子的记号中,这些条件概率$\mathrm{Pr}{A | E_i}$被称为似然。如果发生降水,预报员会更有把握认为最低温度至少为0°F,其修订后的概率由公式2.16给出为$(14/24)(24/31)/(15/31) = 14/15$。这种根据有关降水发生的附加信息而修改或更新的对极低最低温度不发生的概率判断,称为后验概率。此处后验概率大于24/31 的先验概率。同样地,如果不会发生降水,预报员更有信心认为最低温度将不会达到0°F或更高。请注意,本例与例2.4 之间的差异完全在于解释上,而计算和数值结果是相同的。

2.5. 练习

2.1 在某地点60个冬季的气候记录中,有9个冬季出现了单次风暴降雪超过35厘米的情况(将此类降雪定义为事件“A”),有36个冬季的最低温度低于 -25°C(将此定义为事件“B”)。事件“A”和事件“B”同时发生的冬季有3个。

a. 绘制一个适用于该数据的样本空间的维恩图。
b. 使用集合符号写出35厘米降雪、 -25°C温度或两者同时发生的事件的表达式。估算该复合事件的气候学概率。
c. 使用集合符号写出同时具有35厘米降雪量且温度不低于 -25°C的冬季发生的事件表达式。估算该复合事件的气候学概率。
d. 使用集合符号写出既没有 -25°C温度也没有35厘米降雪量的冬季发生事件的表达式。同样,估算其气候学概率。

2.2 使用表A.1中的1987年1月数据集,定义事件“A”为伊萨卡Tmax>32°F,事件“B”为卡南代瓜Tmax>32°F。
(a) 解释$\mathrm{Pr}(A)$、$\mathrm{Pr}(B)$、$\mathrm{Pr}(A, B)$、$\mathrm{Pr}(A \cup B)$、$\mathrm{Pr}(A | B)$和$\mathrm{Pr}(B | A)$的含义。
(b) 利用数据中的相对频率估计 $\mathrm{Pr}(A)$、 $\mathrm{Pr}(B)$和 $\mathrm{Pr}(A, B)$。
(c) 利用(b)部分的结果,计算 $\mathrm{Pr}(A | B)$。
(d) 事件“A”和“B”是否独立?你是如何判断的?

2.3 再次使用 表A.1中的数据,估算伊萨卡最高气温低于或等于冰点(32°F)的概率,已知前一天的最高气温低于或等于冰点。
a. 考虑温度数据的持续性。
b. 错误地假设每日温度序列是独立的。

2.4 三套雷达系统独立运行,正在搜寻“钩状”回波(与龙卷风相关的雷达特征)。假设每当龙卷风出现时,每套雷达未能探测到该特征的概率为0.05。
a. 绘制适用于本问题的样本空间的维恩图。
b. 龙卷风逃逸所有三套雷达检测的概率是多少?
c. 龙卷风被三套雷达均探测到的概率是多少?

2.5 假设明天早晨(世界协调时12点)至明晚(世界协调时0点)的降水概率(PoP)预报为 0.7,明晚(世界协调时0点)至次日早晨(世界协调时12点)的降水概率(PoP)预报为0.4。
a. 假设这两个时间段内的降水发生相互独立,那么从明天世界协调时12点至次日世界协调时12点这24小时时段内降水发生的概率是多少?
b. 在现实世界中,连续的12小时时间段内的降水发生存在正统计依赖。例如,在第一个时间段发生降水的条件下,第二个时间段 (世界协调时0点至12点)降水的条件概率高于相应的无条件概率。如果考虑这种依赖关系,那么整个24小时时段降水发生的概率相比(a)部分的答案会更大还是更小?请从数学上证明你的答案。

2.6 你所在地区正在通过随机对数量相等的候选风暴进行人工降雨或不进行人工降雨来研究人工降雨对抑制破坏性冰雹的影响。假设已播种的风暴产生破坏性冰雹的概率为0.10,未播种的风暴产生破坏性冰 hail的概率为0.40。如果其中一个候选风暴刚刚产生了破坏性冰雹,那么它是已播种的风暴的概率是多少?

贝叶斯概率习题集 一个袋子中装有5个红球和3个蓝球。随机取出2个球(不放回),求第二个球是红球的概率。某种疾病在人群中的发病率为0.1%。对于患病者,某检测方法的阳性率为99%;对于未患病者,该检测方法的阴性率为98%。若某人检测结果为阳性,求该人患病的概率。工厂有甲、乙两条生产线,甲生产线每天生产产品数量占总产量的60%,乙生产线占40%。甲生产线的产品合格率为98%,乙生产线的产品合格率为95%。若随机抽取一件产品,求:(a) 该产品是合格品的概率(b) 若抽取的产品是合格品,则它来自甲生产线的概率。 阅读详情

相关推荐

图网络算法——概率图介绍与贝叶斯网络

图网络算法——概率图综述 1 概率论回顾 在介绍概率图之前,我们先来回顾一下概率论中的相关的知识。 样本空间(Ω): 样本空间描述的是一个随机试验中所有可能输出的集合。比如我们随机抛了一千次硬币,那么我们就可以获得一千次的结果,这一千个结果就构成了样本空间。样本空间中的每一个结果,我们称之为一个样本点。 随机事件: 在样本空间中,某些样本点组成了一个随机事件,即随机事件是样本空间的一个子集。 随机事件之间可能存在的关系: 包含关系:即A⊂BA⊂BA⊂B,则事件A发生必然会导致事件B发生。 相等关系:即A

hei653779919的博客 3697

人工智能中的概率论基础:贝叶斯定理的应用

在人工智能和机器学习领域,概率论是不可或缺的数学基础之一。它为处理不确定性提供了强大的工具,而贝叶斯定理则是概率论中最为重要和广泛应用的定理之一。贝叶斯定理不仅在理论研究中占据核心地位,还在实际应用中广泛用于模式识别、机器学习、数据挖掘、自然语言处理等领域。本文将深入探讨贝叶斯定理的基本概念、数学推导及其在人工智能中的应用,帮助您更好地理解和掌握这一强大的工具。贝叶斯定理是条件概率的一个重要推论,它描述了在已知事件 B 发生的条件下,事件 A 发生的概率。

2501_91624122的博客 1567

9、概率基础与贝叶斯定理的应用

本文围绕概率基础和贝叶斯定理展开,详细介绍了条件概率的概念及计算方法,并结合加法规则、乘法规则、独立性和互补事件等概率规则,探讨了它们在实际问题中的应用。文章重点介绍了贝叶斯定理的核心思想和公式,并通过多个领域的实际示例,如博客作者判断、Netflix推荐、泰坦尼克号数据分析、医学研究、市场营销、金融风险评估和工业故障诊断等,展示了贝叶斯定理在数据分析和决策制定中的广泛用途。最后,文章总结了贝叶斯定理的重要性,并展望了其在人工智能和大数据时代的发展前景。

z4a5b6的博客 131

先验概率的原理与应用:从贝叶斯基础到实践

在概率论与统计学中,先验概率(Prior Probability)是贝叶斯推理的基石概念。它代表了在考虑新证据之前,基于历史数据或经验知识对事件发生可能性的初始估计。本文将深入探讨先验概率的数学原理,并通过完整的代码示例展示其在实际问题中的应用。

T20151470的博客 1272

10、概率测量与贝叶斯规则:从基础到应用

本文深入探讨了概率测量与贝叶斯规则的基本原理及其应用,涵盖了概率基础、频率主义与贝叶斯方法的区别,并通过抛硬币的实例展示了两种方法的工作机制。文章还详细比较了频率主义和贝叶斯方法在处理实际问题时的不同特点,并结合医疗诊断、质量控制和市场预测等应用场景提出了方法选择建议。通过mermaid流程图展示了在不同条件下如何选择合适的概率方法,为读者提供了全面的概率思维框架和实践指导。

java5的博客 58

5、贝叶斯估计与卡尔曼滤波基础:从条件概率到简单场景应用

本文介绍了贝叶斯估计与卡尔曼滤波的基础理论及其应用。从条件概率和贝叶斯规则的基本概念出发,通过实际例子(如医学诊断)解释了贝叶斯推理的过程。接着将贝叶斯思想扩展到概率分布层面,并引入卡尔曼滤波的关键概念。结合一个简单的直流电机场景,文章详细阐述了卡尔曼滤波中的模型方程、测量方程以及状态估计的预测与更新步骤。最后总结了贝叶斯估计和卡尔曼滤波在多个领域的广泛应用,并展望了其未来的发展方向。

jenkins8butler的博客 143

用Python实战解析朴素贝叶斯:从概率基础到sklearn应用(附完整代码)

本文从联合概率、条件概率等基础概念出发,系统解析了朴素贝叶斯分类器的核心原理与贝叶斯公式。通过Python在鸢尾花数据集上手动实现高斯朴素贝叶斯,并与sklearn的GaussianNB进行对比,详细阐述了模型训练、预测过程及关键参数调优,为机器学习实践提供了从理论到代码的完整指南。

weixin_29294597的博客 412

概率基础与贝叶斯网络的启示

本文深入探讨了概率论的基础知识,包括概率空间、条件概率、独立性和条件独立性以及贝叶斯定理。通过对这些基础概念的分析,我们理解了贝叶斯网络的理论基础,并对如何在人工智能领域应用这些原理进行推理提供了洞见。

weixin_42527589的博客 393

【数学基础:概率论】2.全概率公式与贝叶斯公式及应用&独立性

目录 1.全概率公式与贝叶斯公式 1.1先验概率和后验概率 2.独立性 1.全概率公式与贝叶斯公式 1.1先验概率和后验概率 2.独立性

尊新必威的博客 689

Cherry Studio部署MCP服务报错全记录:从零解决‘Connection closed‘问题

本文详细记录了在Cherry Studio中部署MCP服务时遇到‘Connection closed’报错的完整排查与解决过程。文章从环境依赖(UV、Bun)的安装验证、绝对路径配置、网络镜像源设置,到服务端手动调试与Cherry Studio配置检查,提供了一套系统性的解决方案,帮助开发者彻底解决此类连接问题。

g9h0i1的博客 766

DRAM知识整理系列(三):部分时序参数整理

一、tCL-tRCD-tRP-tRAS(第一时序) 内存是根据行和列寻址的,当请求触发后,最初是tRAS(Active to precharge Delay),预充电后,内存才真正开始初始化RAS(Row Address Strobe)。一旦tRAS激活后,RAS开始进行需要数据的寻址。首先是行地址,然后初始化tRCD(RAS to CAS Delay),周期结束,接着通过CAS(Column Address Strobe)访问所需数据的十六进制地址。其中,从CAS开始到CAS结束,就是CAS延迟(即t

不吃鱼的猫的博客 7万+

贝叶斯定理实战:从概率基础到机器学习应用全解析

条件概率是贝叶斯定理的基础,理解它能帮助我们解决许多实际问题。通过一个简单的生活案例来说明:假设某城市下雨的概率是20%,而人们在下雨时带伞的概率是80%,不下雨时带伞的概率是15%。对于想快速验证想法的开发者,无需配置环境就能完成从理论到demo的全流程,这种轻量化体验让概率模型的探索变得非常高效。平台提供的实时预览功能,可以立即看到参数调整带来的分类边界变化,这种即时反馈对理解贝叶斯决策过程特别有帮助。这种计算方式正是医学检测、金融风控等场景的核心逻辑。边际概率:现象发生的总概率。

WhiteTiger78的博客 339

Conda环境创建报错?教你快速解决Solving environment: failed和ResolvePackageNotFound问题

本文深入解析Conda环境创建中常见的'Solving environment: failed'和'ResolvePackageNotFound'报错原因,并提供从基础到高级的系统化解决方案。涵盖渠道配置、版本通配、环境文件编辑等实用技巧,帮助开发者快速解决conda环境创建问题,提升工作效率。

weixin_28677451的博客 258

贝叶斯定理:从概率基础到机器学习应用

贝叶斯定理是概率论中处理条件概率的核心工具,通过先验概率与似然函数的结合实现信念的动态更新。其数学表达P(A|B)=P(B|A)P(A)/P(B)揭示了证据如何影响概率评估,这种思想在疾病检测、垃圾邮件过滤等场景展现出强大实用性。在机器学习领域,贝叶斯方法衍生出朴素贝叶斯分类器、贝叶斯网络等重要模型,成为处理文本分类和推荐系统的关键技术。理解基础率忽视和独立性假设等常见误区,掌握共轭先验与蒙特卡洛模拟等计算技巧,能够有效提升概率决策质量。贝叶斯思维不仅适用于数据分析,更能帮助克服确认偏误等认知偏差,是培养科

weixin_36444661的博客 199

Redis 可视化工具 RedisInsight 的保姆级安装以及使用(最新)

Redis 可视化工具 RedisInsight 的保姆级安装以及使用(最新)

一名全栈小白的博客 1万+

数字图像处理:直方图匹配或规定化Histogram Matching (Specification)原理及感悟

本文介绍了连续图像和数字图像直方图匹配(直方图规定化)的原理、处理过程,并提供了案例进行了讲解。可以看到,直方图均衡处理是直方图匹配的一个重要桥梁。 最后,对于直方图规定化这个翻译个人觉得很low,个人感觉叫指定直方图更好理解,但Histogram Specification怎么翻译确实不太好把握,因此还是叫Histogram Matching直方图匹配最好。

老猿Python 2882

贝叶斯滤波

贝叶斯滤波1.概率基础新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 1.概率基础 概率论中,假设随机变量为XXX。 当XXX离散时,即XXX存在有限个取值{x1,x2,…,xn}\{x_1,x_2,\ldots,x_n\

weixin_49203045的博客 2065

浅谈银行内部户治理

为避免该问题的发生,对内部户入账类交易,或内部户是可透支的账户(如系统间往来),可考虑通过异步方式更新账户余额(当然,根本上还是要考虑银行业务量的实际,异步消息接口很多时候没有同步接口方便),另外,在进行内部户余额更新时,可以通过定时的借贷方发生额轧差的方式,将多次的锁请求,简化为一次(当然,发生额明细本身在加工账户交易历史时,是不能汇总的)。内部户在银行系统中,属于业务属性较少,实现相对简单,原理也很容易讲清的系统,但管中窥豹,越是基础的东西,越能看出一家银行业务、内控的专业程度。

银行信息系统应用架构详解 795

概率,贝叶斯定理,贝叶斯网络的那点事

0 前言 最近在学习贝叶斯网络,有些概念已经忘记了,索性就从头开始,将概率—>贝叶斯定理—>贝叶斯网络的公式和概念都串起来讲一遍。 1 概率公式 1.1 联合概率 联合概率指的是包含多个条件且所有条件同时成立的概率,记作P(X=a,Y=b)或P(A,B),有的书上也习惯记作P(AB)。注意是所有条件同时成立,同时发生。 1.2 边缘概率(又称先验概率) 边缘概率是与联合概率对应的,P(X=a)或P(Y=b),这类仅与单个随机变量有关的概率称为边缘概率 1.3 联合概率与边缘概率的关系 P(X=a

双鸭山•克里菲斯•北方孤星之堕 1930

YOLO26 改进 | 基于特征蒸馏 | 知识蒸馏 (Response & Feature-based Distillation)

本文系统介绍了YOLO26中的知识蒸馏技术,包含五大核心方法:基于响应的蒸馏(学习分类概率)、基于特征的蒸馏(学习中间层表示)、基于关系的蒸馏(学习特征关联)、通道维度蒸馏(CWD)和前景背景分离蒸馏(FGD)。文章深入解析了每种方法的数学原理与实现细节,并提出动态训练策略,包括一致性匹配和蒸馏权重退火机制。通过教师模型向学生模型传递"暗知识",在保持模型轻量化的同时逼近大模型性能。配套代码支持模块化组合不同蒸馏方法,为YOLO26模型压缩提供了一套完整的解决方案。

weixin_51988935的博客 275

Flink 运维监控与指标采集实战(Prometheus + Grafana 全流程)

Flink运维监控在实时计算场景中至关重要,因为Flink作业需要7×24小时稳定运行,对性能、资源、故障感知和状态变化的实时监控是保障系统稳定的关键。Flink自带的Metrics系统提供了基本的监控能力,但为了更全面的监控,Prometheus+Grafana成为最主流的解决方案。通过配置PrometheusReporter和Grafana仪表盘,可以实现对Flink作业的全面监控,包括CPU、内存、吞吐量、Checkpoint状态、KafkaSink性能等关键指标。此外,自定义指标采集和报警机制的配置

晴天彩虹雨的博客 1369

贝叶斯概率习题解答与解析

这是一个条件概率问题。我们需要计算在第一个球已经取出的条件下,第二个球是红球的概率。设事件A为"第二个球是红球",我们需要计算P(A)。解:总共有8个球,其中5个红球,3个蓝球。根据全概率公式:P(A) = P(第一个是红球) × P(第二个是红球 | 第一个是红球) + P(第一个是蓝球) × P(第二个是红球 | 第一个是蓝球)因此,第二个球是红球的概率为5/8。设事件D表示"患病",事件T表示"检测结果为阳性"。

aichitang2024的博客 1554

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

关于概率的一些事(对于贝叶斯公式的一些初级理解)

关于概率的一些事 条件概率公式: P(A|B)=P(AB)/P(B)- - -111 当A,B事件相互独立时,有P(AB)=P(A)*P(B) P(B|A)=P(AB)/P(A)- - -222 联立111,222式,可得 P(A|B)=P(A)*P(B|A)/P(B)- - -333 333式也叫贝叶斯公式。 其中P(A)也叫先验概率(Prior probability),即在不知道B事件发生前,对A事件的一个主观评估的概率; P(A|B)也叫后验概率(Posterior probability),即在发

WedsonLin的博客 461

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

【概率论】先验概率、联合概率、条件概率、后验概率、全概率、贝叶斯公式

转载于:浅谈全概率公式和贝叶斯公式 先验概率 先验概率是基于背景常识或者历史数据的统计得出的预判概率,一般只包含一个变量,例如P(X),P(Y)。 条件概率 条件概率是表示一个事件发生后另一个事件发生的概率,一般情况下X表示某一个因素,Y表示结果,表示在因素X的条件下Y发生的概率,即由因求果。 后验概率 验概率是由果求因,也就是在知道结果的情况下求原因的概率,例如Y事件是X引起的,那么...

Mr_health的博客 2万+

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

条件概率,全概率公式与贝叶斯公式的推导,理解和应用

全概率公式与贝叶斯公式

Smilecoc的博客 1万+

贝叶斯概率

1)需要已知初始置信度bel(x(0)),因为贝叶斯滤波算法算法是递归进行的:t 时刻的置信度bel(x(t))是由 t-1 时刻的置信度bel(x(t-1))计算得到的。用已经观测到的测量z(t)的概率(似然概率) 乘以 置信度_bel(x(t))(先验概率)得到最后的置信度(先验概率)bel(x(t))x(t)的置信度(后验概率)表示为:bel(x(t)) = P(x(t)|z(1:t),u(1:t))其表示为 _bel(x(t)) = P(x(t)|z(1:t-1),u(1:t))

龙猫的博客 1027
上一篇: 基于MQTT的智能医疗监控
下一篇: 服务器辅助的可撤销IBE
code8
博客等级 码龄17年 65粉丝 1720原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值