概率基础Day9-优快云博客

本文链接：https://blog.youkuaiyun.com/KeKe_L/article/details/142827473

1.事件定义

某个试验或观察可能产生的所有结果或结果的集合，用大写字母表示（A，B，C……）。它可以是多个样本点，也可以是整个样本空间（它本身是样本空间的一个子集）。

1.1基本事件

基本事件为试验中不可再进行分割的最简单的事件，每个基本事件代表单一一个结果。（例如：一个人的性别（男、女）；扔硬币的结果（正面、反面））

1.2复合事件

由多个基本事件组合成的事件，复合事件是多个可能结果的集合。（例如：下两个进门的人的性别（男男、男女、女女）；扔骰子奇数（1，3，5））。

1.3必然事件

一定会发生的事件成为必然事件（扔骰子的点数在1~6之间）。

1.4不可能事件

一定不会发生的事件（扔骰子的点数为7）。

1.5样本空间

所有试验结果的集合，用Ω表示（扔骰子点数Ω={1，2，3，4，5，6}）。

1.6样本点

指样本空间的每一个元素（每一个可能的结果）用ω表示（扔骰子的点数样本点为1/2/3/4/5/6）。

2.事件之间的关系

事件之间的关系包括：包含关系、并集、交集、差集、互斥事件、对立事件。

互斥事件：事件A和事件B不同时发生。若AB互斥，则AB为空集（扔骰子，点数为1和点数为2这两个事件为互斥）。
对立事件：事件A发生的时候事件B必不发生。若AB对立，则A和B的并集为Ω，AB为空集。

*对立事件一定是互斥事件

*互斥事件适用于多个样本点的样本空间，对立事件用于两个样本点的样本空间。

*互斥事件的两个事件不能同时发生或都不发生，对立事件必有一个发生。

2.1完整事件组

样本空间内的事件两两互斥（互斥性），所有事件的并集是整个样本空间，必有一个事件发生（完整性）。

3.运算

3.1交换律

A∪B=B∪A

A∩B=B∩A

3.2结合律

(A∪B)∪C=A∪(B∪C)

(A∩B)∩C=A∩(B∩C)

3.3分配律

A∪(B∩C)=(A∪B)∩(A∪C)

A∩(B∪C)=(A∩B)∪(A∩C)

3.4对偶率

$(\overline{A\cup B})=\overline{A}\cap \overline{B}$

$(\overline{A\cap B})=\overline{A}\cup\overline{B}$

4.概率

$P(A)=\frac{B}{Z}$ 其中B为事件A发生的样本数，Z是样本空间的总样本数

4.1排列（不重复排列）

从n个数据选出r个数据排列（r≤n） $P(n,r)=\frac{n!}{(n-r)!}$

如果 r=n，即从 n 个元素中选择 n 个元素进行全排列，排列数为 n!。
如果 r=0，即从 n 个元素中选择 0 个元素进行排列，排列数为 1，因为空集的排列只有一种。
如果 r>n，排列数为 0，因为不可能从 n 个元素中选择超过 n 个元素。

4.2组合

从n个元素中选r个进行组合（r≤n），r个元素的顺序不重要

$C(n,r)=\binom{n}{r}=\frac{P(n,r)}{r!}=\frac{n!}{r!(n-r)!}$

对称性：C(n,r)=C(n,n−r)
边界条件：C(n,0)=C(n,n)=1
当 r>n 时，C(n,r)=0

4.3几何概型

将概率问题转移到几何图形的面积、体积、长度等比值上。

事件 A 对应的几何区域的度量为 m(A)，样本空间 Ω 的度量为 m(Ω)，则 A 的概率 P(A)为：

$P(A)=\frac{m(A)}{m(\Omega )}$

4.4频率

频率是一个经验概念，它通过实际观察或实验来确定。频率是某个事件在一系列重复实验中发生的次数与总实验次数之比。频率的值可以是任何非负实数，包括0（事件一次也没发生）和任意正数（事件多次发生）。频率是通过实际计数得到的，如果一个事件发生了 m 次，在 n次独立的重复实验中，其频率为 mn。频率是随机的，它随着实验次数的增加而波动，但根据大数定律，当实验次数足够多时，频率会趋近于概率。

概率与频率的关系

大数定律：随着实验次数的增加，事件发生的频率趋近于其概率。
长期稳定性：在大量重复实验中，频率的稳定性可以作为概率的一个估计。
经验估计：在没有理论模型的情况下，可以通过频率来估计概率。

4.5基本性质（公理化）

非负性：对于任意事件 A，有 P(A)≥0。
规范性：必然事件的概率为1，即 P(Ω)=1。
可加性：对于互斥事件 A 和 B，有 P(A+B)=P(A)+P(B)。
$P(\overline{A})=1-P(A)$
$P(\phi )=0$
$P(A-B)=P(A)-P(AB)$
$A\supset B,P(A-B)=P(A)-P(B),P(A)\geq P(B)$
$P(A+B)=P(A)+P(B)-P(AB)$

注意：若AB互斥则AB为空集，P(AB)=0，同理 $P(A+B+C)=P(A)+P(B)+P(C)+P(ABC)-P(AB)-P(AC)-P(BC)$ P(ABC)=P(AB)=P(AC)=P(BC)=0

4.6条件概率

在某一事件发生的前提下，发生了A事件。条件概率通常表示为 P(A∣B)，读作“在事件 B 发生的条件下，事件 A 发生的概率”。

定义

设Ω为样本空间， A和 B 是两个事件，且 P(B)>0。事件 A 在事件 B 发生的条件下的条件概率 P(A∣B) 定义为：

$P(A\vert B)=\frac{P(A\cap B)}{P(B)}=\frac{P(AB)}{P(B)}$

P(A)：无条件概率，样本空间为Ω P(A|B)：条件概率，样本空间不再是Ω，而是B或者 $\Omega_{B}$ 。

基本性质

非负性：对于任意事件 A和B，有 P(A|B)≥0。

规范性： P(Ω|B)=1。

可加性：对于互斥事件。

$P(A_{1}+A_{2}+...+A_{n}\vert B)=P(A_{1}\vert B)+P(A_{2}\vert B)+...+P(A_{n}\vert B)$

乘法公式

$P(AB)=P(B)\cdot P(A\vert B)$

事件 A 和事件 B 同时发生的概率等于事件 B 发生的概率乘以在 B 发生的条件下 A 发生的概率。

同理A、B、C：

$P(ABC)=P(A)\cdot P(B\vert A)\cdot P(C\vert AB)$

第一步A发生的概率，第二步在A发生的前提下B的概率，第三步在AB发生的前提下C的概率。

4.7全概率公式

发生B的概率

$P(B)=P(B\vert A_{1})\cdot P(A_{1})+P(B\vert A_{2})\cdot P(A_{2})...P(B\vert A_{n})\cdot P(A_{n})=\sum_{i=1}^{n}P(A_{i})\cdot P(B\vert A_{i})$

4.8贝叶斯公式

定义

如果事件 B1,B2,...,Bn是样本空间 Ω 的一个完备事件组，即这些事件两两互斥且它们的并集是整个样本空间，那么对于任意事件 A，贝叶斯公式可以表示为：

$P(B_{i}\vert A)=\frac{P(A\vert B_{i})\cdot P(B_{i})}{P(A)}=\frac{P(AB_{i})}{P(A)}$

其中：

P(Bi∣A) 是在事件 A 发生的条件下事件 Bi发生的条件概率(后验概率)。
P(A∣Bi)是在事件 Bi发生的条件下事件 A 发生的条件概率(似然度)。
P(Bi)是事件 Bi发生的边缘概率(先验概率)。
P(A)是事件 A 发生的边缘概率(先验概率)，可以通过全概率公式计算得出：

$P(A)=\sum i=lnP(A\vert B_{i})\cdot P(B_{i})$

4.9事件独立性

如果两个事件是独立的，那么一个事件的发生不会影响另一个事件发生的概率。

条件概率与独立性如果事件 A 和事件 B 是独立的，那么事件 A 在事件 B 发生的条件下的条件概率 P(A∣B)等于事件 A 的先验概率 P(A)：

$P(A\vert B)=P(A)$

同理：

$P(B\vert A)=P(B)$

由条件概率公式可知：

$P(A\vert B)=\frac{P(AB)}{P(B)}=P(A)\Rightarrow P(AB)=P(A)\cdot P(B)$

定义

设 A和 B 是两个事件。如果满足以下条件，则称事件 A 和事件 B 是独立的：

$P(AB)=P(A)\cdot P(B)$

其中：

P(AB)是事件 A 和事件 B 同时发生的概率（联合概率）。
P(A)是事件 A 发生的概率。
P(B) 是事件 B 发生的概率。

独立性的性质

对称性：如果 A 和 B 独立，那么 B 和 A 也独立。
传递性：如果 A 与 B 独立，且 B 与 C 独立，那么 A 与 C 独立（仅当这些事件的联合概率分布是乘性的）。
零概率事件：任何事件与零概率事件(P(A)=0)总是独立的。
对立事件：如果 A 与 B 独立，那么 A 与其对立事件 $\overline B$ 也独立。

定理

1.P(A)>0，P(B)>0，A、B独立的充分必要条件是P(AB)=P(A)⋅P(B)

2.P(A)>0，P(B)>0，互不相容和独立不会同时出现。

证明：

如果A、B互不相容则P(AB)=0,而P(A)P(B)>0，所以A、B不独立

如果A、B独立则P(AB)=P(A)P(B)>0,所以P(AB)>0，从而A、B步互不相容。

4.10伯努利模型

前置概念

1. 伯努利试验：伯努利试验是一种特殊类型的随机试验，其结果只有两种可能：成功或失败。伯努利试验的结果是二元的，通常用1表示成功，用0表示失败。

2. n重伯努利试验： n重伯努利试验是指伯努利试验重复进行n次，每次试验都是独立的。在n重伯努利试验中，每次试验的成功概率相同，通常用p表示，失败概率为1-p。

定义

设试验成功的概率为 p(0<p<1), 失败的概率为 1−p，如果在n重伯努利实验中，成功k次的概率参数为 p 的伯努利分布。伯努利分布的概率质量函数（PMF）为：

$P_{n}(k)=C_{n}^{k}P^k(1-\rho )^{n-k}$

其中，k 是成功的次数， $C_{n}^k$ 是组合数，表示从n次试验中选择k次成功的不同方式。

该公式也叫二项概念式，用二项式展开为：

$(a+b)^n=c_{n}^na^n+c_{n}^{n-1}a^{n-1}b+c_{n}^{n-2}a^{n-2}b^2+...c_{n}^{0}b^n$

5.随机变量

5.1定义

随机变量是一个从样本空间（所有可能结果的集合）到实数集的函数。样本空间中的每个结果都对应于随机变量的一个值。随机变量的值可以是离散的，也可以是连续的。随机变量通常用大写字母表示，如 X、Y 或 Z。

随机变量和事件的联系

定义事件：事件可以定义为随机变量取特定值的集合。一般用{X=?}表示。例如，如果随机变量 X 表示掷骰子的结果，那么事件 "掷得奇数" 可以表示为 {X=1} 或 {X=3}或 {X=5}。

使用随机变量描述事件： 随机变量的值可以定义复杂的事件。

例如，事件 "掷骰子的结果大于4" 可以表示为 {X>4}，其中 X 是随机变量。例如，掷硬币的结果为正面、反面，在数学中不方便描述，可以将正面映射为数字1，反面映射为0，那么事件"掷出正面"可以表示为{X=1}，事件"掷出反面"可以表示为{X=0}。

概率分布： 随机变量的概率分布描述了它取每个可能值的概率。这个分布可以用来计算事件的概率。在随机变量表示的事件前加上P来表示：P{X=?}或者P(X=?)。

例如，随机变量 X 的概率质量函数（PMF）或概率密度函数（PDF）可以用来计算 P(X=k) 或 P(a<X<b)。

5.2离散型随机变量及其概率分布

离散型随机变量的特点：

1. 可数性：随机变量的取值是可数的，即有限个或可数无限个。

2. 离散性：取值之间有“间隔”，不是连续变化的。

3. 概率分布：每个取值都有一个特定的概率，且所有取值的概率之和等于1。

离散型随机变量的概率分布： 离散型随机变量的概率分布通常由概率质量函数（Probability Mass Function, PMF）描述。PMF 定义了随机变量每个可能取值的概率。

质量函数（PMF）： 对于离散型随机变量 X，其概率质量函数为 $P(X=x))$ ，其中 x* 是 X 可能取的值。PMF 满足以下条件： 1. 非负性：对于所有的 x，有 P(X=x)≥0。 2. 归一性：所有可能取值的概率之和等于1，即 $\sum_{x}^{}P(X=x)=1$ 。