概率&期望学习笔记

概率

定义

$\Omega$ ：样本空间，随机实验得到的所有样本。

$A_{1...n}$ ：发生的事件（即为 $\Omega$ 的子集）。

$P(A)$：事件 $A$ 发生的概率。

$P(A+B)$： 事件 $A$ 或 $B$ 发生的概率（也可以表示为 $P(A\bigcup B)$）。

$P(AB)$：事件 $A$ 和 $B$ 同时发生的概率 （也可以表示为 $P(A\bigcap B)$）。

关系

1.对立

若事件 $A$ 和事件 $B$ 对立，则不发生 $A$ 时，一定发生 $B$，即：

$P(A)=1-P(B)$

2.互斥
若事件 $A$ 和事件 $B$ 互斥，那么：

$P(A\bigcup B)=P(A)+P(B)$

注意：对立的两个事件一定互斥，而互斥的两个事件不一定对立。

3.独立

定义：若 $P(AB)=P(A)P(B)$ ，则我们称事件 $A$ 和事件 $B$ 相互独立。

因为独立是由 $P(AB)=P(A)P(B)$ 定义而来，所以 $P(AB)=P(A)P(B)$ 为 $A$ 和 $B$ 相互独立的充要条件。

两两独立：是指一个空间中任意两个事件都独立。

相互独立：是指一个空间中任意事件都是独立的。

注意：两两独立和相互独立是不一样的，比如相互独立满足: $P(ABC)=P(A)P(B)P(C)$ ，而两两独立不一定满足。

公式

1.相加：

$P(A\bigcup B)=P(A)+P(B)-P(A\bigcap B)$

用容斥原理即可解决。

2.条件概率
我们称 $P(A|B)$ 表示在事件 $B$ 发生的前提下事件 $A$ 发生的概率，那么：

$P(AB)=P(A|B)P(B)$

转换一下形式，就可以变为：

$P(A|B)=\frac{P(AB)}{P(B)}$

我们可以发现：

$P(AB)=P(A|B)P(B)=P(B|A)P(A)$

即：

$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$

这就是贝叶斯定理。

3.全概率公式
若$A_1\bigcup A_2\bigcup A_3...A_n=\Omega$ ，且 $\forall i,j,A_i\bigcap A_j=\varnothing$，那么：

$P(B)=\sum P(B|A_i)P(A_i)$

证明：
$P(B)=P(\Omega B)=P(B\sum A_i)=P(\sum B{A}_i)=\sum P(B{A}_i)=\sum P(B|A_i)P(A_i)$

期望

定义

我们假设一个事件 $A$ 得到权值的概率乘以此权值的总和为该事件的期望，可以表示为:

$E(A)={\sum }_{\alpha }\alpha \ast P(A=\alpha )$

连续性的就不表示了（主要是不会）。

公式

1.和
有两个任意事件 $A$ 和 $B$ 那么有：

$E(A+B)=E(A)+E(B)$

证明：
$E(A+B)={\sum }_{\alpha }\alpha \ast P(A=\alpha )+{\sum }_{\beta }\beta \ast P(B=\beta )=E(A)+E(B)$

2.事件积
有两个独立事件 $A$ 和 $B$ ，那么有：

$E(AB)=E(A)E(B)$

证明：
$E(AB)={\sum }_{\alpha }{\sum }_{\beta }(\alpha \ast \beta )\ast P(A=\alpha ,B=\beta )={\sum }_{\alpha }\alpha \ast P(A=\alpha )\ast {\sum }_{\beta }\beta \ast P(B=\beta )=E(A)E(B)$

3.事件与常数积
若 $X$ 为事件，$C$ 为常数，那么：

$E(CX)=C\ast E(X)$

证明：
$E(CX)={\sum }_{\alpha }C\ast \alpha \ast P(X=\alpha )=C\ast {\sum }_{\alpha }\alpha \ast P(X=\alpha )=CE(X)$

4.全期望公式
定义:设 $E(A|B)$ 表示在满足 $B$ 的前提下 $A$ 的期望，那么：

$E(A|B)={\sum }_{\alpha }\alpha \ast P(A=\alpha |B)$

那么全期望公式的推导（其中 $A$ 满足全概率公式中的前提条件）：

$$\begin{gathered} E(B)=\sum _{\alpha }\alpha \ast P(B=\alpha ) \\ =\sum _{\alpha }\alpha \ast \sum _{\beta }P(B=\alpha |A=\beta )\ast P(A=\beta ) \\ =\sum _{\beta }P(A=\beta )\ast E(B|A=\beta ) \end{gathered}$$