机器学习相关 概率论重点笔记

A事件发生的概率，记为 $P(A)$或 $Pr(A)$。

1. 联合概率、条件概率、边缘概率

1.1 联合概率 joint probability

联合概率：指两个事件A，B同时发生的概率。记为$P(A,B)$，或$P(AB)$，或$P(A\cap B)$。

当A,B相互独立时，有$P(AB)=P(A)P(B)$

1.2 条件概率 conditional probability

条件概率：B发生的前提下，A发生的概率。记为$P(A|B)$。
条件概率公式：$P(A|B)=\frac{P(AB)}{P(B)}$
当A,B相互独立时，$P(A|B)=P(A)$，即B发不发生，不影响A。
乘法公式：$P(AB)=P(A|B)P(B)$

1.3 边缘概率 marginal probability

边缘概率：指事件A发生的概率。通常可以用全概率公式(见后面解释)来表示：
$$P(A)=\sum _{i}P(A|B_i)P(B_i)$$

完备事件组

设$S$为试验$E$的样本空间，$B_1,B_2,\cdots ,B_n$为$E$的一组事件。若

• $B_i\cap B_j=\varnothing （i\ne j）$；
• $B_1\cup B_2\cup \cdots \cup B_n=S$

则称$B_1,B_2,\cdots ,B_n$为$E$为样本空间$S$的一个完备事件组（划分）。

全概率定理

{ B i } \{B_i\} { Bi​}为一完备事件组，则对该样本空间中的任意事件A有全概率公式：
$$P(A)=\sum _{i}P(A\cap B_i)=\sum _{i}P(A|B_i)P(B_i)$$
全概率公式的作用：把一个问题分解成多个可能更简单的问题来解决。

贝叶斯公式

是一个求条件概率的公式。
$$P(A|B)=\frac{P(AB)}{P(B)}=\frac{乘法公式替换}{全概率公式替换}=\frac{P(B|A)P(A)}{{\sum }_{A_i}P(B|A_i)P(A_i)}$$

2. 常见函数概念

2.1 概念解释

• PDF：常记为$f_X(t)$。概率密度函数（probability density function）, 在数学中，连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。
  常见的连续随机变量分布的PDF函数：均匀分布，指数分布，Gamma分布和正态分布等。

• PMF :也记为$f_X$