[数理知识]贝叶斯公式和最大似然估计笔记

---

最大似然估计学习笔记

贝叶斯定理及最大(极大)似然估计($maximum-likelihood$)是机器学习的数理基础。

---

① 条件概率

定义1 若A、B是独立事件，即AB事件相互独立，则有：
$$P(AB)=P(A)P(B)$$

定义2 若A、B为事件且事件A为正概率，在事件A发生的条件下事件B发生的条件概率为：$$P(B|A)=\frac{P(AB)}{P(A)}$$

公式1 (乘法公式)设$A_1、A_2....A_n$为事件且均为正概率，则有
$$P(A_1{A}_2...A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)...P(A_n|A_1{A}_2...A_n)$$

公式2 (全概率公式)若$B_1、B_2....B_n$均为正概率事件且两两不相容，即$B_i{B}_j=\varnothing (i≠j;i,j=1,2,...n)$，又有${\bigcup }_{i=1}^n{B}_i=\Omega$，其中$\Omega$为样本空间，则称$B_n$为该样本空间中的划分。对于样本空间内的随机事件$A$则有
$$P(A)=$$