一些机器学习相关的数学知识

概率论

1、频率与概率的区别

2、条件概率：
$$P(A|B)=\frac{P(AB)}{P(B)}$$

P(AB)表示A、B同时发生的概率

3、乘法公式（由条件概率推导）：
$$P(AB)=P(A|B)P(B)$$

更一般的有：
$$P(ABC...Z)=P(A|BC...Z)P(B|C...Z)P(C|D...Z)...P(Y|Z)P(Z)$$

条件概率的乘法公式：
$$P(AB|C)=P(A|BC)P(B|C)$$

证明过程：
$$P(AB|C)=P(ABC)/P(C)=P(A|BC)P(B|C)P(C)/P(C)=P(A|BC)P(B|C)$$

4、P(AUB) = P(A) + P(B) - P(AB)

若A、B无交集，则P(AUB) = P(A) + P(B)

5、全概率

6、贝叶斯公式，已知P(A|B)，求P(B|A)：

$$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$$

7、独立事件
$$P(AB)=P(A)P(B)$$

8、大数定理的实践意义：当重复实验次数足够大时，事件的频率可以代替事件的概率。这被称为频率的稳定性。

9、中心极限定理：在相当一般的条件下，当独立随机变量的个数不断增加时，其和的分布趋于正态分布。实际中，我们所考虑的随机变量可以表示成很多的独立随机变量之和，例如一个城市的耗电量是大量用户耗电量的总和。这就是为什么正态分布在概率论中占有重要地位的一个基本原因。

10、马尔可夫链:在已知“现在”的情况下，“未来”不依赖于“过去”。

几个重要概念：初始态，状态转移概率矩阵，终极状态概率预测

伯努利分布（Bernoulli Distribution）

0-1分布，成功为1，失败为0。

概率质量函数为：
$$f(x)=p^x(1-p{)}^{1-x}=\{\begin{array}{rlr}p& & ifx=1\\ 1-p& & ifx=0\\ 0& & else\end{array}$$

二项分布（Binomial Distribution）

二项分布是n重伯努利试验成功次数的离散概率分布，其典型例子是掷硬币。很显然，伯努利分布是二项分布在n=1时的特例。

概率质量函数为：
$$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$$

X表示成功次数，p为每次成功的概率，n表示n重伯努利试验。

多项分布（Multinomial Distribution）

多项分布是二项分布的推广，二项分布规定每次试验的结果只有两个（0和1），多项分布则允许有多个试验结果，其典型例子是掷骰子。

高斯分布（正态分布）