【机器学习】贝叶斯分类器

一看到贝叶斯，就想起了概率论与数理统计，emmm，很不喜欢概率论，然而又不得不学(╥╯^╰╥)

【贝叶斯公式】

不管怎么样，复习贝叶斯公式是关键。
通常把某事件$Y$的发生概率叫做实验前概率，又叫先验概率，记作$P(Y)$，若事件$X$和$Y$有某种关系，即$Y$和$X$不是互相独立的，那么$X$发生后，$Y$发生的概率被叫做条件概率或者实验后概率，又叫后验概率，记作$P(Y|X)$
　　　　　　　　$P(Y|X)=\frac{P(YX)}{P(X)}$（条件概率公式）
若$X_1、X_2、...X_n$这n个事件相互独立，即当且仅当$X_i$中任意一个发生时$Y$才发生，则：
$P(Y)=P(X_1)P(Y|X_1)+P(X_2)P(Y|X_2)+...+P(X_n)P(Y|X_n)$$=\sum\limits_{i=1}^nP(X_i)P(Y|X_i)$ 　　(全概率公式)　　　　　　　
又因为$P(Y|X)P(X)=P(X|Y)P(Y)$　　(乘法公式)
所以$P(X_k|Y)=\frac{P(Y|X_k)P(X_k)}{P(Y)}$
将$P(Y)=\sum\limits_{i=1}^nP(X_i)P(Y|X_i)$带入上式，可得：
$P(X_k|Y)=\frac{P(Y|X_k)P(X_k)}{\sum\limits_{i=1}^nP(X_i)P(Y|X_i)}$

【条件独立性】

举个《数据挖掘导论》上的例子，一个人的手臂长短和他的阅读能力之间的关系。我们可能会发现手臂较长的人阅读能力也较强，这种关系可以用另一个原因去解释，那就是年龄，小孩子的手臂较短，且相较于成年人，阅读能力也较弱。当我们固定年龄这一因素后，就会发现手臂长短和阅读能力之间的关系就消失了，因此可以得出结论，年龄一定时，手臂长短和阅读能力条件独立。
我们在朴素贝叶斯中会用到这一性质，即$x_i^{(1)},x_i^{(2)},...x_i^{(n)}$之间条件独立，对于样本$x_i$来说，它的分类为$c_k$的条件概率为：
P(Xi=xi|Y=ck)=P(X(1)i=x(1)i|Y=ck)P(X(2)i=x(2)i|Y=ck)...P(X(n)i=x(n)