[机器学习][基础算法]贝叶斯

贝叶斯决策理论

贝叶斯决策论是概率框架下实施决策的基本方法，对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

贝叶斯公式

$$P(c|x)=\frac{P(x,c)}{P(x)}=\frac{P(c)P(x|c)}{P(x)}$$

其中P(c)是“先验概率”；

P(x|c)是样本x对于类标记c的类条件概率，或称为“似然”；

P(x)是用于归一化的“证据”因子。

极大似然估计

最大似然估计是一种“模型已定，参数未知”的方法
最大似然法估计参数的过程，一般分为以下四个步骤：
1.写出似然函数；
2.对似然函数取对数，并整理；
3.求导数，令偏导数为0，得到似然方程组；
4.解似然方程组，得到所有参数即为所求。

朴素贝叶斯分类器

朴素贝叶斯分类器采用了 “属性条件独立性假设” :对已知类别，假设所有属性相互独立。换言之，假设每个属性独立的对分类结果发生影响相互独立。
回答西瓜的例子就可以认为｛色泽 根蒂 敲声 纹理 脐部 触感｝这些属性对西瓜是好还是坏的结果所产生的影响相互独立。
基于条件独立性假设，对于多个属性的后验概率可以写成：
$$P(c|\mathbf{x})=\frac{P(C)P(\mathbf{x}|c)}{P(\mathbf{x})}=\frac{P(c)}{P(\mathbf{x})}\prod _{i=1}^{d}P(x_i|c)$$

d为属性数目，$x_i$是x在第i个属性上取值。
对于所有的类别来说P(x)相同，基于极大似然的贝叶斯判定准则有朴素贝叶斯的表达式：
$$h_{nb}$$