《统计学习方法》——朴素贝叶斯

《统计学习方法》——朴素贝叶斯

简介

朴素贝叶斯法是机遇贝叶斯定理与特征条件独立假设的分类方法。
对于给定的训练集，首先机遇特征条件独立假设输入输出的联合概率分布；然后根据此模型，对于给定的输入x，利用贝叶斯定理求出后验概率的最大输出的y。

插一句

在了解朴素贝叶斯之前，我们首先需要了解贝叶斯定理。

贝叶斯定理

$$P(A_i|B)=\frac{P(B|A_i)P(A_i)}{{\sum }_{j}P(B|A_i)P(A_i)}$$

4.1 朴素贝叶斯的学习与分类

4.1.1 基本方法

训练数据集T。
朴素贝叶斯通过训练数据计算先验概率分布和条件概率分布来学习联合概率分布函数。
这边直接给出最终的表示形式
$$y=\arg \underset{c_k}{\max }P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$

4.2 朴素贝叶斯的参数估计

4.2.1 极大似然估计

这一部分略去。

学习与分类算法

输入：训练数据T
输出：实例x的分类

1. 计算现眼吗概率和条件概率
2. 对于给定的实例x，计算：
   $$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
3. 确定x的类为：使得上述值最大的y。