21、朴素贝叶斯分类器：原理、应用与实践

朴素贝叶斯分类器：原理、应用与实践

1. 引言

朴素贝叶斯方法以托马斯·贝叶斯牧师（1702 - 1761）命名。为了理解朴素贝叶斯分类器，我们先来看完整的贝叶斯分类器。其基本原理如下：
- 对于每个待分类的记录：
1. 找出所有具有相同预测变量特征（即预测变量值相同）的其他记录。
2. 确定这些记录所属的类别，并找出最普遍的类别。
3. 将该类别分配给新记录。

也可以调整方法，回答“属于感兴趣类别的倾向是什么”，而不是“哪个类别最有可能”。获取类别概率后，可以使用滑动阈值来对记录进行分类，即使某个类别不是该记录最可能的类别。

阈值概率方法步骤：

1. 为感兴趣的类别设定一个阈值概率，高于该概率则认为记录属于该类别。
2. 找出所有与新记录具有相同预测变量特征的训练记录。
3. 确定这些记录属于感兴趣类别的概率。
4. 如果该概率高于阈值概率，则将新记录分配给感兴趣的类别。

这两种方法都涉及条件概率的概念，即事件 A 在事件 B 发生的条件下发生的概率，记为 P(A|B)。在分类记录时，我们计算记录属于每个类别的概率，然后将记录分类到概率最高的类别，或者使用阈值概率来决定是否将其分配给感兴趣的类别。

需要注意的是，贝叶斯分类器仅适用于分类预测变量。如果使用数值预测变量，多个记录在这些数值预测变量上具有相同值的可能性非常小，因此数值预测变量必须进行分箱并转换为分类预测变量。

2. 示例 1：预测欺诈性财务报告

一家会计公司有许多大公司客户，每个客户都会向公司提交