13、机器学习中的分类算法：朴素贝叶斯与决策树

机器学习中的分类算法：朴素贝叶斯与决策树

1. 朴素贝叶斯在短信分类中的应用

在短信分类任务中，我们使用朴素贝叶斯算法对 1390 条短信进行分类。结果显示，仅有 36 条短信（占比 2.6%）被错误分类，其中 6 条正常短信被误判为垃圾短信，30 条垃圾短信被误判为正常短信。考虑到投入的精力较少，这样的性能表现相当出色，这也体现了朴素贝叶斯成为文本分类标准算法的原因，它开箱即用的效果令人惊喜。

然而，6 条正常短信被误判为垃圾短信可能会对过滤算法的部署造成重大问题，因为这可能导致用户错过重要短信。因此，我们需要研究是否可以对模型进行微调以提高性能。

1.1 改进模型性能

在训练模型时，我们没有为拉普拉斯估计器设置值，这使得在训练数据中未出现在垃圾短信或正常短信中的单词在分类过程中拥有绝对话语权。例如，“ringtone”这个词仅在训练数据的垃圾短信中出现过，但不能因此将包含该词的每条短信都分类为垃圾短信。

我们可以按照以下步骤改进模型：
1. 构建一个新的朴素贝叶斯模型，并设置 laplace = 1 ：

sms_classifier2 <- naiveBayes(sms_train, sms_train_labels,
    laplace = 1)

2. 进行预测：

sms_test_pred2 <- predict(sms_classifier2, sms