17、决策树与规则分类：提升性能与规则学习算法解析

决策树与规则分类：提升性能与规则学习算法解析

1. 提升模型性能

在信用评分应用中，当前模型的错误率可能过高，难以应用于实时场景。若模型对每个测试用例都预测为“不违约”，正确率可达 65%，这与当前模型的结果相差不大，但所需工作量却少得多。仅使用 900 个训练示例来预测贷款违约是一个具有挑战性的问题，且模型在识别真正违约的申请人方面表现尤其不佳。不过，有几种简单的方法可以调整 C5.0 算法，从而提高模型的整体性能，并减少代价较高的错误。

2. 提升决策树的准确性

C5.0 算法在 C4.5 算法的基础上增加了自适应提升（adaptive boosting）。该过程会构建多个决策树，然后这些树对每个示例的最佳类别进行投票。提升的理念是，通过组合多个表现较弱的学习器，可以创建一个比单个学习器强大得多的团队。每个模型都有其独特的优缺点，在某些问题上的表现可能更好或更差。因此，结合多个具有互补优缺点的学习器可以显著提高分类器的准确性。

在 R 中，使用 C5.0() 函数添加提升很简单，只需添加一个 trials 参数，该参数表示在提升团队中使用的独立决策树的数量。trials 参数设置了一个上限，如果算法发现额外的试验似乎没有提高准确性，就会停止添加树。通常，我们可以从 10 次试验开始，研究表明这可以将测试数据的错误率降低约 25%。

以下是添加提升的代码示例：

credit_boost10 <- C5.0(default ~ ., data = credit_train,
                       trials = 10)