26、Python集成模型：从二分类到多分类问题的解决方案

Python集成模型：从二分类到多分类问题的解决方案

1. 二分类问题中的集成模型

1.1 梯度提升分类器的性能分析

梯度提升（Gradient Boosting）在解决二分类问题时，与随机森林（Random Forest）有相似的流程，但也存在一些差异。梯度提升可能会出现过拟合问题，因此程序会记录AUC的最佳值，并将其存储在列表中以便后续绘制。最终使用最佳版本来生成ROC曲线以及误报、漏报等表格。

梯度提升会运行两次，一次使用普通树，另一次使用随机森林作为基学习器。两种方式都有很好的分类性能，使用随机森林基学习器的版本表现更佳，这与预测鲍鱼年龄的模型有所不同，在该模型中性能没有明显变化。

以下是相关的性能指标示例：

# ('FN = ', 0.063492063492063489, 'TN = ', 0.42857142857142855)
# ('Threshold Value =   ', -1.2965629080181333)
# ('TP = ', 0.53968253968253965, 'FP = ', 0.22222222222222221)
# ('FN = ', 0.0, 'TN = ', 0.23809523809523808)

1.2 性能可视化

• 训练集偏差与AUC曲线 ：图7 - 16展示了训练集的偏差（Deviance）和测试集的AUC随树的数量增加而变化的情况。偏差与概率估计的准确性相关，它反映了梯度提升的训练进展。AUC则显