梯度提升分类器的python实现

梯度提升分类器的实现

1、简介

GradientBoostingClassifier（梯度提升分类器）是通过逐步（串行） 地构建多个弱学习器（通常是简单的决策树），每一棵新树都致力于修正前一棵树所犯的错误，最终将这些树的结果组合起来，形成一个强大的、高精度的预测模型。

2、核心思想：从错误中学习

想象一下你在备考一门考试：

1. 你先做一套模拟题（第一次预测）。
2. 你对答案，找出做错的题目（计算误差/损失）。
3. 你不再泛泛地复习所有内容，而是重点关注那些做错的题目，专门针对这些错题进行学习和练习（训练一个新的弱学习器来拟合残差）。
4. 你再做一套新题，这次你的分数是原来的分数加上你从错题中学到的东西（更新模型：新预测 = 旧预测 + 新学到的修正）。
5. 你重复步骤2-4多次，每一次都专注于上一次剩下的错误，你的成绩就会逐步提高。

GradientBoostingClassifier 做的就是这件事，但它用数学（梯度下降）来精确地指导如何“专注于错误”。

3、工作原理详解（三步迭代过程）

假设我们的目标是预测一个人是否喜欢电脑游戏。