weixin_45699092的博客

梯度提升算法的核心思想：使用前一个模型的残差作为下一个模型的目标。总而言之，梯度提升从一个用于预测的弱模型开始。这种模型的目标是问题的期望输出。在训练这样的模型之后，计算它的残差。如果残差不为零，则创建另一个弱模型来修复前一个模型的弱点。但是这种新模型的目标不是期望的输出，而是先前模型的残差。也就是说，如果给定样本的期望输出是 T，那么第一个模型的目标就是 T。第一个模型训练之后，会产生残差集R。要创建的新模型的目标将设置为R，而不是T。这是因为新模型填补了以前模型的空白。