机器学习 | GBDT

一.基本原理

通过多轮迭代，每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练，弱分类器一般会选择cart回归树

核心：每一棵树都建立在之前所学的所有树的绝对和残差，这个残差就是一个加预测值后的真实值的累加量

二.优缺点

优点

• 预测阶段的计算速度快，树与树之间可并行化计算
• 在分布稠密的数据集上，泛化能力和表达能力都很好，这使得GBDT在Kaggle的众多竞赛中，经常名列榜首
• 采用决策树作为弱分类器使得GBDT模型具有较好的解释性和鲁棒性，能够自动发现特征间的高阶关系
• 可以灵活处理各种类型的数据，包括连续值和离散值
• 使用一些比较strong的损失函数，比如Huber损失函数和Quantile损失函数，对异常数值的鲁棒性非常强
• 相对于SVM来说，在相对较少的调参时间下，预测的准确度较高

缺点

• GBDT在高维稀疏的数据集上，表现不如支持向量机或者神经网络
• GBDT在处理文本分类特征问题上，相对其他模型的优势不如它在处理数值特征时明显
• 训练过程需要串行训练，只能在决策树内部采用一些局部并行的手段提高训练速度
• 由于弱学习器之间存在依赖关系，难以并行训练数据

三.适用场景

• 可以用于筛选特征
• 几乎可用于所有的回归问题
• 可以用于二分类问题

四.推导