kaggle竞赛宝典 | 数据竞赛三剑客变四剑客了~

本文来源公众号“kaggle竞赛宝典”，仅用于学术分享，侵权删，干货满满。

原文链接：数据竞赛三剑客变四剑客了~

简介

早期做数据竞赛的时候，常听大家戏称Catboost，Xgboost和Lightgbm为竞赛三剑客，如今，在诸多的竞赛中，又多了一位HistGradientBoosting，该算法基本也会出现在所有的竞赛问题中。例如：Steel Plate Defect Prediction竞赛中第二名的模型就是用到了HistGradientBoostingClassifier。

关于HistGradientBoosting算法

基于直方图的模型HistGradientBoosting算法相较于GradientBoostingClassifier 和 GradientBoostingRegressor：

• 模型训练速度会快几个数量级，尤其是在样本数量超过数万个样本时。

• 支持缺失值。

• 支持样本加权；

HistGradientBoosting算法首先将输入样本 X 划分为整数值的箱（通常为 256 个箱），这极大地减少了需要考虑的分割点数量，并允许算法在构建树时利用基于整数的数据结构（直方图），而不是依赖排序的连续值。

相关代码