本文详细介绍了集成学习中的树模型，包括ID3、C4.5和CART的基本树，以及随机森林、AdaBoost、GBDT、XGBoost和LightGBM等集成方法。讨论了各种算法的选择特征准则、优缺点以及集成学习框架的区别和作用，如Bagging（随机森林）降低方差，Boosting（如AdaBoost和GBDT）降低偏差。
可以分为三部分学习树模型：
- 基本树（包括 ID3、C4.5、CART）.
- Random Forest、Adaboost、GBDT
- Xgboost 和 LightGBM。
基本树
选择特征的准则
ID3：信息增益max
C4.5：信息增益比max
CART：基尼指数min
优缺点
ID3
核心思想是奥卡姆剃刀（决策树小优于大）
缺点：
- ID3 没有剪枝策略，容易过拟合；
- 信息增益准则对可取值数目较多的特征有所偏好，类似“编号”的特征其信息增益接近于 1；
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
