吴恩达机器学习笔记 二十九 树的增强 XGBoost 极端梯度提升 什么时候使用决策树 决策树和神经网络的比较

增强树：和随机森林类似，但再抽取时每个样本被抽到的概率不是相同的，而是让算法更容易选到使之前训练的树错误分类的样本。这种方式被称为刻意练习(deliberate practice)，相当于把做的不好的部分再拿出来练习一遍。

XGBoost（extreme Gradient Boosting，极端梯度提升） 

1. 一种增强树的开源实现

2. 实施起来快

3. 有一套很好的关于分裂和停止分裂的标准

4. 内置正则化来防止过拟合

5. 在机器学习比赛中赢得很多

用 XGBoost 解决分类和回归问题的代码

决策树和神经网络的比较

决策树（包括树集合）

1. 决策树更适合结构化的数据（类似表格之类的） ；

2. 不建议在非结构化的数据（如图像、音频、文本）上使用决策树；