8、监督学习模型：梯度提升树、支持向量机与神经网络

监督学习模型：梯度提升树、支持向量机与神经网络

1. 梯度提升决策树

梯度提升决策树是监督学习中最强大且广泛使用的模型之一。不过，它也存在一些缺点，需要仔细调整参数，并且训练时间可能较长。

1.1 优缺点

• 优点 ：和其他基于树的模型一样，该算法在不进行特征缩放的情况下也能很好地工作，并且可以处理二进制和连续特征的混合数据。
• 缺点 ：在处理高维稀疏数据时表现不佳。

1.2 参数

梯度提升树模型的主要参数包括：
| 参数 | 说明 |
| ---- | ---- |
| n_estimators | 树的数量 |
| learning_rate | 控制每棵树纠正前一棵树错误的程度 |
| max_depth | 树的最大深度，通常梯度提升模型的该值较低，常不超过五层分裂 |

n_estimators 和 learning_rate 相互关联，较低的 learning_rate 意味着需要更多的树来构建具有相似复杂度的模型。与随机森林不同，在随机森林中 n_estimators 越高越好，而在梯度提升中增加 n_estimators 会导致模型更复杂，可能会导致过拟合。常见的做法是根据时间和内存预算确定 <