机器学习（xgboost）

一、XGBoost是使用梯度提升框架实现的高效、灵活、可移植的机器学习库，全称是eXtreme Gradient Boosting，是GBDT（GBM）的一个C++实现，它将树的生成并行完成，从而提高学习速度。
二、XGBoost与GDBT的区别
1.XGBoost生成CART树考虑了树的复杂度，GDBT未考虑，GDBT在树的剪枝步骤中考虑了树的复杂度。
2. XGBoost是拟合上一轮损失函数的二阶导展开，GDBT是拟合上一轮损失函数的一阶导展开，因此，XGBoost的准确性更高，且满足相同的训练效果，需要的迭代次数更少。
3. XGBoost与GDBT都是逐次迭代来提高模型性能，但是XGBoost在选取最佳切分点时可以开启多线程进行，大大提高了运行速度。
三、XGBoost的原理
https://baijiahao.baidu.com/s?id=1620689507114988717&wfr=spider&for=pc
四、python API
1.安装xgboost
安装：先在网址https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost 中下载whl文件，注意一定要下载跟自己当前安装Python版本一致的whl文件

2.代码：

import pandas as pd
from xgboo