数据分析面试题（1~10）

1、XGBoost原理介绍一下？

①首先，XGBoost是集成算法之一，它用多个弱学习器去生成一个强学习器。XGBoost基于梯度提升框架实现，沿着梯度负方向更新模型参数，使损失函数达到最小化。（梯度提升框架）

②其次，XGBoost的目标函数由损失函数和正则化项组成。使用二阶泰勒公式去近似目标函数，这样的好处就是可以将所有自定义损失写成只关于节点值的式子，再去优化这个参数，并且更精确。目标函数的优化以叶子节点为单位，而不是树，这是因为树是阶跃的，不适合前项梯度优化。（目标函数）

③最后，XGBoost的基学习器是一棵棵回归树，利用贪心算法去构建树，贪心算法就是分步+贪婪的思想。每一步对应一个结点的分类，每一步取增益最大的操作叫做贪婪。（回归树）

2、GBDT原理介绍一下？

①首先，GBDT基于梯度提升框架实现，沿着梯度负方向更新模型参数，使损失函数达到最小化。它用多个弱学习器去生成一个强学习器。（梯度提升框架）

②其次，使用回归树作为基学习器，用于预测连续性的目标变量。在每一轮迭代中，GBDT训练一个新的回归树来拟合前一轮的残差（预测值与真实值之间的差异）。（残差学习）

3、AdaBoost原理介绍一下？

①首先，AdaBoost是一种迭代的集成学习方法，主要用于分类任务，它通过加权多个弱分类器的预测结果来构建一个强分类器，在训练过程中，会调整每个样本的权重，增加被错误分类的样本的权重，减少被正确分类的样本的权重。（迭代思想）

②其次，最终的强分类器通过对所有弱分类器进行加权投票得到，权重由每个弱分类的误差率决定。误差率越小的分类器在最终分类器中的权重越大。（加权投票）

4、boosting和bagging的区别？