- 博客(3)
- 收藏
- 关注
RSS订阅原创 【无标题】
LGB中先对数据水平切分，每个worker上的数据先建立起局部的直方图，然后合并成全局的直方图，采用直方图相减的方式，先计算样本量少的节点的样本索引，然后直接相减得到另一子节点的样本索引，这个直方图算法使得worker间的通信成本降低一倍，因为只用通信以此样本量少的节点。原因就是，一棵树中每个结点在分裂时，寻找的是某个特征的最佳分裂点（特征值），完全可以不考虑存在特征值缺失的样本，也就是说，如果某些样本缺失的特征值缺失，对寻找最佳分割点的影响不是很大。
2024-07-24 09:02:02
1413
1
原创 XGBoost的目标函数推导和分裂增益计算
1.XGBoost简介XGBoost是一种基于GBDT优化的工程化实现，是由n个基模型组成的一个加法模型，它的基本类器可以是树模型，也可以是线性分类器，本文以树模型进行推导。1.1XGBoost的目标函数直接上公式：XGBoost的目标函数由模型的损失函数和抑制模型复杂度的正则项组成，其中模型的损失函数由真实值(y)和预测值进行表示，n表示样本的数量，对于预测值，我们可以用如下的公式进行表示：模型复杂度是将全部t棵树的复杂度进行求和，训练中当前模型的复杂度如下表示：该公式表示为当前模型的复
2021-07-23 16:06:18
3738
原创 逻辑回归原理理解及公式推导
1、算法介绍1.1 逻辑回归分布1.2 逻辑回归1.3 损失函数2、模型细节2.1 为什么适合离散特征2.2 为什么不用平方误差3、常见面试题
2021-07-13 14:57:20
4053
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人