u010569893的博客

gbdt的技术总结

xgboost模型输出的解释 【目标】 掌握xgboost中，predict方法对应不同的参数，输出的含义 掌握xgboost中，dump出model的树结构的含义 【数据集与代码】 使用经典的鸢尾花的数据来说明.，这是一个二分类的问题，判断是不是鸢尾花, 这里只取前100行的数据，并对训练集和测试集进行了切分。默认有25个样本作测试集。 代码如下： iris = datasets.load_...

xgboost算法原理 1.xgboost的介绍 xgboost的全称（extreme gradient boosting)极限梯度提升，经常被用在一些比赛中，其效果显著。它是大规模并行boosted tree 的工具，是目前最快最好的开源Boosted tree工具包。xgboost所应用的算法是gbdt(gradient boosting decision tree)的改进，既可以用于分类也可...

xgboost算法调参 XGBoost的作者把所有的参数分成了三类： 一、 通用参数：宏观函数控制。 1）、booster[默认gbtree] 选择每次迭代的模型，有两种选择： gbtree：基于树的模型 gbliner：线性模型 2）、silent[默认0] 当这个参数值为1时，静默模式开启，不会输出任何信息。 一般这个参数就保持默认的0，因为这样能帮我们更好地理解模型。 3）、nthread[...

xgboost算法原理： boosting方法的回归思想 boosting方法：把多个弱学习器的结果结合起来得到最终结果 回归思想：把每个弱学习器的输出结果当做连续值，这样，可以对每个弱学习器的结果进行累加处理，且能够更好的利用损失函数来优化模型 集成学习法加法模型 小结：Boosting方法把每个弱学习器的输出看成是连续值，使得损失函数是个连续值，因此可以通过弱学习器的迭代达到优化模型的目的，这...

xgboost算法调参 #coding:utf-8 from __future__ import division import sys import pandas as pd import xgboost as xgb from numpy import loadtxt from xgboost import XGBClassifier from sklearn.model_selection ...

xgboost调参：最佳迭代次数 说明： xgboost有一个很有用的函数“cv”，这个函数可以在每一次迭代中使用交叉验证，并返回理想的决策树数量。 #coding:utf-8 from __future__ import division import sys import pandas as pd import xgboost as xgb from numpy import loadtxt ...

逻辑回归算法LR 逻辑回归相信很多人都很熟悉，这个算法科能不如随机森林、SVM、神经网络、GBDT等分类算法那么复杂那么高深，但是绝不能小瞧这个算法，因为这个这个算法有几个优点是那几个算法无法达到的，一是逻辑回归算法已经比较成熟，预测较为准确；二是模型求出的系数易于理解，便于解释，不属于黑盒模型，尤其在金融业，80%的预测是使用逻辑回归；三是结果是概率值，可以做ranking model; 四是训...