1. 引言 AI时代，机器学习算法成为了研究、应用的热点。当前，最火的两类算法莫过于神经网络算法（CNN、RNN、LSTM等）与树形算法（随机森林、GBDT、XGBoost等），树形算法的基础就是决策树。决策树因其易理解、易构建、速度快的特性，被广泛应用于统计学、数据挖掘、机器学习领域。因此，对决策树的学习，是机器学习之路必不可少的一步。 根据处理数据类型的不同，决策树又分为两类：分类决策树与回...

1. 问题描述 ​ 近来, 在python环境下使用xgboost算法作若干的机器学习任务, 在这个过程中也使用了其内置的函数来可视化树的结果, 但对leaf value的值一知半解; 同时, 也遇到过使用xgboost 内置的predict 对测试集进行打分预测, 发现若干样本集的输出分值是一样的. 这个问题该怎么解释呢? 通过翻阅Stack Overflow 上的相关问题, 以及搜索到的gi...

XGBoost Plotting API以及GBDT组合特征实践 写在前面： 最近在深入学习一些树模型相关知识点，打算整理一下。刚好昨晚看到余音大神在Github上分享了一波 MachineLearningTrick，赶紧上车学习一波！大神这波节奏分享了xgboost相关的干货，还有一些内容未分享….总之值得关注！我主要看了：Xgboost的叶子节点位置生成新特征封装的函数。之前就看过相关博文，比...

实际问题中，可直接用于机器学习模型的特征往往并不多。能否从“混乱”的原始log中挖掘到有用的特征，将会决定机器学习模型效果的好坏。引用下面一句流行的话： 特征决定了所有算法效果的上限，而不同的算法只是离这个上限的距离不同而已。 本文中我将介绍Facebook最近发表的利用GBDT模型构造新特征的方法1。 论文的思想很简单，就是先用已有特征训练GBDT模型，然后利用GBDT模型学习到的树来构造...