浅梦的学习笔记

在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。 其主要优点是模型具有可读性，分类速度快。 学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。 预测时，对新的数据，利用决策树模型进行分类。 决策树学习通常包括3个步骤：特征选择，决策树生成和决策树的修剪。决策树模型与学习决策树与if-else

Bagging Bagging是Bootstrap AGGregatING的缩写。 Bagging基于自助采样法(bootstrap sampling)。给定包含m个样本的数据集，先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下次采样时该样本仍有可能被选中。这样，经过m次随机采样操作，我们得到含m个样本的采样集，初始训练集中有的样本再采样集里多次出现，有的则从未出现。 采样出...

本文首先介绍提升树的模型，算法和梯度提升方法。然后介绍GBDT模型的形式和损失函数。

本文从模型函数形式，树结点划分方法，系统设计三个层面介绍了XGBoost。

本文介绍了LightGBM的若干改进方法。