浅梦的学习笔记

Bagging Bagging是Bootstrap AGGregatING的缩写。 Bagging基于自助采样法(bootstrap sampling)。给定包含m个样本的数据集，先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下次采样时该样本仍有可能被选中。这样，经过m次随机采样操作，我们得到含m个样本的采样集，初始训练集中有的样本再采样集里多次出现，有的则从未出现。 采样出...

准备工作： Pyton科学计算环境，推荐直接安装Anaconda选择Py2或者Py3版本都可以（注意选对版本，不要安装成32位的否则会出现“WindowsError:[Error 193] %1 不是有效的 Win32”错误） 如果之前已经安装过了，请确定下你的版本：打开cmd,输入python，确定是64位的 MinGW 之后选择安装路径即可进行安装。 Git Bash 关于Git的安装

本文首先介绍提升树的模型，算法和梯度提升方法。然后介绍GBDT模型的形式和损失函数。

本文首先介绍提升方法的思路和代表性提升方法AdaBoost。然后说明了AdaBoost算法训练误界及在二分类问题上的训练误差界。然后介绍前向分步加法模型。

本文从模型函数形式，树结点划分方法，系统设计三个层面介绍了XGBoost。

本文介绍了LightGBM的若干改进方法。