【机器学习】集成学习(三)----前向分步算法、提升树与GBDT

对于前一篇的AdaBoost算法我们其实可以这样理解，模型是加法模型、损失函数为指数函数、学习算法为前向分步算法时的二类分类学习方法。其实加法模型就是基分类器的线性组合啦，那么前向分步算法是什么呢？

【加法模型】

我们将$f(x)=\sum\limits_{m=1}^Mβ_mb(x;γ_m)$作为加法模型，其中$b(x;γ_m)$为基函数，$γ_m$为基函数的参数，$β_m$为基函数的系数，$β_m$表示着对应的基函数在加法模型$f(x)$中的重要性。

【前向分步算法】

基本思想：

$\color{red}{一般来说：}$
在给定训练数据和损失函数$L(y,f(x))$的条件下，学习加法模型$f(x)$成为经验风险极小化(即损失函数极小化问题)
　　　　$\min\limits_{β_m,γ_m}\sum\limits_{i=1}^NL(y_i,\sum\limits_{m=1}^Mβ_mb(x_i;γ_m))$
$\color{blue}{这里是要最小化每一步生成的基函数的损失函数之和}$
$\color{red}{但是！这通常是一个很复杂的问题，因此提出前向分步算法的思想：}$
前向分步算法求解这一优化问题的想法是：由于学习的是加法模型，如果能从前向后每一步只学习一个基函数及其系数，逐步逼近优化目标函数式，即$\min\limits_{β_m,γ_m}\sum\limits_{i=1}^NL(y_i,\sum\limits_{m=1}^Mβ_mb(x_i;γ_m))$，那么就可以简化优化的复杂度。因此每步我们只需要优化$\min\limits_{β,γ}\sum\limits_{i=1}^NL(y_i,βb(x_i;γ))$即可。
$\color{blue}{也就是说我每次学习一个基函数(基分类器)，我只针对这个基分类器进行优化，}$
使