机器学习进阶（三）boost

提升

1. 概念：提升可以用于回归和分类问题，它每一步产生一个弱预测模型(如决策树)，并加权累加到总模型中；如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升(Gradientboosting)。
2. 理论：如果一个问题存在弱分类器，则可以通过提升的办法得到强分类器。
3. 损失函数：对于每个样本，经典定义为$$L(y,F(\vec{x}))=\frac{1}{2}(y-F(\vec{x}){)}^2，或者L(y,F(\vec{x}))=|y-F(\vec{x})|$$
   我们的目标是获取最优函数 $F^{\ast }(\vec{x}),$ 使得： $F^{\ast }(\vec{x})=\underset{F}{\mathrm{argmin}}{E}_{(x,y)}[L(y,F(\vec{x}))]$
   若$F(\vec{x})$为常数，损失函数取前者，则$F^{\ast }(\vec{x})$为$y_1,\dots ,y_n$的均值，取后者，是中位数。

Adaboost

二分类的分类器，损失函数为指数型损失函数$\exp (y_{i}f(x_i))$，分类器类型未规定。通过提高前一轮弱分类器错误分类 样本的权值，降低正确分类样本的权值，使未分类正确的样本获得更多的关注。
在求解弱分类器和分类器权重时采取前向分步算法。

前向分步算法

整体思路：先假定$F(x)$是一族基函数 $f_i(x)$ 的加权和
$$F(\vec{x})=\sum _{i=1}^M{\gamma }_i{f}_i(x)+\text{ const }$$
通过最小化损失函数$L\left(y_i,F_m(\vec{x})\right)$去得到局部最优的$F_m(\vec{x})$，更新模型权重，得到加法模型
$$F_m(\vec{x})=F_{m-1}(\vec{x})+\underset{{\gamma }_i,f\in H}{\mathrm{argmin}}\sum _{i=1}^{n}L\left(y_i,F_{m-1}\left({\vec{x}}_i\right)+{\gamma }_{i}f\left({\vec{x}}_i\right)\right)$$

步骤

1. 假设经过 $m$ 轮迭代前向分步算法已经得到 $f_m(x):$
   $$\begin{array}{rl}{f}_m(x)& =f_{m-1}(x)+{\alpha }_{m-1}{G}_m(x)\\ & ={\alpha }_1{G}_1(x)+\cdots +{\alpha }_m{G}_m(x).\end{array}$$
2. 现在我们的目标是在第 $m+1$ 轮迭代得到 ${\alpha }_{m+1},G_{m+1}(x)$ 和 $f_{m+1}(x)$，
   使得在训练数据集 $T$ 上的指数损失最小，即
   $$\begin{gathered} \left({\alpha }_{m+1},G_{m+1}(x)\right)=\arg \underset{\alpha ,G}{\min }\sum _{i=1}^N\exp \left[-y_i\left(f_m\left(x_i\right)+\alpha G\left(x_i\right)\right)\right] \\ =\arg \underset{\alpha ,G}{\min }\sum _{i=1}^N{\bar{w}}_{m+1,i}\exp \left[-y_i\alpha G\left(x_i\right)\right] \end{gathered}$$
   其中, ${\bar{w}}_{m+1,i}=\exp \left[-y_i{f}_m\left(x_i\right)\right]$（与该轮样本权值只差一个规范化系数，在PS中详细解释）。
   该式子第一行从形式来看，是最小化未赋权样本在当前整个分类器$f_m$的损失函数，第二行从结果看，是最小化赋权样本在该轮分类器$G_m$上的损失函数。

PS:
初始化训练集的权重分布$D_1=(w_{11}，\dots ，w_{1i},\dots ,w_{1N})，w_{1i}=\frac{1}{N}$。假设经过 $m$ 轮迭代，得到基于样本$D_m$分布的分类器$G_m(x_i)$，及根据分类器$G_m(x_i)$误差得到的系数${\alpha }_m$，现在需要更新下一轮样本的权值$D_{m+1}$

$$\begin{array}{rl}{D}_{m+1}& =\left(w_{m+1,1},\cdots ,w_{m+1,i},\cdots ,w_{m+1,N}\right)\end{array}$$