集成学习，adaboosting与Gradient Boosting 原理解析

姓名：Jyx
描述：人工智能学习笔记

集成学习

集成学习将各种不同的学习器联合起来，以期提高总体的预测效果。为发掘各个学习器的优点，需要一套专门的方案来进行联合。
1. 几何平均。将各个分类器的预测结果进行几何平均。其基本原理是使联合后的概率与各个学习器预测的概率的KL距离最小化
2. 算术平均。 将各个分类器的预测结果进行算术平均
3. 多数投票 。

并没有一般的规则来指导该选择何种方式联合学习器。另外，在特定的学习案例里甚至可能出现联合后的学习器比单个学习器中最好的还要差的情况

boosting

boosting 是一种特殊的集成学习方法。所有的‘基’分类器都是弱学习器，但通过采用特定的方式迭代，每次根据训练过的学习器的预测效果来更新样本权值，用于新的一轮学习，最终提高联合后的学习效果

adaboosting

adaboosting的分类目标是
$$\begin{gathered} f(\mathbf{x})=\mathbf{s}\mathbf{i}\mathbf{g}\mathbf{n}(\mathbf{F}(\mathbf{x})) \\ \mathbf{w}\mathbf{h}\mathbf{e}\mathbf{r}\mathbf{e}\mathbf{F}(\mathbf{x})=\sum _{\mathbf{k}=1}^{\mathbf{K}}\alpha \varphi (\mathbf{x};{\theta }_{\mathbf{k}}) \end{gathered}$$
其损失定义如下
$$J(\mathbf{x})=\sum _{\mathbf{i}=1}^{\mathbf{N}}\mathbf{e}\mathbf{x}\mathbf{p}(-{\mathbf{y}}_{\mathbf{i}}\mathbf{F}({\mathbf{x}}_{\mathbf{i}}))\text{\hspace{1em}(1)}$$
adaboosting要求每个‘基’分类器返回二值标记，即ϕ(x;θ)∈{−1,1}\phi(\bf{x};\bf{\theta}) \in \{-1, 1\}ϕ(x;θ)∈{−1,1}，而且类别标记y∈{−1,1}y \in \{-1, 1\}y∈{−1,1}。因此分类成功是的损失总是$exp(-1)$，失败时的损失总是$exp(1)$，所以失败时有更多的惩罚，最小化损失即最大化成功率

adaboosting算法

(1)式的优化是一个NPC问题。我们只能退而寻求次优的解法。实际操作中使用的是分段最优的搜索方式，从第一个函数开始，每次添加一个函数，并优化此轮的目标。
我们定义
$$\begin{gathered} F_m(\mathbf{x})={\mathbf{F}}_{\mathbf{m}-1}(\mathbf{x})+{\alpha }_{\mathbf{m}}\varphi (\mathbf{x};{\theta }_{\mathbf{m}}) \\ \text{显然有 }\mathbf{F}(\mathbf{x})={\mathbf{F}}_{\mathbf{K}}(\mathbf{x}) \end{gathered}$$
在第m步，我们优化的目标
$$\begin{array}{rl}{J}_m(\mathbf{x})& =\sum _{i=1}^{N}exp(-y_i{F}_m({\mathbf{x}}_{\mathbf{i}}))\\ & =\sum _{i=1}^{N}exp(-y_i(F_{m-1}({\mathbf{x}}_{\mathbf{i}})+{\alpha }_{\mathbf{m}}\varphi ({\mathbf{x}}_{\mathbf{i}};{\theta }_{\mathbf{m}})))\\ & =\sum _{i=1}^N{w}_i^{m}exp(-y_i{\alpha }_m\varphi ({\mathbf{x}}_{\mathbf{i}};{\theta }_{\mathbf{m}})),\mathbf{w}\mathbf{h}\mathbf{e}\mathbf{r}\mathbf{e}{\mathbf{w}}_{\mathbf{i}}^{\mathbf{m}}=\mathbf{e}\mathbf{x}\mathbf{p}(-{\mathbf{y}}_{\mathbf{i}}{\mathbf{F}}_{\mathbf{m}-1}({\mathbf{x}}_{\mathbf{i}}))\end{array}$$
这里$w_i^m$与本轮的优化目标无关，可以在每回合迭代开始计算好，并且我们可以把$w_i^m$看成是第m轮第i个样本的权重，如果所有的$w_i^m$相加不等于1，我们很容易通过归一化使其等于1，并且这样的变化不影响优化，归一化后，有
$$\sum _{i=1}^N{w}_i^m=1$$
在前面说过ϕ(x;θ)∈{−1,1}\phi(\bf{x};\bf{\theta}) \in \{-1, 1\}ϕ(x;θ)∈{−1,1}，y∈{−1,1}y \in \{-1, 1\}y∈{−1,1}，用${\hat{y}}_i$表述第$i$个样本的预测值，则
$$J_m(\mathbf{x})=\mathbf{e}\mathbf{x}\mathbf{p}(-{\alpha }_{\mathbf{m}})\underset{2}{\underbrace{\sum _{{\hat{\mathbf{y}}}_{\mathbf{i}}={\mathbf{y}}_{\mathbf{i}}}{\mathbf{w}}_{\mathbf{i}}^{\mathbf{m}}}}+\mathbf{e}\mathbf{x}\mathbf{p}({\alpha }_{\mathbf{m}})\underset{3}{\underbrace{\sum _{{\hat{\mathbf{y}}}_{\mathbf{i}}\ne {\mathbf{y}}_{\mathbf{i}}}{\mathbf{w}}_{\mathbf{i}}^{\mathbf{m}}}}\text{\hspace{1em}(4)}$$
因为所有的$w_i^m$加起来等于1。于是上式中的2部分小了，3部分就大了，反之亦然。
于是最小化目标函数等价于最小化3部分(显然$exp({\alpha }_m)>exp(-{\alpha }_m)$)。
$$\begin{gathered} {\theta }_m={\mathrm{argmin}}_{\theta }\sum _{i=1}^N{w}_i^{m}I(1-y_i\varphi ({\mathbf{x}}_{\mathbf{i}};{\theta }_{\mathbf{m}}) \\ \begin{array}{r}I(x)=\{\begin{array}{ll}0& \text{x=0}\\ 1& \text{x!=0}\end{array}\end{array}\text{\hspace{1em}(5)} \end{gathered}$$
上式优化依赖于具体的$\varphi (\mathbf{x};\theta )$，相当于对$\varphi (\mathbf{x};\theta )$求最小经验风险
一旦5式得解, 就可以求出具体的${\sum }_{{\hat{y}}_i=y_i}{w}_i^m$，${\sum }_{{\hat{y}}_i\ne y_i}{w}_i^m$，令
$$\begin{gathered} \sum _{{\hat{y}}_i\ne y_i}{w}_i^m=P_m \\ 则\sum _{{\hat{y}}_i=y_i}{w}_i^m=1-P_m \end{gathered}$$
然后对4式求导并使其等于0，可以得到
$${\alpha }_m=\frac{1}{2}\ln \frac{1-P_m}{P_m}$$
然后
$$\begin{gathered} w_i^{m+1}=\frac{exp(-y_i{F}_m({\mathbf{x}}_{\mathbf{i}}))}{Z_m}=\frac{w_i^{m}exp(-y_i{\alpha }_m\varphi ({\mathbf{x}}_{\mathbf{i}};{\theta }_{\mathbf{m}}))}{Z_m} \\ {Z}_m\text{是归一化因子，所以等于所有N个分子之和，即} \\ {Z}_m=\sum _{i=1}^N{w}_i^{m}exp(-y_i{\alpha }_m\varphi ({\mathbf{x}}_{\mathbf{i}};{\theta }_{\mathbf{m}})) \end{gathered}$$
这样adaboost算法就得解了
Gradient Boosting

L2 boosting

adaboost 提供了一个思路，我们替换adaboost损失函数（1）便可以得到不同的算法，例如把指数损失换成L2损失
$$J(\mathbf{x})=\sum _{\mathbf{i}=1}^{\mathbf{N}}({\mathbf{y}}_{\mathbf{i}}-\mathbf{F}({\mathbf{x}}_{\mathbf{i}}){)}^2$$
在第m步
$$\begin{gathered} J_m(\mathbf{x})=\sum _{\mathbf{i}=1}^{\mathbf{N}}({\mathbf{y}}_{\mathbf{i}}-{\mathbf{F}}_{\mathbf{m}}({\mathbf{x}}_{\mathbf{i}}){)}^2=\sum _{\mathbf{i}=1}^{\mathbf{N}}({\mathbf{y}}_{\mathbf{i}}-{\mathbf{F}}_{\mathbf{m}-1}({\mathbf{x}}_{\mathbf{i}})-{\alpha }_{\mathbf{m}}\varphi ({\mathbf{x}}_{\mathbf{i}};{\theta }_{\mathbf{m}}){)}^2=\sum _{\mathbf{i}=1}^{\mathbf{N}}({\mathbf{r}}_{\mathbf{i}}-{\alpha }_{\mathbf{m}}\varphi ({\mathbf{x}}_{\mathbf{i}};{\theta }_{\mathbf{m}}{)}^2 \\ {\mathbf{r}}_{\mathbf{i}}={\mathbf{y}}_{\mathbf{i}}-{\mathbf{F}}_{\mathbf{m}-1}({\mathbf{x}}_{\mathbf{i}})\text{被称为残差}\text{\hspace{1em}(6)} \end{gathered}$$
6式可以简单的看成对残差进行预测的L2回归任务进行解决
这种损失的定义我们成为L2boosting

一般的Gradient Boosting

将损失定义为任意函数的boosting就是Gradient Boosting。
对于任意损失函数$L(y,F(\mathbf{x}))$,在第m步，
$$L(y,F_m(\mathbf{x}))=\mathbf{L}(\mathbf{y},{\mathbf{F}}_{\mathbf{m}-1}(\mathbf{x})+{\alpha }_{\mathbf{m}}\varphi (\mathbf{x};{\theta }_{\mathbf{m}}))$$
直接优化上式是一个很困难的任务，我们只能退而求其次
这时我们想想梯度下降法求函数极值的过程，考虑$x=F_{m-1}(\mathbf{x})$, $\Delta x={\alpha }_m\varphi (\mathbf{x};{\theta }_{\mathbf{m}})$，回忆梯度下降法，我们每步的迭代方向为负梯度方向，即有
$${\alpha }_m\varphi (\mathbf{x};{\theta }_{\mathbf{m}})=-\frac{\mathrm{d}\mathbf{L}(\mathbf{y},{\mathbf{F}}_{\mathbf{m}-1}(\mathbf{x}))}{\mathrm{d}{\mathrm{F}}_{\mathrm{m}-1}(\mathbf{x})}$$
这样我们就只要每次训练${\theta }_m$是得上式想等，就可以进行更新
$$F_m(\mathbf{x})={\mathbf{F}}_{\mathbf{m}-1}(\mathbf{x})+{\alpha }_{\mathbf{m}}\varphi (\mathbf{x};{\theta }_{\mathbf{m}})$$
这就是所谓的每次预测负梯度方向