集成学习

集成学习方法分为两大类：

1）基于boost的方法：

基本原理就是利用一系列弱学习器组成一个强学习器。这些弱学习按顺序依次训练得到。
这个方法是首先给每个样本赋一个权值，这个权值被利用到损失函数中。然后训练第一个弱学习器，完成训练之后，根据这个弱学习器在训练集的上的表现，更新样本权值，具体来说就是预测错误的样本被赋予更大的权值，预测正确的值被赋予更小的权值，然后继续训练第二个弱学习器。这样训练N个弱学习器后，将这个N个弱学习器加权求和，作为最终的强学习器。这个N个弱学习器的权重完全根据他们自己的性能确定，性能越好权重越大。
比较典型的就是adaboost算法。此算法要点就是，样本权重如何更新，以及弱基学习器的权重如何求。实际上，adaboost算法是前向分步算法的特例，在前向分步算法的损失函数为指数损失函数时，可以推导出adaboost算法中弱基学习器的权重计算公式，以及样本权重的更新规则。

假设已经训练好了$m-1$个基分类器$G_1(x),...,G_{m-1}(x)$，因为前面$m-1$个弱基分类器的权重分别为{α1,...,αm−1}\{\alpha_1,...,\alpha_{m-1}\}{α1​,...,αm−1​}，且
$f_{m-1}=\sum _{i=1}^{m-1}{\alpha }_i{G}_i(x)$,
或者$f_{m-1}=f_{m-2}+{\alpha }_{m-1}{G}_{m-1}(x),f_0=0$。

指数损失函数
$$\begin{gathered} L({\alpha }_m,G_m(x)) \\ =\sum _{i=1}^{N}exp(-y_i{f}_m(x_i)) \\ =\sum _{i=1}^{N}exp(-y_i(f_{m-1}(x_i)+{\alpha }_m{G}_m(x_i))) \\ =\sum _{i=1}^{N}exp(-y_i{f}_{m-1}(x_i))exp(-y_i{\alpha }_m{G}_m(x_i)) \end{gathered}$$
因为$exp(-y_i{f}_{m-1}(x_i))$是常数，记为${\overline{w}}_{m,i}=exp(-y_i{f}_{m-1}(x_i))$。
(此处可看出，在已知前m-1个分类器以及其系数的情况下，如果求$G_m(x)$使得整体最优，相当于最小化$G_m(x)$的加权损失函数，其未归一化权值为$exp(-y_i{f}_{m-1}(x_i))$。)
指示函数:
$\mathbb{I}(z)=\{\begin{array}{rc}1,& z为真\\ 0,& z为假\end{array}$
$$\begin{gathered} arg\underset{{\alpha }_m}{\min }L({\alpha }_m,G_m(x)) \\ =arg\underset{{\alpha }_m}{\min }\sum _{i=1}^N{\overline{w}}_{m,i}exp(-y_i{\alpha }_m{G}_m(x_i)) \\ =arg\underset{{\alpha }_m}{\min }\sum _{i=1}^N{\overline{w}}_{m,i}(exp(-{\alpha }_m)\mathbb{I}(y_i=G_m(x_i))+exp({\alpha }_m)\mathbb{I}(y_i\ne G_m(x_i)) \\ =arg\underset{{\alpha }_m}{\min }\sum _{i=1}^N{\overline{w}}_{m,i}(exp(-{\alpha }_m)(1-\mathbb{I}(y_i\ne G_m(x_i)))+exp({\alpha }_m)\mathbb{I}(y_i\ne G_m(x_i)) \end{gathered}$$

令$\frac{\partial L}{\partial {\alpha }_m}=0$
则：
${\alpha }_m=\frac{1}{2}ln\frac{\sum _{i=1}^N{\overline{w}}_{m,i}-\sum _{i=1}^N{\overline{w}}_{m,i}\mathbb{I}(y_i\ne G_m(x_i))}{\sum _{i=1}^N{\overline{w}}_{m,i}\mathbb{I}(y_i\ne G_m(x_i))}$
因为adaboost算法加权错误率为：
${ϵ}_m=\frac{\sum _{i=1}^N{\overline{w}}_{m,i}\mathbb{I}(y_i\ne G_m(x_i))}{\sum _{i=1}^N{\overline{w}}_{m,i}}$
所以：
${\alpha }_m=\frac{1}{2}ln\frac{1-{ϵ}_m}{{ϵ}_m}$
也就是说当前的弱基分类器的权重和且只和它的性能有关。

然后我们考虑如何更新样本权重：
$$\begin{gathered} arg\underset{G_m(x)}{\min }L({\alpha }_m,G_m(x)) \\ =arg\underset{G_m(x)}{\min }\sum _{i=1}^N{\overline{w}}_{m,i}exp(-y_i{\alpha }_m{G}_m(x_i)) \\ =arg\underset{G_m(x)}{\min }\sum _{i=1}^N{\overline{w}}_{m,i}(exp(-{\alpha }_m)(1-\mathbb{I}(y_i\ne G_m(x_i)))+exp({\alpha }_m)\mathbb{I}(y_i\ne G_m(x_i)) \\ =arg\underset{G_m(x)}{\min }\sum _{i=1}^N{\overline{w}}_{m,i}(exp({\alpha }_m)-exp(-{\alpha }_m))\mathbb{I}(y_i\ne G_m(x_i)) \\ =arg\underset{G_m(x)}{\min }\sum _{i=1}^N{\overline{w}}_{m,i}\mathbb{I}(y_i\ne G_m(x_i)) \\ =arg\underset{G_m(x)}{\min }\frac{\sum _{i=1}^N{\overline{w}}_{m,i}\mathbb{I}(y_i\ne G_m(x_i))}{\sum _{i=1}^N{\overline{w}}_{m,i}} \\ =arg\underset{G_m(x)}{\min }\sum _{i=1}^N{w}_{m,i}\mathbb{I}(y_i\ne G_m(x_i)) \end{gathered}$$
再一次可以清晰看到，在已知前m-1个分类器以及其系数的情况下（${\alpha }_m$为正的未知系数，不影响结果），如果求$G_m(x)$使得整体最优，等价于最小化$G_m(x)$的加权损失函数，其未归一化权值为$exp(-y_i{f}_{m-1}(x_i))$，归一化权重为$w_{m,i}$。

并且有效损失函数权重为：
$w_{m,i}=\frac{{\overline{w}}_{m,i}}{\sum _{i=1}^N{\overline{w}}_{m,i}}$
且可以推导出权重更新公式：
因为
${\overline{w}}_{m,i}=exp(-y_i{f}_{m-1}(x_i))$
则
$$\begin{gathered} {\overline{w}}_{m+1,i}=exp(-y_i{f}_m(x_i)) \\ =exp(-y_i(f_{m-1}+{\alpha }_m{G}_m(x_i))) \\ =exp(-y_i(f_{m-1}))exp(-y_i{\alpha }_m{G}_m(x_i)) \\ ={\overline{w}}_{m,i}exp(-y_i{\alpha }_m{G}_m(x_i) \end{gathered}$$
则新权重为：
${\overline{w}}_{m+1,i}^{\prime }=w_{m,i}exp(-y_i{\alpha }_m{G}_m(x_i))$
归一化后有效权重为：
$w_{m+1,i}=\frac{{\overline{w}}_{m+1,i}^{\prime }}{\sum _{i=1}^N{\overline{w}}_{m+1,i}^{\prime }}$
每次基于旧的有效权重生成新的权重后，新的权重都需要归一化来成为有效权重。

2）Bagging方法

Bagging相对简单，可以并行得到多个弱基分类器，然后投票或者其他方法融合。
需要注意的是，Bagging方法中，为保证分类器的差异性，需要保证训练集的差异性。一般才有有放回采样，也就是在N个样本的数据集中有放回采样M个样本作为第一个基分类器的样本，然后同样的方法构造其它基分类器的训练集。