Datawhale-集成学习-学习笔记Day4-Adaboost

1. 什么是boosting，与bagging的区别是什么

在集成学习中，主要的分支就只有两块。其中一个是bagging算法，另外一个是boosting算法。在bagging的学习中，我们可以得知bagging主要是针对数据集进行操作，进行随机的采样。同时我们也论证过，bagging只影响了结果的方差，通过减小方差来得出更好的结果。但是，bagging并没有影响的结果的期望，也就是说bagging并没有减小结果的偏差。

Boosting则是一种截然不同的思想。Boosting的训练中使用的是同一个训练集。通过对这个训练集反复训练以得到一系列的简单模型，并通过一种策略对这些模型进行整合，构建一个更加强大的训练模型。很显然，Boosting提升的是模型本身的性能，表现在结果上也就是减小的是模型的偏差。

我们可以总结一下bagging和boosting的区别：

1. 在样本的选择上：bagging是基于Bootstrap的随机采样，每次有放回的进行采样。而Boosting则使用的是一直是同一个训练集。
2. 在样本的权重上：bagging中所有的样本权重都是相同的，而Boosting的样本权重会有一些不同。对于经常错误的样本，其权重应当相应的增加一些
3. 在预测函数上：bagging中所有的预测函数权重都是相同，而Boosting中，我们应该增加准确率高的模型在最终结果中占到的权重。
4. 在并行运算上：bagging因为是随机采样，每一个模型的训练都是没有关联的，可以并行计算。但是Boosting中，我们需要根据样本的错误率来调整样本的权重，所以必须迭代运算。

所以对于Boosting算法来说，我们需要关注的只有两个点:

1. 每一轮的迭代中，如何根据样本的错误率来调整样本的权值或者概率分布
2. 如何将弱分类器组合成为一个强分类器

2. Adaboost

针对上述的两个问题：

Adaboost是这样解决的：提高在上一轮中被弱分类器错误分类的样本的权值，减小被正确分类样本的权值。这样被错误分类的样本在下一轮的训练中就会受到更高的关注。而对于弱分类器的组合，则使用的是加权的投票表决方法，让错误率低的模型在表决中更加具备话语权。

Adaboost算法的步骤：(为了方便说明，假设是一个二分类任务)

输入：训练数据集$T=(x_1,y_1),(x_2,y_2),(x_3,y_3),...,(x_N,y_N)$，其中$x_i\in \mathcal{X}\subseteq {\mathbf{R}}^n$，$y_i\in \mathcal{Y}=-1,+1$，弱学习方法

输出：最终的分类器G(x)。

1. 初始化训练数据的权值分布
   $$D_1=(w_{11},w_{12},w_{13},...,w_{1i},...w_{1N})w_{1i}=\frac{1}{N}i=1,2,3,...N$$

2. 对于M个epoch来说，$m=1,2,...,M$

   • 使用具有权值分布$D_m$的训练集学习得到基本分类器$G_m:\mathcal{X}->-1,+1$

   • 计算$G_m(x)$在训练数据集上的分类误差率
     $$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$

   • 计算$G_m(x)$的系数
     $${\alpha }_m=\frac{1}{2}\log \frac{1-e_m}{e_m}$$

   • 更新训练数据集的权值分布：
     $$D_{m+1}=\left(w_{m+1,1},\cdots ,w_{m+1,i},\cdots ,w_{m+1,N}\right)$$

     $$w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp \left(-{\alpha }_m{y}_i{G}_m\left(x_i\right)\right),i=1,2,\cdots ,N$$

     在这里$Z_m$是规范化因子：
     $$Z_m=\sum _{i=1}^N{w}_{mi}\exp (-{\alpha }_m{y}_i{G}_m(xi))$$
     它可以使$D_{m+1}$成为概率分布。

3. 构建基本分类器的线性模型。
   $$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
   因为是二分类模型,所以我们可以使用符号函数来获取最终的结果：
   $$G(x)=sign(f(x))$$

我们可以对上述的过程做一些说明：

1. 什么是分类误差率？原本在等权值的数据集中，我们计算误差率应该是错误的样本数量除以总样本的数量。但是，在不等权重的样本集中，不可以直接这样计算。可以转化一下理解的方式，我们在初始化样本权重的时候，使用的是全部为等值$\frac{1}{N}$。所以可以这样理解，错误率就是错误样本权重的和。

   这个结论也可以引申到不等权重的样本集中。所以我们记错误率为：
   $$e_m=\sum _{G(x_i)\ne y_i}^N{w}_{mi}$$

2. 关于子模型权重的理解：
   $${\alpha }_m=\frac{1}{2}\log \frac{1-e_m}{e_m}$$
   当$e_m\le \frac{1}{2}$时，$\alpha \ge 0$。在这里我们应该是可以保证$e_m\le \frac{1}{2}$的，因为即便是没有训练过的随机分类模型也应该会有50%的准确率。且根据弱可学习的概念，我们学习到的模型原本就应当准确率大于50%。

   根据对数函数的特性，当$e_m$减小的时候$\frac{1-e_m}{e_m}$会增加，模型的权重${\alpha }_m$也会增加。

   我们可以知道，${\alpha }_m$的和并不为1。但是，我们认为最终结果$G(x)$的数值对结果并无影响，我们关注的只是最终输出的符号。可以认为$|G(x)|$的大小为结果的确信度。

3. 对样本集权重更新的理解：

   使用以e为低的指数，在指数部分上为$-{\alpha }_m{y}_i{G}_m(x_i)$。当预测正确时，指数部分为负数。当预测错误的时候，指数部分为正数。因为指数函数的特性，预测正确时，权重会乘以一个小于1大于0的数，预测失败时，会乘以一个权重大于1的数。保证预测正确的时候，权重减小，预测失败时权重增加。

   最终$Z_m$的功能是为了保证最终的权重和为1.