第八章集成学习-优快云博客

本文链接：https://blog.youkuaiyun.com/2301_78094425/article/details/143803143

8.1 个体与集成

集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-based learning)等。

图 8 .1显示出集成学习的一般结构：先产生一组“个体学习器 " (individual learner)，再用某种策略将它们结合起来。个体学习器通常由一个现有的学习算法从训练数据产生，“同质集成”；也可以包含不同类型的个体学习器，这样的集成是“异质”的。

在一般经验中，如果把好坏不等的东西掺到一起，那么通常结果会是比最坏的要好一些，比最好的要坏一些.集成学习把多个学习器结合起来，如何能获得比最好的单一学习器更好的性能呢？

假设基分类器的错误率相互独立，则由Hoeffding不等式可知，集成的错误率为

上式显示出，随着集成中个体分类器数目T的增大，集成的错误率将指数级下降,最终趋向于零。

上面的分析有一个关键假设：基学习器的误差相互独立.在现实任务中，个体学习器是为解决同一个问题训练出来的，它们显然不可能相互独立！

事实上，个体学习器的“准确性”和 “多样性”本身就存在冲突。一般的，准确性很高之后，要增加多样性就需牺牲准确性。事实上，如何产生并结合“好而不同”的个体学习器，恰是集成学习研究的核心。

根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类，即个体学习器间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表是Boosting,后者的代表是Bagging和 “随机森林" (Random Forest)

8.2 Boosting

Boosting族算法最著名的代表是AdaBoost。

Boosting算法要求基学习器能对特定的数据分布进行学习，这可通过“重赋权法”(re-weighting)实施，即在训练过程的每一轮中，根据样本分布为每个训练样本重新赋予一个权重.对无法接受带权样本的基学习算法，则可通过“重采样法”(re-sampling)来处理，即在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进行训练。

（可以从残差最小化（残差逼近）的角度来理解AdaBoost。）

8.3 Bagging

由 8.1节可知，欲得到泛化性能强的集成,集成中的个体学习器应尽可能相互独立；虽然 “独立”在现实任务中无法做到，但可以设法使基学习器尽可能具有较大的差异。为获得好的集成，我们同时还希望个体学习器不能太差.如果采样出的每个子集都完全不同，则每个基学习器只用到了一小部分训练数据，甚至不足以进行有效学习，这显然无法确保产生出比较好的基学习器。

为解决这个问题，我们可考虑使用相互有交叠的采样子集。

8.3.1 Bagging

Bagging是并行式集成学习方法最著名的代表。（基于自助采样法(bootstrap sampling)）

Bagging主要关注降低方差，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效用更为明显。

8.3.2 随机森林

随机森林(Random Forest,简称 RF）是 Bagging 的一个扩展变体。RF在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。

具体来说，传统决策树在选择划分属性时是在当前结点的属性集合(假定有d 个属性)中选择一个最优属性；而在RF中，对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的子集，然后再从这个子集中选择一个最优属性用于划分。这里的参数k 控制了随机性的引入程度：若令k = d，则基决策树的构建传统决策树相同;若令k=1，则是随机选择一个属性用于划分；