目录
集成学习
什么是集成学习
集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-based learning)等
集成学习一般结构：
先产生一组“个体学习器”(individual learner)，再用某种策略将它们结合起来。个体学习器通常由一个现有的学习算法从训练数据产生，例如C4.5决策树算法、BP神经网络算法等，此时集成中只包含同种类型的个体学习器，例如“决策树集成”中全是决策树，“神经网络集成”中全是神经网络，这样的集成是“同质”的(homogeneous)。同质集成中的个体学习器亦称“基学习器”(base learner)，相应的学习算法称为“基学习算法”(base learning algorithm)。集成也可包含不同类型的个体学习器，例如同时包含决策树和神经网络，这样的集成是“异质”的(heterogenous)。异质集成中的个体学习器由不同的学习算法生成，这时就不再有基学习算法；相应的，个体学习器一般不称为基学习器，常称为“组件学习器”(component learner)或直接称为个体学习器
示意图
弱学习器
弱学习器常指泛化性能略优于随机猜测的学习器；例如在二分类问题上精度略高于50%的分类器。
集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。这对“弱学习器”(weak learner)尤为明显，因此集成学习的很多理论研究都是针对弱学习器进行的，而基学习器有时也被直接称为弱学习器。但需注意的是，虽然从理论上来说使用弱学习器集成足以获得好的性能，但在实践中出于种种考虑，例如希望使用较少的个体学习器，或是重用关于常见学习器的一些经验等，人们往往会使用比较强的学习器。
要获得好的集成，个体学习器应“好而不同”，即个体学习器要有一定的“准确性”，即学习器不能太坏，并且要有“多样性”(diversity)，即学习器间具有差异。
基学习器的误差相互独立。在现实任务中，个体学习器是为解决同一个问题训练出来的，它们显然不可能相互独立！事实上，个体学习器的“准确性”和“多样性”本身就存在冲突。一般的，准确性很高之后，要增加多样性就需牺牲准确性。事实上，如何产生并结合“好而不同”的个体学习器，恰是集成学习研究的核心
根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类，即个体学习器间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表是Boosting，后者的代表是Bagging和“随机森林”(Random Forest)
经典算法
Boosting
什么是boosting
Boosting是一族可将弱学习器提升为强学习器的算法。
在分类问题中，它通过改变训练样本的权重学习多个分类器，并将这些分类器们进行线性组合来提高分类的能力。
通过从训练数据构建模型，然后创建第二个模型来尝试纠正第一个模型中的错误来完成的。添加模型直到完美预测训练集或添加最大数量的模型。提升学习的每一步产生弱预测模型（如决策树），并加权累加到总模型中；如果每一步的弱预测模型的生成都是依据损失函数的梯度方式，就称为梯度提升
Boosting指的是通过结合粗略和适度不准确的经验法则来产生非常准确的预测规则的一般问题。
提升学习技术的意义：如果一个问题存在弱预测模型，那么可以通过提升技术的方法得到一个强预测模型
Boosting族算法最著名的代表是AdaBoost
常见 算法：
-
AdaBoost
-
Gradient Boosting（GBDT）
-
XGboost
方法图
AdaBoost 算法
AdaBoost的核心就是求当前分类器的权重和更新样本的误差。它可以用于提高任何机器学习算法的性能。最好与弱学习器一起使用。
这意味着难以分类的样本会收到越来越大的权重，直到算法识别出正确分类这些样本的模型。
与AdaBoost一起使用的最合适也是最常见的算法是具有一层的决策树。因为这些树很短，并且只包含一个用于分类的决策，所以它们通常被称为决策树桩。
AdaBoost示意图
训练数据集中的每个实例都被加权。初始权重设置为：Weight(Xi) = 1/N
其中Xi是第i个训练实例，N是训练实例的总数。（训练实例：即用于训练模型的样本数据）
流程解析：
错误分类率error
每个实例都有自己独立的权重w，通常我们会对w进行归一化，使得w之和sum(w)=1。
使用加权之后的样本作为训练数据，以弱分类器（决策树桩）进行训练。仅支持二元（两类）分类问题，因此每个决策树桩对一个输入变量做出一个决策，并为第一类或第二类输出+1或-1值。
为训练后的模型计算错误分类率。传统的计算方式如下：
其中error是误分类率，correct是模型正确预测的训练实例数，N是训练实例总数。例如，如果模型正确预测了100个训练实例中的68个，则错误率或误分类率为(100-68)/100或0.32 。
将以上方式修改为加权训练实例：
这是误分类率的加权和，w是训练实例i的权重，terror是训练实例i的预测误差，terror为1时是误分类，为0时是正确分类，sum是对N个实例的求和
例如，如果我们有三个训练实例，权重分别为0.01、0.5和0.2.预测值为-1、-1和-1，实例中的真实输出变量为-1、1和-1
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
