机器学习之集成学习（一）Ensemble Learning

一、集成学习概述

        集成学习通过构建并结合多个学习器来完成学习任务。通过将多个学习器结合，常可以获得比单一学习器显著优越的泛化性能，达到博采众长的目的。

 

        集成学习有两个主要的问题需要解决：
1、如何训练每个学习器？
2、如何融合各个学习器？

二、个体学习器

        要获得好的学习器，个体学习器应“好而不同”，即个体学习器要有一定的准确性，并且要有多样性。
        根据个体学习器包含的类型，可分为同质个体学习器和异质个体学习器。集成中可以只包含同种类型的个体学习器，如决策树、神经网络，这样的集成是同质的，同质集成中的个体学习器亦称“基学习器”，相应的学习算法称为“基学习算法”。集成也可以包含不同类型的个体学习器，如同时包含决策树和神经网络，这样的集成是异质的，个体学习器常称为“组件学习器”。目前同质个体学习器的应用岁最广泛的，一般提到集成学习都是指同质个体学习器，而同质个体学习器使用最多的模型是CART决策树和神经网络。
        根据个体学习器的生成是否存在依赖关系，可以分为两类。个体学习器间存在强依赖关系，必须串行生成，代表算法是boosting系列算法；个体学习器之间不存在强依赖关系，可以并行生成，代表算法是bagging和随机森林系列算法。

三、集成学习之Boosting