集成学习ensemble learning

个体与集成

集成学习通过构建并结合多个学习器来完成学习任务。如图，一般结构是：先产生一组“个体学习器”，再用某种策略将它们结合起来。

如果集成中只包含同种类型的个体学习器，这样的集成是“同质”的。同质集成中的个体学习器称为“基学习器”，相应的学习算法称为“基学习算法”。类似地，异质集成中的个体学习器一般也称为“组件学习器”。

要获得好的集成，个体学习器应该“好而不同”，即个体学习器要有一定的：准确性“，即学习器不能太坏，并且要有”多样性“，即学习器间具有差异。

集成学习的分类

①个体学习器之间存在强依赖关系、必须串行生成的序列化方法，代表是Boosting。
②个体学习器之间不存在强依赖关系、可同时生成的并行化方法，代表是随机森林（RF)。

Boosting

以Adaboost为例

Boosting主要关注 降低偏差 。

因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成。

Bagging与随机森林

Bagging

Bagging主要关注 降低方差 。

因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效用更为明显。

随机森林

随着个体学习器数目的增加，随机森林通常会收敛到更低的泛化误差。
值得注意的是，随机森林的训练效率常优于Bagging。

学习器结合的三大好处：

①多个学习器结合可以减小误选单学习器导致泛化性能不佳的风险；
②降低陷入糟糕局部极小点的风险；
③由于使用了多个学习器进行结合，相应的假设空间有所扩大，所以有可能学得更好的近似。

结合策略

多样性

误差-分歧分解

多样性度量

多样性增强