集成算法的简介
以类比的方式说明,对于复杂任务,综合多个“专家”(个体学习器)的判断,比单个“专家”单独判断的效果更好 。就像图中三个普通人的判断综合起来,能达到类似专家的效果。
集成学习(ensemble learning)是通过构建并结合多个学习器(即个体学习器,如个体学习器1、个体学习器2等)来完成学习任务。这些个体学习器的输出会进入结合模块,最终产生整体的输出结果。
简单平均法:
加权平均法:
投票法原理:集成学习的结果通过投票法产生,遵循“少数服从多数”原则 。即多个个体学习器(如h1、h2、h3 )对同一测试例进行预测,预测结果中出现次数多的类别或判断作为集成学习的最终结果。
不同情况分析:
(a)集成提升性能:在三个测试例中,每个测试例都有至少两个个体学习器预测正确,通过投票法得到的集成结果都是正确的,说明这种情况下集成学习提升了整体性能。
(b)集成不起作用:测试例3中,个体学习器的预测结果各不一致,集成结果为错误,整体集成效果没有比单个学习器更好,说明此时集成没有起到提升作用。
(c)集成起负作用:每个测试例中个体学习器的预测结果分散,集成结果都是错误的,而单个学习器在部分测试例上可能有正确预测,这种情况下集成反而产生了负面效果 。