集成学习方法概述

集成学习方法概述

#集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifier system) 、基于委员会的学习(committee-based learning) 等.

#集成学习具有比基学习器更强的泛化能力

#在集成学习中基学习器称为弱学习器

1.通用的集成学习框架：

#一个集成由多个基学习器构成，基学习器由基学习算法在训练数据上训练获得，可为决策树、神经网络或其他算法

#大多数集成学习方法使用同一种基学习算法产生同质的基学习器，即相同种类的学习器，生成同质集成

#也有使用多种学习算法训练不同种类的学习器，构成异质集成。在异质集成中称学习器为个体学习器或组件学习器。

#集成学习的发展得益于三个方面的早期研究：分类器结合、弱分类器集成和混合专家系统。

#构建集成有两个步骤：

• 首先产生基学习器
• 然后将它们结合起来

#构建一个集成的代价未必会显著高于构建单一学习器

#无免费午餐定理：不存在一个学习算法会一致地比其他学习算法好

需要完整代码或书籍PDF版的小伙伴可关注微信公众号：菜田里守望者

打开微信扫一扫关注吧，你们的支持就是我的动力

参考文献：
【1】《集成学习基础与算法 》第1版 电子工业出版社 [中] 周志华 著 李楠 译
【2】《机器学习 》第1版 清华大学出版社 [中] 周志华 著