集成学习通过构建多个学习器并结合以完成任务。主要分为序列化方法（如Boosting）和并行化方法（如Bagging、随机森林）。Boosting通过调整样本分布提升弱学习器性能，而Bagging关注降低方差。随机森林在Bagging基础上增加属性扰动以增强多样性。学习器结合策略包括平均法、投票法和Stacking。多样性度量涉及不合度量、相关系数等，通过数据扰动等方式增强。
第八章 集成学习
- 集成学习，通过构建并结合多个学习器来完成学习任务
- 集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将它们结合起来
- 要获得好的集成，个体学习器应好而不同，即个体学习器要有一定的“准确性”，即学习器不能太坏，并且要有“多样性”，即学习器间具有差异
- 目前的基础学习方法大致可以分为两大类，即个体学习器间存在强依赖关系，必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系，可同时生成的并行化方法。前者的代表是Boosting，后者的代表是Bagging和“随机森林”
- Boosting是一族可将弱化学习器提升为强学习器的算法。这族算法的工作机制类似：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合
- Boosting样本分布调整的方法
- “重赋值法”：在训练过程的每一轮中，根据样本分布为每个训练样本重新赋予一个权重
- “重采样法”：在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
