机器学习笔记（1）-集成学习简介

一、集成学习大致分为2类：

（1）个体学习器间存在强依赖关系，必须串行生成的序列化方法（代表：Boosting）；

（2）个体学习器间不存在强依赖关系，可同时生成的并行化方法（代表：Bagging和随机森林）；

1、Boosting

1、工作机制
先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多的关注，然后基于调整后的样本分布来训练下一个基学习器（即根据弱学习的学习误差率表现来更新训练样本的权重，使之前弱学习器学习误差率高的训练样本点的权重变高，即让误差率高的样本在后面的弱学习器中得到更多的重视）；如此重复进行，直至基学习器数目达到事先指定的值T，最终再将这T个基学习器进行加权结合。

2、Boosting的两个核心问题
（1）在每一轮如何改变训练数据的权值或概率分布？
通过提高那些在前一轮被弱分类器分错样本的权值，减小前一轮分对样本的权值，来使得分类器对误分的数据有较好的效果。

（2）通过什么方式来组合弱分类器？
通过加法模型将弱分类器进行线性组合（比如AdaBoos算法）；

通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最终模型（比如GBDT算法）