集成学习算法

Bagging基本思想

• 全称：bootstrap aggregation
• 思想：对原始训练样本集采用自助随机采样（Boostrap Sampling）法（即有放回地随机采样），产生n个新的训练样本子集，以此分别训练n个基学习器，最后采用某种组合策略集成为强学习器
• 典型代表：随机森林
• 随机：数据采样随机，特征选择随机
• 森林：很多个决策树并行放在一起
  

Boosting基本思想

• 思想：从弱学习器开始加强，通过加权来进行训练
• 典型代表：AdaBoost、Xgboost
• AdaBoost（Adaptive Boosting）：核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器组合（boost）起来，构成一个更强的最终分类器（强分类器）。不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，在此样本分布下训练出一个弱分类器。对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突显出来，从而得到一个新的样本分布。在新的样本分布下，再次训练出一个弱分类器。依次类推，经过T次循环，得到T个弱分类器，把这T个弱分类器按一定的权重组合起来，得到最终的强分类器。
  

Boosting 和 Bagging的比较