集成学习法之bagging方法和boosting方法

一、集成学习法（Ensemble Learning）

首先，让我们先来了解一下，什么是集成学习法。

①  将多个分类方法聚集在一起，以提高分类的准确率。

（这些算法可以是不同的算法，也可以是相同的算法。）

②  集成学习法由训练数据构建一组基分类器，然后通过对每个基分类器的预测进行投票来进行分类

③  严格来说，集成学习并不算是一种分类器，而是一种分类器结合的方法。

④  通常一个集成分类器的分类性能会好于单个分类器

⑤  如果把单个分类器比作一个决策者的话，集成学习的方法就相当于多个决策者共同进行一项决策。

(集成学习法图解）

要掌握集成学习法，我们会提出以下两个问题：

1）怎么训练每个算法？

2）怎么融合每个算法？

因此，bagging方法和boosting方法应运而生

二、bagging（装袋）方法

①  Bagging又叫自助聚集，是一种根据均匀概率分布从数据中重复抽样（有放回）的技术。

②  每个抽样生成的自助样本集上，训练一个基分类器；对训练过的分类器进行投票，将测试样本指派到得票最高的类中。

③  每个自助样本集都和原数据一样大

④  有放回抽样，一些样本可能在同一训练集中出现多次，一些可能被忽略。