集成算法(Bagging，随机森林)

引言（关于集成学习）

集成算法包括很多种包括Bagging，随机森林，Boosting 以及其他更加高效的集成算法。在这篇博客上只介绍Bagging算法及随机森林，Boosting提升算法及其他高效的算法在下一篇详细讲解。
集成算法就是通过构建多个学习器来完成学习任务，是由多个基学习器或者是个体学习器来完成的。它可以是由决策树，神经网络等多种基学习算法组成。就像是投票表决答案一样，多数人的参与总会比一个人的观点更加准确。集成学习通过多个学习器进行结合，可以获得比单一学习器显著优越的泛化性能。而且集成学习一般都是以弱学习器集成来得到一个强的学习器获得更好地性能。
假设集成通过简单的投票方法结合T个基分类器，如果其中有半数基分类器正确，则集成分类就正确：

假设基分类器错误率相互独立 ，由Hoeffding不等式可知，集成的错误率为：

可以看出随着集成中个体分类器数目T的的增加集成的错误率将指数级下降最终趋向于零。前提是有一个关键假设：基学习器的误差相互独立。 我们所要选择的基学习器就是要选择那些好而不同个体学习器，如何去选择他们就是集成学习的核心内容。

Bagging（bootstrap aggregation）