集成学习

reference：

1. Concepts:

集成学习DEF：通过训练多个分类器，然后把这些分类器组合起来，以达到更好的测试性能。
包括boosting和bagging两种类型。

boosting：迭代的训练一系列的分类器，每个分类器采用的”样本的选择方式“都与”上一轮的学习结果“有关。如在adaboost中，之前分类错误的样本有更高的可能性被选到。主要算法有：AdaBoost，GBDT。

bagging：每个分类器的样本由”有放回的采样“产生：每个分类器都随机从原样本中做有放回的采样，然后分别在这些采样后的样本上训练分类器，再把这些分类器组合起来，以多数投票（majority vote）决定结果。主要算法有：random forest（每个基分类器都是decision tree，都与基本的决策树不同），hybrid（如基分类器有SVM,KNN,decision tree）。

diversity：集成学习中每个分类器要尽量有差异。

2. Theory