集成学习之 如何进行多样性增强

众所周知，对于集成学习的基学习器而言，他们的差异性越大，集成之后的效果就越好，那么，我们怎么增强不同模型的多样性呢？

 

1.样本扰动：比如Bagging中的自助法就是了，由于生成的不同数据集间有一定的不同，所以导致训练出来的基学习器也有一定的不同。（对于linear、svm、naive_bayes、knn这些对扰动不敏感的基学习算法效果不大）

2.输入扰动：对于那些有非常多的属性，且有大量冗余属性的数据集，我们可以用随机子空间法：从数据集中随机抽取一些属性作为子集，然后，依靠这些子集训练基学习器。（不适合属性较少或 冗余属性较少的数据集）

 

3.输出扰动：比如多分类中，讲多分类任务转化为多个二分类任务， 把样本中的标签反转（0—>1, 1—>0）

 

4.算法参数 扰动：我们一般会给模型设置初始参数的，初始的参数不同，训练出来的模型也会不一样，因此我们还可以调这个老得到多个基学习器。（正常我们也是多次选取初始值训练得到多个模型，然后选取效果好的一个，现在只是要把这些效果差一点的模型也利用上，因此不会增加训练时间）