机器学习技法总结（四）（aggregation，vote，bootstrap...）

研究的动机是：我们采用了不同的模型得到T个不同的g，那么我们是不是可以通过这些不同的g的融合得到更加出色的G呢？因此，便有了以上四种不同的方法；1）（select）直接选择最好的一个作为融合的结果；2）（uniform）所有的g公平vote；3）（non-uniform）相当于你比较相信某个结果，就赋予它较高的vote权重，这种类似于二次回归问题，就是说，先对不同模型进行优化得到不同的g，然后再次优化做出回归；4）很简单的predictions conditionally。前面的都可以看作是后面的特例。

上图解释了通过aggregation，通过均匀的弱的hypothesis的mix，我们可以实现比较弯弯曲曲的分界线，这是不是实现了特征转换，使得Ein比较小？另外，这样多次的mix，可能使得PLA取得比较靠中间的那个hypothesis，这样是不是就类似了svm中的large margin的效果，这样aggregation就类似于能够较好的实现特征转换和正则化。

在设计融合的时候，要注意一点，如果我们直接从Ein中选择最小的作为目标的话，这就像是扩大了Hypothesis set的大小，那么VC dimension则变大了，很容易出现overfitting，因此，最好的办法还是通过validation来赛选g-，然后再回传g进行融合。如下图所示：