Bias and Variance

一张比较经典的图[1]：

 

数学推导：

第一项是Variance， 第二项是Bias（，即分类器的预测）

[1] https://blog.youkuaiyun.com/wuzqChom/article/details/75091612

 

一个经典的问题：boosting降低Bias，而bagging（例如RF）降低Variance[2]。

1.

boosting例如Adaboost，GBDT，其第i个子分类器的训练依赖于第i-1个分类器的结果：

where, 

具体的，例如Adaboost使用了指数损失函数

这样的依赖关系导致了子分类器之间相关程度高。

2. 

bagging例如RF，每个子分类器重采样训练集，随机选则特征集的子集。使得子分类器之间相关程度变低。

从公式来理解以上两个情况，有n个分类器fi(x):

 

对于Bias：

对于bagging来说：，即取算术平均后基本不会改变Bias。

而对于Boosting来说其取加权平均，可以减小Bias。

 

对于Variance：

先选取两种极端情况进行讨论

若各个分类器相互独立，则

反之，

因此，对于Bagging来说，分类器间相关程度低，有利于减小Variance，而Boosting却无法做到这一点。

 

[2] https://www.zhihu.com/question/26760839