Ensemble Learning 集成学习

基本概念

通过对多个学习期进行结合，获得比单个学习器更优的结果。

Hoeffding Inequality

Hoeffding Inequality提供了独立随机变量之和偏离期望值的概率的上界。
特殊情况：当随机变量是Bernoulli分布时，假设随机变量$x=1$的概率为p，进行了n次实验，随机变量$x$ 之和至多为$k$的概率为：
$P(H(n)\le k)=\sum\limits_{i=0}^{k}\left(\begin{array}{c}n \ i \end{array}\right)p^i(1-p)^{(n-i)}$
$H(n)表示n次实验变量x之和$

当$k=(p-\epsilon)n，\epsilon >0$时存在上述概率存在以下上界
$P(H(n)\le (p-\epsilon)n)\le exp(-2\epsilon ^2n)$

相似的，当$k=(p+\epsilon)n，\epsilon >0$时存在上述概率存在以下上界
$P(H(n)\le (p+\epsilon)n)\le exp(-2\epsilon ^2n)$

结合两者，得
$P((p-\epsilon)n\le H(n)\le (p-\epsilon)n)\ge 1-2exp(-2\epsilon ^2n)$
结合Bernoulli分布的期望是$pn$，我们可以得出最后得出$H(n)$在期望值附近的概率上界

多个二分类器集成之后的集成分类器

假设有T个独立的二分类器$h_i$,分类标签为$y \in \left\lbrace-1,1\right\rbrace$, 真实的分类函数为$f$,假设每个分类器的错误率为$\epsilon$
即：
$P(h_i(x)\neq f(x))=\epsilon$
通过简单的投票法结合这T个分类，即：
$H(x)=sign(\sum\limits_{i=1}^{T}h_i(x))$
则：
$P(H(x)=f(x))=\sum\limits_{k=0}^{T/2}\left(\begin{array}{c}T \ k \end{array}\right)(1-\epsilon)^k\epsilon^{T-k} \ \le exp(-\frac{1}{2}T(1-2\epsilon)^2)$
这里用到了上述的Hoeffding inequality。
可以看到，当集成的分类器个数T变多的时候，集成分类器的错误率会程指数下降，但是这个是基于一个基本假设的，即分类器之间是独立的，在实际中，子分类器是很难达到独立的，所以一般要求子分类器的多样性要大一些。