32、最优高效提升算法与AdaBoost的关系解析

最优高效提升算法与AdaBoost的关系解析

在机器学习领域，提升算法是一类强大的工具，能够显著提高模型的性能。其中，BBM（Boost-by-Majority）算法和更为人熟知的AdaBoost算法之间存在着密切的联系。下面我们将深入探讨它们之间的关系，包括误差界比较、从BBM推导AdaBoost以及权重比较等方面。

1. 误差界比较

BBM算法的误差，作为轮数T和间隔γ的函数，呈现出二项分布尾部的形式，如方程(13.37)所示。这个界既适用于训练误差（如推论13.4所证明），在训练样本数量较大时，也适用于泛化误差。而且，在某些情况下，这个界是任何提升算法所能达到的最优界，这意味着当T和γ已知且固定时，BBM算法本质上是最优的。

当使用AdaBoost或NonAdaBoost时，定理3.1表明训练误差至多为$e^{-2γ^2T}$，在训练集规模趋于无穷大时，这个界同样适用于泛化误差。实际上，这正是Hoeffding不等式（定理2.1）对方程(13.37)中二项分布尾部给出的界。

对于AdaBoost的训练误差，定理3.1还给出了一个更好的界：$\left(1 - 4γ^2\right)^T$ (13.61)，这也是一个Chernoff界。可以证明，对于一枚有偏硬币（偏差为p）抛n次，正面朝上次数至多为qn（q < p）的概率有界为：
$Binom (n, qn, p) ≤ exp(−n · REb (q ∥ p))$ (13.62)
其中$REb (· ∥ ·)$是方程(5.36)中给出的二元相对熵。对于BBM的界，我们有：
$Binom\left[T, \frac{T}{2}, \frac{1}{2} + γ\right