7、AdaBoost泛化误差的直接边界分析

AdaBoost泛化误差的直接边界分析

在机器学习中，我们不仅关注模型在训练数据上的表现，更关心其在未见过的数据上的泛化能力。AdaBoost作为一种强大的集成学习算法，其泛化误差的分析至关重要。本文将介绍两种分析AdaBoost泛化误差的方法：基于VC理论的边界分析和基于压缩的边界分析。

1. 基于VC理论的泛化误差边界分析

在进行泛化误差分析之前，我们需要做出一些基本假设。首先，假设所有训练和测试示例都是根据相同的（未知）分布 $D$ 在 $X × {−1, +1}$ 上随机生成的。我们的目标是找到一个泛化误差 $err(h) = Pr_{(x,y)∼D}[h(x) \neq y]$ 较低的分类器 $h$。

同时，为了得到有意义的泛化误差边界，我们需要对基分类器的复杂度或表达能力做出假设。假设所有基分类器都从某个分类器空间 $H$ 中选择，当 $H$ 的基数有限时，用 $\lg |H|$ 衡量其复杂度；当 $H$ 无限时，使用其VC维来衡量。

1.1 AdaBoost分类器的形式和复杂度

设 $H$ 是基分类器空间，$C_T$ 是AdaBoost运行 $T$ 轮可能生成的组合分类器空间。组合分类器 $H$ 对 $T$ 个基分类器进行加权多数表决：
[H(x) = sign\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)]
也可以写成 $H(x) = \sigma(h_1(x), \ldots, h_T(x))$ 的形式，其中 $\sigma : R^T \to {-1, 0, +1}$ 是线性阈值函数。

为了证明训练误差 $\widehat{err}(h)