10、提升算法对间隔分布的影响及偏差 - 方差分析

提升算法对间隔分布的影响及偏差 - 方差分析

1. 提升算法对间隔分布的影响

在之前的分析中，章节 5.2 和 5.3 的内容适用于任何投票分类器，而不仅限于提升算法产生的分类器。这里将给出理论依据，证明 AdaBoost 特别适合最大化具有大间隔的训练示例数量。这是因为在每一轮迭代中，AdaBoost 会将最大的权重分配给间隔最小的示例。

1.1 界定 AdaBoost 的间隔

在定理 3.1 中已证明，如果经验 γ - 弱学习假设成立，即弱分类器的加权训练误差 ϵt 都小于 1/2 - γ，那么组合分类器的训练误差（即间隔小于零的训练示例的比例）会随着组合的弱分类器数量的增加而呈指数级快速下降。现在将这个证明扩展，以给出对于任意 θ ≥ 0，间隔小于 θ 的训练示例比例的更一般界。

定理 5.8：给定算法 1.1 的符号表示，设 γt = 1/2 - ϵt。那么间隔至多为 θ 的训练示例的比例至多为：
[
\prod_{t = 1}^{T} \left( (1 + 2\gamma_t)^{1 + \theta} (1 - 2\gamma_t)^{1 - \theta} \right)
]

证明过程如下：
设 f 如方程 (5.2) 所定义。注意到 yf(x) ≤ θ 当且仅当：
[
y \sum_{t = 1}^{T} \alpha_t h_t(x) \leq \theta \sum_{t = 1}^{T} \alpha_t
]
这又等价于：
[
\exp \left( -y \sum_{t = 1}^{T} \alpha_t h_t