8、AdaBoost算法的泛化误差与边际解释

AdaBoost算法的泛化误差与边际解释

在机器学习领域，AdaBoost算法是一种强大的集成学习方法。下面我们将深入探讨AdaBoost算法的泛化误差界限，以及强可学习性和弱可学习性的等价性，最后介绍一种基于边际的新理论来解释AdaBoost算法的有效性。

泛化误差的直接界限

在AdaBoost算法中，当在m个随机示例上运行T轮时，若每个弱假设是使用确定性弱学习算法在m0个未加权示例上训练得到（这些示例通过重采样选择），并且m ≥ (m0 + 1)T，那么在一定概率下，如果组合分类器H与整个训练集一致，其泛化误差有如下界限：
- 定理4.9 ：假设在m个随机示例上运行T轮AdaBoost。每个弱假设使用确定性弱学习算法在m0个未加权示例上训练，且m ≥ (m0 + 1)T。在随机样本选择的概率至少为1 - δ的情况下，如果组合分类器H与整个训练集一致，则
[
err(H) \leq \frac{2T \lg(2e(m - Tm_0)/T) + 2Tm_0 \lg m + 2 \lg(2/\delta)}{m - Tm_0}
]
证明过程是将κ = Tm0和d = T代入定理4.8。

当加入弱学习假设时，有如下推论：
- 推论4.10 ：除了定理4.9的假设外，假设每个基分类器的加权误差ϵt ≤ 1/2 - γ（γ > 0）。设轮数T为超过(ln m)/(2γ²)的最小整数。那么在概率至少为1 - δ的情况下，组合分类器H的泛化误差至多为
[
O\left(\frac{1}{m}\frac{m_0(\ln m)^2}{\