10、鲁棒集成学习：从 AdaBoost 到新型算法的探索

鲁棒集成学习：从 AdaBoost 到新型算法的探索

1. 引言

集成学习方法，尤其是 AdaBoost，在光学字符识别等诸多应用中取得了显著成功。AdaBoost 通过在误差函数中进行梯度下降，渐近地聚焦于最难学习的模式，其大（最小）边际的思想解释了它在低噪声环境下的良好泛化性能。然而，在处理噪声任务时，如鸢尾花和乳腺癌基准数据集，AdaBoost 的表现往往不尽如人意。理论分析表明，边际分布（而非仅仅最小边际）在理解这一现象中起着关键作用。为了应对这一问题，需要构建正则化的 AdaBoost 变体，以平衡边际误差数量和边际大小，但目前的方法大多采用启发式参数，缺乏直观解释且难以调整。

2. AdaBoost 与线性规划解决方案

在深入探讨新算法之前，我们先回顾标准 AdaBoost 和密切相关的 Arc - GV 所生成的解决方案的特性，并讨论它们与基于基假设类 G 的线性规划（LP）解决方案的关系。

设 ${g_t(x): t = 1, \cdots, T}$ 是一系列假设，$\alpha = [\alpha_1 \cdots \alpha_T]$ 是它们的权重，满足 $\alpha_t \geq 0$。假设 $g_t$ 是假设类 $G = {g: x \mapsto {\pm1}}$ 的元素，该类由基学习算法 L 定义。集成通过 $sgn(f(x))$ 生成标签，其中 $f(x) = \sum_{t} \frac{\alpha_t}{|\alpha|_1} g_t(x)$。

为了表达 $f$ 以及边际 $\rho$ 依赖于 $\alpha$，我们定义 $\rho(z, \alpha) := y f(x)$，其中 $z := (x