28、AdaBoost：实现最优分类精度的理论分析

AdaBoost：实现最优分类精度的理论分析

1. 引言

在机器学习中，AdaBoost 算法是一种强大的集成学习方法。我们关注的核心问题是理解 AdaBoost 的泛化能力。之前的分析基于弱学习假设，即弱学习算法生成的分类器比随机猜测更可靠。这个假设看似较弱，但实际上会带来很强的结果，不仅意味着提升算法最终能完美拟合任何训练集，还表明在足够的训练数据下，泛化误差可以任意接近零。

然而，在实际中，由于数据中存在噪声、随机性或错误标记，我们无法总是获得完美的泛化精度。数据本身的内在随机性对测试误差的最小化设置了一个基本限制，这个最小可能的误差率被称为贝叶斯误差。

2. 分类最优性与风险最小化

我们从二元分类问题开始，设实例空间为 $X$，可能的标签集合为 $Y = {−1, +1}$，$D$ 表示 $X × Y$ 上有标签对的真实分布。对于随机对 $(x, y)$，标签 $y$ 不一定由实例 $x$ 决定，$x$ 被标记为正的条件概率 $\pi(x) = Pr[y = +1 | x]$ 不一定等于 0 或 1。

为了最小化错误预测的概率，我们使用贝叶斯最优分类器：
[
h_{opt}(x) =
\begin{cases}
+1 & \text{if } \pi(x) > \frac{1}{2} \
-1 & \text{if } \pi(x) < \frac{1}{2}
\end{cases}
]
其误差，即贝叶斯（最优）误差为：
[
err^* = err(h_{opt}) = E[\min{\pi(x), 1