14、提升算法：从弱学习到强学习

提升算法：从弱学习到强学习

1. 引言

提升算法（Boosting）的起源可追溯到一个理论问题：能否将一个高效的弱学习器“提升”为高效的强学习器？1988 年，Kearns 和 Valiant 提出了这个问题，1990 年，当时还是麻省理工学院研究生的 Robert Schapire 解决了该问题，但提出的机制实用性欠佳。1995 年，Robert Schapire 和 Yoav Freund 提出了 AdaBoost 算法，这是提升算法的首个实用实现。该算法简单优雅，广受欢迎，Freund 和 Schapire 的工作也获得了众多奖项的认可。提升算法是学习理论实际影响的一个绝佳范例，它最初是一个纯粹的理论问题，如今已催生出许多流行且广泛应用的算法，例如 AdaBoost 已成功用于图像中的人脸检测。

2. 弱可学习性

2.1 PAC 学习回顾

PAC（Probably Approximately Correct）学习的定义为：对于一个假设类 $H$，若存在函数 $m_H : (0,1)^2 \to N$ 和一个学习算法，满足对于任意的 $\epsilon, \delta \in (0,1)$，任意的分布 $D$ 于 $X$ 上，以及任意的标记函数 $f : X \to {±1}$，在关于 $H$、$D$、$f$ 的可实现假设成立的情况下，当在由 $D$ 生成且由 $f$ 标记的 $m \geq m_H(\epsilon, \delta)$ 个独立同分布（i.i.d.）示例上运行该学习算法时，算法返回的假设 $h$ 满足以至少 $1 - \delta$ 的概率使得 $L_{(D, f)}(h) \leq \epsilon$，则称 $H$ 是 PAC 可