33、连续时间下的提升算法

连续时间下的提升算法

1. 引言

提升算法在机器学习领域有着重要的地位，其中 AdaBoost 因其自适应能力而具有很强的实用性，它能够自动适应不同精度的弱假设，无需在提升过程开始前知晓最小边缘值 γ 或总轮数 T。而多数表决提升算法（BBM）虽然不具备自适应能力，但在理论效率上可能更优，并且在处理离群点方面表现更好。我们的目标是让 BBM 具备自适应能力，同时保留其其他优点。

BBM 的非自适应体现在两个方面：一是需要预先知道满足 γ - 弱学习假设的 γ 值，确保所有弱假设的边缘至少为 γ；二是无法充分利用边缘显著优于 γ 的弱假设。为了克服这些问题，我们将探讨如何调整弱假设的权重，并允许算法的“时钟”在每一轮前进多个“刻度”。同时，为了处理对最小边缘值 γ 的依赖，我们考虑让 γ 趋近于 0，同时增加总轮数 T，从而实现连续时间下的提升，得到一种名为 BrownBoost 的连续时间版本的 BBM，它能像 AdaBoost 一样适应弱假设之间不同的边缘。

2. 连续时间极限下的自适应

2.1 主要思想

假设在某一轮 t 中，从弱学习器接收到一个加权误差远低于 1/2 - γ 的弱假设 h，即其边缘远大于最小要求 γ。然而，BBM 会像对待其他弱假设一样对待 h，忽略其相对优势，仅使用 h 一次，然后在下一轮寻找全新的弱假设。

实际上，存在一种自然的替代方法。在上述条件下，h 在新分布 Dt + 1 下的误差可能仍然小于 1/2 - γ，此时 h 可以在第 t + 1 轮再次使用，就像刚从弱学习器接收到一样。这种情况可能会持续多轮，直到 h 的误差超过 1/2 - γ，此时需要从弱学习器获取新的弱假设，过程重