31、最优高效提升与泛化误差分析

最优高效提升与泛化误差分析

1. 最优高效提升的游戏视角

在一种经过修改的游戏中，有类似果冻块的对象，可将其分割成更小的块，并且这些分割后的块在后续轮次还能继续分割。每一轮中，弱学习器必须根据提升器选择的分布，对至少 $\frac{1}{2} + \gamma$ 比例的“果冻”进行增量操作。最终损失是处于最终位置为零或更低的初始“果冻”数量的比例。

对于这种修改后的游戏，无感知弱学习器的对应策略是将每个块分成不相等的两半，对 $\frac{1}{2} + \gamma$ 比例的块进行增量操作，对其余部分进行减量操作。经过 $T$ 轮后，处于非正位置的所有“果冻”的比例与特定公式计算结果一致。

此外，BBM 算法在这个宽松的游戏中也是最优的。该算法的推导方式与之前类似，并且可以证明相关的中心近似等式成立。因此，在这种情况下可以精确得到最优的博弈论算法，即 BBM（针对块而非芯片进行了适当修改）。同时，相关推论也适用于这个游戏，由于上下界完全匹配，所以 BBM 和无感知弱学习器是这个游戏的博弈论最优玩家。

这为推导可处理的、接近最优的玩家提供了一种不同但密切相关的方法。为了近似原始游戏的最优玩家，我们先以增加对手（弱学习器）能力的方式放宽游戏，然后计算修改后游戏的最优玩家，这里得到的就是 BBM。

2. 最优泛化误差分析

2.1 BBM 的泛化误差上界

可以直接应用相关结果来推导 BBM 泛化误差的界。具体来说，结合相关定理可知，组合假设 $H$ 的泛化误差 $err(H)$ 可以用训练误差 $\widetilde{err}(H)$ 来界定：
[err(H) \leq \widetild