13、在线预测与提升算法的博弈论视角

在线预测与提升算法的博弈论视角

1. 在线预测模型概述

在传统的批量学习中，学习者会得到一批随机的训练示例，然后制定一个单一的假设，用于对新的随机测试示例进行预测。训练完成后，所选的预测规则就不再改变。

而在线预测模型则不同，学习者会观察一系列示例，并逐个预测它们的标签。在每个时间步 $t = 1, \ldots, T$，学习者会看到一个实例 $x_t$，预测其标签 $\hat{y}_t$，然后立即观察到该实例的正确标签 $c(x_t)$。如果预测标签和正确标签不一致，就会产生一个错误。学习者的目标是最小化所犯错误的总数。

例如，预测股票市场行为就是一个适合在线学习的场景。每天早上，根据当前的市场状况，我们预测某个市场指标当天是上涨还是下跌。然后在晚上，我们会知道早上的预测是否正确。我们的目标是随着时间的推移学习如何做出准确的预测，从而减少错误的总数。

2. 在线与批量模型的差异

• 训练与测试阶段 ：批量模型有严格的训练阶段和测试阶段划分；而在线模型中，训练和测试同时进行，每个示例既是对过去学习成果的测试，也是改进未来预测的训练示例。
• 示例生成 ：批量设置中，假设所有示例都是随机的、独立同分布的；在线模型则不对示例的生成做任何假设，示例序列可以是完全任意的，甚至可能由试图破坏学习者性能的对手控制。标签也可能是对抗性选择的，在这种情况下，无法限制学习者可能被迫犯的错误数量。因此，我们寻求相对于某个可能非常大的假设类中最佳固定预测规则或假设表现良好的学习算法。

3. 在线预测问题的形式化