31、在线学习算法：理论与实践

在线学习算法：理论与实践

在线学习中的挑战与应对策略

在在线学习场景中，存在一个强大的对手，它可以通过简单地等待学习者的预测，然后给出相反的标签作为真实标签，使得任何在线算法的错误数量达到最大，即等于总轮数 $T$。与之对比，如果考虑真实标签序列 $y_1, \cdots, y_T$，设 $b$ 为这些标签中的多数标签，那么预测为 $b$ 的假设 $h_b$ 的错误数量最多为 $T/2$。这意味着任何在线算法的遗憾（regret）至少为 $T - T/2 = T/2$，该值并非关于 $T$ 的次线性函数。这个不可能结果由 Cover 在 1965 年提出。

为了避开 Cover 的不可能结果，我们需要进一步限制对抗环境的能力。具体做法是允许学习者对其预测进行随机化。不过，仅仅随机化本身并不能解决问题，因为在推导 Cover 的结果时，并没有对学习者的策略做任何假设。为了使随机化有意义，我们要求对抗环境在不知道学习者在第 $t$ 轮所抛随机硬币结果的情况下决定 $y_t$。对手仍然可以知道学习者的预测策略，甚至之前轮次的随机硬币结果，但不知道当前轮次的随机硬币实际值。

在这种轻微的规则改变下，我们分析算法的期望错误数量，这里的期望是相对于学习者自身的随机化而言的。如果学习者输出 $\hat{y}_t$，且 $P[\hat{y}_t = 1] = p_t$，那么他在第 $t$ 轮的期望损失为 $P[\hat{y}_t \neq y_t] = |p_t - y_t|$。也就是说，我们不再要求学习者的预测只能是 ${0, 1}$，而是允许其取值范围为 $[0, 1]$，并将 $p_t \in [0, 1]$ 解释为在第 $t$ 轮预测标签为 1 的概率。

基于这个假设