31、在线学习算法解析

在线学习算法解析

1. 在线学习的挑战与应对策略

在在线学习中，对手可以通过简单地等待学习者的预测，然后提供相反的标签作为真实标签，使得任何在线算法的错误数量达到 $T$。相比之下，对于任何真实标签序列 $y_1, \cdots, y_T$，设 $b$ 为这些标签中的多数标签，那么 $h_b$ 的错误数量最多为 $T/2$。因此，任何在线算法的遗憾至少为 $T - T/2 = T/2$，这不是关于 $T$ 的次线性函数，这个不可能结果由 Cover 在 1965 年提出。

为了避开 Cover 的不可能结果，我们需要进一步限制对抗环境的能力。具体做法是允许学习者对其预测进行随机化。但仅随机化本身并不能规避该结果，因为推导此结果时并未对学习者的策略做任何假设。为使随机化有意义，我们要求对抗环境在不知道学习者在第 $t$ 轮所抛随机硬币结果的情况下决定 $y_t$。对手仍可知道学习者的预测策略，甚至之前轮次的随机硬币结果，但不知道第 $t$ 轮的随机硬币实际值。

在此（温和的）规则改变下，我们分析算法的期望错误数量，这里的期望是相对于学习者自身的随机化而言。即如果学习者输出 $\hat{y}_t$ 且 $P[\hat{y}_t = 1] = p_t$，那么他在第 $t$ 轮支付的期望损失为 $P[\hat{y}_t \neq y_t] = |p_t - y_t|$。换句话说，我们允许学习者的预测取值范围从 ${0, 1}$ 扩展到 $[0, 1]$，并将 $p_t \in [0, 1]$ 解释为在第 $t$ 轮预测标签为 1 的概率。

基于此假设，我们可以推导出低遗憾算法，下面是一个重要定理：

定理 21.10 ：