29、无界损失在线学习中的汉南一致性研究

无界损失在线学习中的汉南一致性研究

1. 算法介绍

在 LE + MAB 问题中，算法只有在选择查询时才能得知自身的损失，且无法获取其他专家的损失信息。为了查询损失，算法使用一系列独立的伯努利随机变量 $S_1, S_2, \cdots$，满足 $P(S_t = 1) = \varepsilon_t$。当 $S_t = 1$ 时，算法会查询所选专家 $I_t$ 的损失 $\ell_{I_t,t}$。若 $\varepsilon_t$ 为常数 $\varepsilon$，则该算法与 Cesa - Bianchi 等人提出的标签高效算法相同。我们用 $LE(\varepsilon_t)$ 表示具有时变参数 $\varepsilon_t$ 的标签高效问题。

对于 $LE(\varepsilon_t)+MAB$ 问题，我们采用具有时变学习率 $\eta_t$ 的 Green 算法。Green 算法是 Littlestone 和 Warmuth 提出的加权多数（WM）算法的变体，其名称源于“邻家芳草绿”这一说法，因为 Green 算法假设未选择的专家具有最佳收益（零损失）。

在原始 WM 算法中，在时间 $t$ 选择动作 $i$ 的概率为：
[p_{i,t} = \frac{e^{-\eta_t \tilde{L} {i,t - 1}}}{\sum {j = 1}^{N} e^{-\eta_t \tilde{L} {j,t - 1}}}]
其中，$\tilde{L} {i,t}$ 是所谓的累积估计损失，后续会详细说明。Green 算法使用修改后的概率 $\tilde{p} {i,t}$，可由 $p {i,